一种资源调度方法以及资源调度系统技术方案

本申请提供了一种资源调度方法，包括：采集应用在作业周期对存储系统中数据对象的输入输出操作的操作属性信息以及数据对象的对象属性信息，根据该细粒度的操作属性信息和对象属性信息对应用的输入输出操作进行分析，获得应用画像信息，基于该应用画像信息可以实现对应用输入输出操作的精准预测，如此，在执行相同或相似作业时，基于预测结果进行资源调度，可以避免不必要的资源占用，提高资源利用率和应用执行效率。

【技术实现步骤摘要】
一种资源调度方法以及资源调度系统
本申请涉及计算机
，尤其涉及一种资源调度方法以及资源调度系统。
技术介绍
应用一般可以在至少一个节点上执行。应用在执行时产生若干进程/线程。从应用开始执行到执行完毕，在所有节点上的所有进程/线程可能大多数都会对底层的存储系统产生输入输出(inputoutput，IO)操作，这些IO操作所涉及到的数据集合，称之为工作集(workset)。应用在工作集上的IO操作一般是规律性的。例如，视频播放应用在其工作集上的IO操作一般是顺序读。通过对应用的IO操作规律进行归纳可以得到应用的IO模式(即IOpattern)。业界提供了一种智能缓存技术(SmartCache，SC)探索IO模式，基于上述IO模式进行资源调度可以提高资源利用率。具体地，SC提供一个数据智能服务(dataintelligenceservice，DIS)组件以预测IO模式。然而，DIS组件对于IO模式的预测准确性不高。在基于DIS组件预测的IO模式进行资源调度时，一方面降低了缓存命中率，导致存储资源利用率降低以及应用执行效率降低，另一方面浪费了预测使用的算力，降低了计算资源利用率。
技术实现思路
本申请提供了一种资源调度方法，解决了IO模式预测不准确，进而导致资源利用降低以及应用执行效率降低的问题。第一方面，本申请提供了一种资源调度方法。该方法可以应用于资源调度系统。资源调度系统可以从较细粒度采集应用在作业周期对存储系统中数据对象的输入输出操作的操作属性信息以及所述数据对象的对象属性信息。其中，操作属性信息包括输入输出地址，对象属性信息包括数据对象标识。如此，资源调度系统根据上述操作属性信息和对象属性信息能够对应用进行精准地应用画像，获得应用画像信息。基于精准的应用画像信息进行资源调度，可以提高缓存命中率，进而提高存储资源利用率以及应用执行效率。并且该方法可以避免预测不精准导致的算力浪费，提高了计算资源利用率。可选的，资源调度系统可以包括计算节点、分析节点和调度节点。计算节点可以采集应用在作业周期对存储系统中数据对象的输入输出操作的操作属性信息以及数据对象的对象属性信息。分析节点可以根据操作属性信息和对象属性信息进行分析获得应用画像信息。调度节点可以根据应用画像信息调度资源。可选的，计算节点、分析节点和调度节点中的至少两个可以部署于相同计算机设备，如此，可以减少操作属性信息、数据对象属性信息或者应用画像信息等数据的传输时延，从而提高调度效率。并且，上述部署方式可以减少传输资源开销，提高资源利用率。可选的，计算节点、分析节点和调度节点也可以分别部署于不同的计算机设备。例如，计算节点可以部署于至少一台第一计算机设备，分析节点可以部署于至少一台第二计算机设备，调度节点可以部署于至少一台第三计算机设备，如此，可以提高整个资源调度系统的健壮性。在一些可能的实现方式中，资源调度系统可以通过如下方式调度存储资源。具体地，资源调度系统先将应用画像信息转换成信息提示项，然后根据该信息提示项调度存储系统中的存储资源。例如，根据信息提示项提示的连续读或者跳读等信息将数据对象的对应内容添加至缓存，实现数据精确预取，避免预取多余的数据占用缓存，提高存储资源利用率。在一些可能的实现方式中，资源调度系统采用如下方式将应用画像信息转换成信息提示项。具体地，资源调度系统可以确定与所述应用画像信息对应的信息提示模板，该信息提示模板可以是资源调度系统中内置的模式提示信息转换器提供，该模式提示信息转换器内置至少一种模式提示信息转换框架，如顺序模式提示信息转换框架、随机模式提示信息转换框架等等，每种模式提示信息转换框架可以提供对应模式的信息提示模板。如此，资源调度系统可以根据应用画像信息结合模式提示信息转换器，确定与该应用画像信息对应的信息提示模板，然后根据所述应用画像信息中各字段的字段值结合所述信息提示模板，获得信息提示项。在一些可能的实现方式中，资源调度系统可以对不同类型存储系统的存储资源进行调度。例如，资源调度系统可以对Burstbuffer、蜜蜂谷歌文件系统(beegooglefilesystem，BeeGFS)或者Lustre等类型的存储系统进行资源调度。每种存储系统可以支持至少一种类型的命令集。资源调度系统可以根据所述信息提示项从所述存储系统支持的命令集中选择目标命令类型，根据所述目标命令类型和所述信息提示项中与所述目标命令类型关联字段的字段值生成至少一条命令。然后通过所述存储系统的目标接口下发所述命令，以使所述存储系统执行所述命令实现调度存储资源。如此，可以实现兼容不同类型的存储系统，支持不同类型存储系统的存储资源进行调度。在一些可能的实现方式中，所述应用画像信息包括所述应用的输入输出操作随时间分布情况。其中，输入输出操作随时间分布情况可以通过所述输入输出操作的操作时间段和所述操作时间段内的输入输出大小表征。对应地，资源调度系统在调度资源时，可以根据应用的输入输出操作随时间分布情况调度计算资源，如此，可以均衡不同计算机设备的计算资源。可选的，输入输出操作随时间分布情况可以通过曲线图或者柱形图形式呈现，曲线图或者柱形图的横坐标为操作时间段，纵坐标为该操作时间段内的输入输出大小。需要说明的是，输入输出操作随时间分布情况呈现的操作时间段和输入输出大小是经合并处理后的操作时间段和输入输出大小。具体地，针对相同数据对象的输入输出操作可以按照操作时间段进行排序，相邻输入输出操作的操作时间段重叠，则将该相邻操作的操作时间段合并，将相邻输入输出操作的输入输出大小相加作为合并后的操作时间段内输入输出操作的输入输出大小。在一些可能的实现方式中，资源调度系统可以根据所述对象属性信息确定针对相同数据对象的输入输出操作，然后根据所述针对相同数据对象的输入输出操作的操作属性信息结合至少一种识别模型，例如将所述针对相同数据对象的输入输出操作的操作属性信息输入至少一种识别模型，获取所述识别模型的识别结果作为应用画像信息。在一些可能的实现方式中，所述至少一种识别模型包括第一模式识别模型，所述第一模式识别模型用于结合所述针对相同数据对象的输入输出操作的输入输出地址，获取所述应用的第一输入输出模式，所述第一输入输出模式包括连续信息、顺序信息、热点信息和序列信息中的任意一种或多种，所述连续信息用于标识所述输入输出操作是否连续，所述顺序信息用于标识所述输入输出操作是顺序或逆序，所述热点信息用于标识所述输入输出操作的热点区域，所述序列信息用于标识所述输入输出操作是否有序。在一些可能的实现方式中，所述至少一种识别模型包括第二模式识别模型，所述第二模式识别模型用于结合所述针对相同数据对象的输入输出操作中相邻操作的输入输出地址，例如将针对相同数据对象的输入输出操作的输入输出地址输入第二模式识别模型，该第二模式识别模型能够自动确定相邻操作的输入输出地址，根据该相邻操作的输入输出地址获取所述应用的第二输入输出模式，所述第二输入输出模式包括概率信息，所述概率信息用于指示第二访问区域本文档来自技高网...

【技术保护点】
1.一种资源调度方法，其特征在于，所述方法包括：/n采集应用在作业周期对存储系统中数据对象的输入输出操作的操作属性信息以及所述数据对象的对象属性信息，所述操作属性信息包括输入输出地址，所述对象属性信息包括数据对象标识；/n根据所述操作属性信息和所述对象属性信息获得应用画像信息；/n根据所述应用画像信息进行资源调度。/n

【技术特征摘要】
1.一种资源调度方法，其特征在于，所述方法包括：
采集应用在作业周期对存储系统中数据对象的输入输出操作的操作属性信息以及所述数据对象的对象属性信息，所述操作属性信息包括输入输出地址，所述对象属性信息包括数据对象标识；
根据所述操作属性信息和所述对象属性信息获得应用画像信息；
根据所述应用画像信息进行资源调度。


2.根据权利要求1所述的方法，其特征在于，所述根据所述应用画像信息进行资源调度，包括：
将所述应用画像信息转换成信息提示项；
根据所述信息提示项调度所述存储系统中的存储资源。


3.根据权利要求2所述的方法，其特征在于，所述将所述应用画像信息转换成信息提示项，包括：
确定与所述应用画像信息对应的信息提示模板；
根据所述应用画像信息中各字段的字段值结合所述信息提示模板，获得信息提示项。


4.根据权利要求2或3所述的方法，其特征在于，所述根据所述信息提示项调度所述存储系统中的存储资源，包括：
根据所述信息提示项从所述存储系统支持的命令集中选择目标命令类型；
根据所述目标命令类型和所述信息提示项中与所述目标命令类型关联字段的字段值生成至少一条命令；
通过所述存储系统的目标接口下发所述命令，以使所述存储系统执行所述命令实现调度存储资源。


5.根据权利要求1所述的方法，其特征在于，所述应用画像信息包括所述应用的输入输出操作随时间分布情况，所述输入输出操作随时间分布情况通过所述输入输出操作的操作时间段和所述操作时间段内的输入输出大小表征；
所述根据所述应用画像信息进行资源调度，包括：
根据所述应用的输入输出操作随时间分布情况调度计算资源。


6.根据权利要求1至5任意一项所述的方法，其特征在于，所述根据所述操作属性信息和所述对象属性信息对所述应用进行应用画像，获得应用画像信息包括：
根据所述对象属性信息确定针对相同数据对象的输入输出操作；
根据所述针对相同数据对象的输入输出操作的操作属性信息结合至少一种识别模型，获取所述识别模型的识别结果作为应用画像信息。


7.根据权利要求6所述的方法，其特征在于，所述至少一种识别模型包括第一模式识别模型，所述第一模式识别模型用于结合所述针对相同数据对象的输入输出操作的输入输出地址，获取所述应用的第一输入输出模式，所述第一输入输出模式包括连续信息、顺序信息、热点信息和序列信息中的任意一种或多种；其中，所述连续信息用于标识所述输入输出操作是否连续，所述顺序信息用于标识所述输入输出操作是顺序或逆序，所述热点信息用于标识所述输入输出操作的热点区域，所述序列信息用于标识所述输入输出操作是否有序。


8.根据权利要求7所述的方法，其特征在于，所述至少一种识别模型包括第二模式识别模型，所述第二模式识别模型用于结合所述针对相同数据对象的输入输出操作中相邻操作的输入输出地址，获取所述应用的第二输入输出模式，所述第二输入输出模式包括概率信息；其中，所述概率信息用于指示第二访问区域作为第一访问区域的后继访问区域的概率。


9.根据权利要求8所述的方法，其特征在于，所述至少一种识别模型包括第三模式识别模型，所述第三模式识别模型用于第一输入输出模式和第二输入输出模式均未被命中时，获取所述应用的第三输入输出模式，所述第三输入输出模式包括随机信息，所述随机信息用于标识所述输入输出操作是随机输入输出操作。


10.根据权利要求6所述的方法，其特征在于，所述操作属性信息还包括操作时间段，所述至少一种识别模型包括冲突域识别模型，所述冲突域识别模型用于所述操作时间段重叠且所述输入输出地址重叠时，将地址重叠区域识别为冲突域。


11.根据权利要求6所述的方法，其特征在于，所述操作属性信息还包括操作时间段，所述至少一种识别模型包括时间分布识别模型，所述时间分布识别模型用于按照所述操作时间段对所述输入输出操作排序，当相邻的输入输出操作存在操作时间重叠时，合并所述相邻的输入输出操作的操作时间段，将所述相邻的输入输出操作的输入输出大小相加获得合并后的输入输出操作的输入输出大小，根据所述输入输出操作的时间段和所述输入输出大小获得所述应用的输入输出操作随时间分布情况。


12.根据权利要求6所述的方法，其特征在于，所述操作属性信息还包括操作时间段，所述对象属性信息还包括生存时间段，所述至少一种识别模型包括生命周期识别模型，所述生命周期识别模型用于结合所述生存时间段与所述操作时间段获取所述数据对象的生命周期类型。


13.根据权利要求6所述的方法，其特征在于，所述数据对象包括作业执行时产生的数据对象，所述至少一种识别模型包括重复性识别模型，所述重复性识别模型用于结合所述作业执行多次产生的数据对象的输入输出地址获取所述作业在执行时产生的数据对象是否具有大小重复性。


14.一种资源调度系统，其特征在于，所述资源调度系统包括至少一台第一计算机设备、至少一台第二计算机设备以及...

【专利技术属性】
技术研发人员：王义彬，丁肇辉，陈一都，胡玲，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44