一种工业分布式数据采集系统中的任务调度方法技术方案

本发明专利技术提供一种工业分布式数据采集系统中的任务调度方法，涉及数据采集技术领域。该方法包括建立各采集节点采集资源和采集任务的对应关系、各采集节点采集时间和采集任务及节点资源利用率的对应关系、各采集节点任务迁移所消耗资源与迁移任务个数的对应关系、各采集节点之间任务迁移的通信开销与迁移任务的对应关系，确定初始工作的最小采集节点个数并开启对应采集节点，其余采集节点资源作为共享资源备用，将初始采集任务和其中部分初始任务中重要任务的冗余任务分配给各个采集节点。本发明专利技术综合满足了工业大数据环境下工业分布式数据采集对采集实时性、可靠性、资源有效利用等的需求，提高工业数据采集系统资源利用率、采集效率和采集可靠性。

Task scheduling method in an industrial distributed data acquisition system

The invention provides a task scheduling method in an industrial distributed data acquisition system, which relates to the technical field of data acquisition. This method includes establishing the corresponding relationship between acquisition resources and tasks of each acquisition node, the corresponding relationship between acquisition time and acquisition tasks and resource utilization of each acquisition node, the corresponding relationship between the resources consumed by task migration and the number of migration tasks of each acquisition node, the communication cost of task migration between each acquisition node and the number of migration tasks. The minimum number of acquisition nodes in the initial work is determined and the corresponding acquisition nodes are opened. The rest of the acquisition nodes are used as a shared resource reserve. The initial acquisition tasks and some of the redundant tasks in the initial tasks are allocated to each acquisition node. The invention comprehensively meets the requirements of industrial distributed data acquisition for real-time acquisition, reliability and effective utilization of resources in industrial large data environment, and improves the utilization ratio of resources, acquisition efficiency and acquisition reliability of industrial data acquisition system.

【技术实现步骤摘要】
一种工业分布式数据采集系统中的任务调度方法
本专利技术涉及数据采集
，尤其涉及一种工业分布式数据采集系统中的任务调度方法。
技术介绍
随着工业大数据环境的到来，工业过程中数据源日渐多样化、数据规模增大，面对工业大规模高频数据的采集，以及一些新的应用需求，为了保证数据采集的时序性、实时性和可靠性，越来越多的企业开始考虑采用分布式系统来进行工业数据采集。在分布式数据采集系统的设计过程中，任务调度策略是最为关键的环节，它将直接影响分布式系统的性能。好的任务调度方案能够降低采集任务的采集时间，提高系统的采集效率。在分布式环境下，由于各采集节点可以灵活地加入或退出，各采集节点所采集的数据不再对应固定的生产环节，而具有一定的灵活性，由于网络的突发性和不稳定性以及采集节点本身的原因，可能出现某些采集节点故障、过载、采集节点上某个采集数据组或数据项采集失败、采集时间超过设定的采集周期等异常情况，如何根据各个采集节点的资源使用情况进行动态任务调度和迁移，使得异常情况下，各生产环节的数据仍能实现正常采集，且各采集节点间仍保持负载均衡，从而保证采集的可靠性和高效性，并保证迁移的任务量尽可能少，保证任务迁移的单调性，从而尽可能节省任务迁移时的系统开销，是分布式数据采集系统设计亟待解决的一个问题，另外，由于工业上重要生产环节的数据可靠性要求较为严格，有时同一生产环节的不同数据重要程度也不尽相同，对于重要数据的采集任务通常需要进行备份，备份任务只进行采集，不进行存储，仅在主任务采集失败时才进行存储，在分布式环境下，如何在保证主任务合理调度和迁移，满足负载均衡和单调性的前提下，对备份任务也实现合理的调度和迁移，以尽可能保证任务迁移的单调性，同时保证主任务及其对应的备份任务不会迁移至同一个采集节点，是工业数据采集中需要考虑的又一问题。目前在工业分布式数据采集系统任务调度方面的专利主要有专利号为CN105527948A的一种基于工业过程的大规模分布式数据采集系统及方法、专利号为CN201610522950.X的一种大规模分布式数据采集系统及方法、专利号为CN201610736266.1的一种基于工业云的大规模分布式智能数据采集系统及方法、专利号为201610622589.8的基于一致性哈希算法的任务调度机制及系统。专利CN105527948A和专利CN201610522950.X在采集客户端故障时，采用将采集任务重新分配给剩余采集客户端的方式实现任务调度，该调度方案虽然满足了各节点间的负载均衡，但任务的重新分配导致各节点上均有大量任务需要进行迁移，无法满足任务迁移的单调性，任务迁移开销过大，导致资源利用率降低，且上述两个专利所述任务调度方案不够全面，对于采集节点上任务采集失败等情况未给出相应解决方案；专利CN201610736266.1虽然较为全面地给出了采集节点故障、过载、采集任务采集失败、采集时间不满足采集周期要求时的任务调度方案，但对于调度时具体迁移多少任务、迁移哪几个任务未进行详细说明，且该专利所述调度方案未考虑到调度过程各节点负载均衡、任务迁移开销等问题，从而容易影响数据采集的效率和实时性；专利201610622589.8通过将任务和对应执行单元的哈希值映射到同一个哈希环上，按照任务执行次数和选取的查找方向在哈希圆环上建立任务与若干个执行单元的映射关系，当新增、删除执行单元或新增任务时，通过修正映射关系实现动态任务调度，该调度方法能够实现任务迁移的单调性，且能实现任务和执行单元的灵活匹配。上述专利中的技术方案虽然都能实现节点故障的任务调度，但其调度方案仅针对所有任务均为重要任务，均需要备份的场合，或者所有任务都未实现备份的场合，而实际工业生产过程中，并不是所有任务都存在备份，为了提高资源利用率，常常是仅对其中部分重要数据所对应的采集任务进行备份，现有专利中的任务调度方式在这种情况下不适用。
技术实现思路
本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种工业分布式数据采集系统中的任务调度方法，以达到提高工业数据采集系统资源利用率、采集效率和采集可靠性的目的。为解决上述技术问题，本专利技术所采取的技术方案是：一种工业分布式数据采集系统中的任务调度方法，包括以下步骤：步骤1、建立各采集节点采集资源和采集任务的对应关系，具体过程为：步骤1.1、单独对每个采集节点分配采集任务，改变采集任务个数，测量大量不同采集任务条件下，第i个采集节点上消耗的采集任务个数Ti及其采集资源利用率数据ui，以及该采集节点上分配的全部采集任务所需要的采集时间数据timei；步骤1.2、对步骤川所得第i个采集节点上的采集任务数据Ti和对应资源消耗数据进行拟合，求得两者的函数关系式步骤2、建立各采集节点采集时间和采集任务以及节点资源利用率的对应关系，对步骤1.1所得采集任务个数Ti和对应采集资源利用率数据ui、采集时间数据timei进行拟合，求得第i个采集节点上采集时间数据timei与采集任务个数Ti和资源利用率数据ui的函数关系式timei＝g(Ti，ui)；步骤3、建立各采集节点上任务迁移所消耗的资源与迁移任务个数的对应关系；步骤4、建立各采集节点之间任务迁移的通信开销与迁移任务的对应关系；步骤5、确定初始工作的最小采集节点个数并开启对应采集节点，其余采集节点资源作为共享资源备用；步骤6、将初始采集任务和其中部分初始任务中重要任务的冗余任务分配给步骤5确定的各个采集节点；判断是否存在采集节点故障，若是，则执行步骤7；判断是否存在采集节点过载或采集节点上采集时间不满足采集周期要求的情况，若是，则执行步骤8；判断是否存在采集节点上重要采集任务采集失败的情况，若是，则执行步骤9；若上述情况均不存在，则任务调度结束；步骤7、当存在采集节点故障时，进行采集节点故障后任务调度，具体调度方法为：步骤7.1、当前采集周期，将故障采集节点上初始任务中重要任务对应的冗余任务的采集结果从其对应的采集节点存入数据采集系统的数据库；步骤7.2、下一采集周期，从冗余热备的采集节点中寻找和故障采集节点资源剩余情况最相近的节点，作为新加入的采集节点，将故障采集节点上的全部初始任务和冗余任务迁移至新加入的采集节点进行采集；步骤8、当存在采集节点过载或存在采集节点上采集时间不满足采集周期要求时，进行采集节点过载后任务调度，具体调度方法为：步骤8.1、根据步骤1到步骤4的对应关系，建立新加入采集节点个数的优化模型，确定新加入的采集节点个数的最小值m，优化模型如下：minms.tTij×Tji＝0i＝1，2...n；j＝1，2...n，j≠i(1-1)其中，timei≤Timei＝1，2...n(1-7)其中，其中，timej≤Timej＝n+1，n+2...n+m(1-12)其中，其中，式(1-1)表示若存在任务从节点i迁移到节点j，则不存在任务从节点j迁移到节点i，从而保证任务迁移的单调性，Tij表示从第i个节点迁移到第j个节点的任务个数，Tji表示从第j个节点迁移到第i个节点的任务个数；式(1-2)表示一个节点不能既迁出任务又迁入任务，n表示新加入节点前工作的采集节点个数；式(1-3)表示任务迁移过程中以及任务迁移完成后初始工作采集节点中第i个采集节点的资源利用率不能超过用本文档来自技高网...

【技术保护点】
1.一种工业分布式数据采集系统中的任务调度方法，其特征在于：该方法包括以下步骤：步骤1、建立各采集节点采集资源和采集任务的对应关系；步骤2、建立各采集节点采集时间和采集任务以及节点资源利用率的对应关系；步骤3、建立各采集节点上任务迁移所消耗的资源与迁移任务个数的对应关系；步骤4、建立各采集节点之间任务迁移的通信开销与迁移任务的对应关系；步骤5、确定初始工作的最小采集节点个数并开启对应采集节点，其余采集节点资源作为共享资源备用；步骤6、将初始采集任务和其中部分初始任务中重要任务的冗余任务分配给步骤5确定的各个采集节点；判断是否存在采集节点故障，若是，则执行步骤7；判断是否存在采集节点过载或采集节点上采集时间不满足采集周期要求的情况，若是，则执行步骤8；判断是否存在采集节点上重要采集任务采集失败的情况，若是，则执行步骤9；若上述情况均不存在，则任务调度结束；步骤7、当存在采集节点故障时，进行采集节点故障后任务调度，具体调度方法为：步骤7.1、当前采集周期，将故障采集节点上初始任务中重要任务对应的冗余任务的采集结果从其对应的采集节点存入数据采集系统的数据库；步骤7.2、下一采集周期，从冗余热备的采集节点中寻找和故障采集节点资源剩余情况最相近的节点，作为新加入的采集节点，将故障采集节点上的全部初始任务和冗余任务迁移至新加入的采集节点进行采集；步骤8、当存在采集节点过载或存在采集节点上采集时间不满足采集周期要求时，进行采集节点过载后任务调度，具体调度方法为：步骤8.1、根据步骤1到步骤4的对应关系，建立新加入采集节点个数的优化模型，确定新加入的采集节点个数的最小值m；步骤8.2、求解步骤8.1中的优化模型，求得新加入的最小采集节点个数，并从冗余热备的采集节点中选择相应个数的采集节点，加入采集工作；步骤8.3、建立采集节点任务迁移优化模型；步骤8.4、求解步骤8.3中的优化模型，得到第i个采集节点迁移到第j个采集节点的任务序号集合Taskij；步骤8.5、按照步骤8.4所得结果进行采集节点间的任务迁移；步骤9、当存在采集节点上重要采集任务采集失败时，将其对应的冗余任务的采集结果从对应的采集节点上存入数据采集系统的数据库。...

【技术特征摘要】
1.一种工业分布式数据采集系统中的任务调度方法，其特征在于：该方法包括以下步骤：步骤1、建立各采集节点采集资源和采集任务的对应关系；步骤2、建立各采集节点采集时间和采集任务以及节点资源利用率的对应关系；步骤3、建立各采集节点上任务迁移所消耗的资源与迁移任务个数的对应关系；步骤4、建立各采集节点之间任务迁移的通信开销与迁移任务的对应关系；步骤5、确定初始工作的最小采集节点个数并开启对应采集节点，其余采集节点资源作为共享资源备用；步骤6、将初始采集任务和其中部分初始任务中重要任务的冗余任务分配给步骤5确定的各个采集节点；判断是否存在采集节点故障，若是，则执行步骤7；判断是否存在采集节点过载或采集节点上采集时间不满足采集周期要求的情况，若是，则执行步骤8；判断是否存在采集节点上重要采集任务采集失败的情况，若是，则执行步骤9；若上述情况均不存在，则任务调度结束；步骤7、当存在采集节点故障时，进行采集节点故障后任务调度，具体调度方法为：步骤7.1、当前采集周期，将故障采集节点上初始任务中重要任务对应的冗余任务的采集结果从其对应的采集节点存入数据采集系统的数据库；步骤7.2、下一采集周期，从冗余热备的采集节点中寻找和故障采集节点资源剩余情况最相近的节点，作为新加入的采集节点，将故障采集节点上的全部初始任务和冗余任务迁移至新加入的采集节点进行采集；步骤8、当存在采集节点过载或存在采集节点上采集时间不满足采集周期要求时，进行采集节点过载后任务调度，具体调度方法为：步骤8.1、根据步骤1到步骤4的对应关系，建立新加入采集节点个数的优化模型，确定新加入的采集节点个数的最小值m；步骤8.2、求解步骤8.1中的优化模型，求得新加入的最小采集节点个数，并从冗余热备的采集节点中选择相应个数的采集节点，加入采集工作；步骤8.3、建立采集节点任务迁移优化模型；步骤8.4、求解步骤8.3中的优化模型，得到第i个采集节点迁移到第j个采集节点的任务序号集合Taskij；步骤8.5、按照步骤8.4所得结果进行采集节点间的任务迁移；步骤9、当存在采集节点上重要采集任务采集失败时，将其对应的冗余任务的采集结果从对应的采集节点上存入数据采集系统的数据库。2.根据权利要求1所述的工业分布式数据采集系统中的任务调度方法，其特征在于：所述步骤1的具体过程为：步骤1.1、单独对每个采集节点分配采集任务，改变采集任务个数，测量大量不同采集任务条件下，第i个采集节点上消耗的采集任务个数Ti及其采集资源利用率数据ui，以及该采集节点上分配的全部采集任务所需要的采集时间数据timei；步骤1.2、对步骤1.1所得第i个采集节点上的采集任务数据Ti和对应资源消耗数据进行拟合，求得两者的函数关系式所述步骤2中，对步骤1.1所得采集任务个数Ti和对应采集资源利用率数据ui、采集时间数据timei进行拟合，求得第i个采集节点上采集时间数据timei与采集任务个数Ti和资源利用率数据ui的函数关系式timei＝g(Ti，ui)。3.根据权利要求2所述的工业分布式数据采集系统中的任务调度方法，其特征在于：所述步骤8.1中的优化模型如下：minms.tTij×Tji＝0i＝1，2…n；j＝1，2…n，j≠i(1-1)其中，timei≤Timei＝1，2…n(1-7)其中，其中，timej≤Timej＝n+1，n+2…n+m(1-12)其中，其中，式(1-1)表示若存在任务从节点i迁移到节点j，则不存在任务从节点j迁移到节点i，从而保证任务迁移的单调性，Tij表示从第i个节点迁移到第j个节点的任务个数，Tji表示从第j个节点迁移到第i个节点的任务个数；式(1-2)表示一个节点不能既迁...

【专利技术属性】
技术研发人员：徐泉，冉振莉，王良勇，柴天佑，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21