海量数据的任务调度方法及系统技术方案

本发明专利技术公开了一种海量数据的任务调度方法，包括：服务请求节点获取计算任务，所述计算任务为时延敏感型任务；所述服务请求节点生成博弈策略，并基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点；所述服务请求节点接收第一雾节点反馈的任务卸载响应，并基于所述任务卸载响应，所述第一雾节点向所述服务请求节点提供计算任务卸载，其中，所述第一雾节点属于接收了所述服务报酬及计算任务信息的所述一个或多个雾节点中的其中一个或多个雾节点。或多个雾节点中的其中一个或多个雾节点。或多个雾节点中的其中一个或多个雾节点。

【技术实现步骤摘要】
海量数据的任务调度方法及系统


[0001]本专利技术属于信息
，具体地，涉及一种海量数据的任务调度的方法及系统。

技术介绍

[0002]大数据是指一种规模大到在获取、存储、分析方面大大超出了传统数据库软件工具(如MySQL，Oracle，PostgreSQL等)能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征；是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
[0003]近年来，基于大数据的数据存储、数据迁移、数据读取等研究已经进入了一个高速发展期，由于大数据的流量呈现爆发式增长，因此，云计算、雾计算等新型IT架构应运而生。
[0004]然而，针对低时延、高可靠的任务而言，传统的云计算和雾计算处理方式已经不能够满足要求，因此，服务请求节点可以请求其余的节点(例如雾节点)来进行任务协同调度，帮助服务请求节点处理部分任务(任务卸载)。但是，目前的任务调度中，并不是所有的云或雾节点都愿意进行任务之间的协同调度，导致低时延、高可靠的任务往往得不到优先处理或高质量(QoS)处理。

技术实现思路

[0005]本专利技术提供了一种海量数据的任务调度的方法及系统，提出了基于博弈的激励机制，有效解决了现有技术中低时延、高可靠的任务得不到优先处理或高质量处理问题，有效提升了时延敏感型任务的任务调度效率，增强了任务处理时效。
[0006]为了实现上述目的，本专利技术提供了一种海量数据的任务调度的方法，包括：
[0007]服务请求节点获取计算任务，所述计算任务为时延敏感型任务；
[0008]所述服务请求节点生成博弈策略，并基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点；
[0009]所述服务请求节点接收第一雾节点反馈的任务卸载响应，并基于所述任务卸载响应，所述第一雾节点向所述服务请求节点提供计算任务卸载，其中，所述第一雾节点属于接收了所述服务报酬及计算任务信息的所述一个或多个雾节点中的其中一个或多个雾节点。
[0010]可选地，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：
[0011]当所述雾节点为一个时，所述服务请求节点确定最优服务报酬，并将所述最优服务报酬及所述计算任务信息分发给所述雾节点；
[0012]当所述雾节点为多个时，所述服务请求节点对所述多个雾节点的KPI性能进行预估，并基于预估结果，为每个雾节点定制对应的服务报酬，并将所述计算任务信息及所述定制的服务报酬分发至所述对应的多个雾节点中。
[0013]可选地，将所述定制的服务报酬分发至所述对应的多个雾节点中，包括：
[0014]所述服务请求节点将第一定制的服务报酬发送至雾中心节点中，所述雾中心节点
为所述多个雾节点中的中心控制节点；
[0015]所述雾中心节点将所述第一定制的服务报酬分发至所述其余多个雾节点中，以使所述其余多个雾节点单独对所述服务请求节点进行反馈；
[0016]所述服务请求节点在预定时间内未收到任一雾节点反馈的任务卸载响应后，基于分时策略，在预设定周期内将第二定制的服务报酬发送至雾中心节点中，以便所述雾中心节点将所述第二定制的服务报酬分发至所述其余多个雾节点中，以使所述其余多个雾节点单独对所述服务请求节点进行反馈。
[0017]可选地，将所述定制的服务报酬分发至所述对应的多个雾节点中，包括：
[0018]所述服务请求节点将所有定制的服务报酬发送至雾中心节点中，所述雾中心节点为所述多个雾节点中的中心控制节点，所述所有定制的服务报酬包括每一雾节点对应的服务报酬；
[0019]所述雾中心节点将所述所有定制的服务报酬进行拆分，并将拆分后的服务报酬依次分发至对应的雾节点中。
[0020]可选地，当所述雾节点为多个时，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：
[0021]所述服务请求节点获取所述多个雾节点的ID、IP地址和类型；
[0022]所述服务请求节点基于所述多个雾节点的ID、IP地址和类型，识别出与所述服务请求节点同一个运营商的一个或多个雾节点；
[0023]基于识别出的所述一个或多个雾节点，所述服务请求节点生成路由表，并制定所述服务报酬，将所述服务报酬及所述计算任务信息根据所述路由表，按照最短路径发送至所述识别出的一个或多个雾节点。
[0024]可选地，当所述雾节点为多个、且所述计算任务为多个时，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：
[0025]所述服务请求节点基于所述博弈策略，制定服务报酬总包以及分包策略，所述服务报酬总包为所述多个计算任务的服务报酬总和，所述分包策略为所述服务报酬总包的分配方案；
[0026]所述服务请求节点将所述服务报酬总包及分包策略发送至雾中心节点，所述雾中心节点为所述多个雾节点的中心控制节点；
[0027]所述雾中心节点将所述服务报酬总包及分包策略分发至所述其余每一个雾节点中，并实时收集所述其余每一个雾节点的反馈，并将所述其余每一个雾节点的反馈透发至所述服务请求节点中。
[0028]可选地，若所述服务请求节点接收到两个及以上的雾节点的任务卸载响应，则所述方法还包括：
[0029]制定任务分配策略，并基于所述任务分配策略，将所述多个计算任务依次分配给所述两个及以上的雾节点，以使所述两个及以上的雾节点向所述服务请求节点提供不同计算任务的卸载。
[0030]可选地，所述基于所述博弈策略，制定服务报酬，包括：
[0031]所述服务请求节点计算收入和成本，获取净收益，所述净收益为所述收入减去所
述成本；
[0032]所述服务请求节点对所述净收益进行优化，根据优化的净收益向每个服务节点提供所述服务报酬。
[0033]可选地，所述服务请求节点对所述净收益进行优化，包括：
[0034]所述服务请求节点基于如下公式对净收益进行优化：
[0035][0036]s.t.ω
i
≥0.
[0037]其中，收入为F
t
和成本为G
t
，服务报酬为其中，所述收入根据服务请求节点支付的任务计算单价、任务数据量的大小和服务节点自身的计算速率来确定；所述成本根据提供给服务请求节点的计算能力大小、任务数据量的大小、服务节点CPU周期和服务节点每比特数据处理能耗来确定。
[0038]本专利技术实施例还提供了一种海量数据的任务调度系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述的方法。
[0039]本专利技术实施例的方法及系统具有下列优点：
[0040]本专利技术实施例中，服务请求节点生成博本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量数据的任务调度方法，其特征在于，包括：服务请求节点获取计算任务，所述计算任务为时延敏感型任务；所述服务请求节点生成博弈策略，并基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点；所述服务请求节点接收第一雾节点反馈的任务卸载响应，并基于所述任务卸载响应，所述第一雾节点向所述服务请求节点提供计算任务卸载，其中，所述第一雾节点属于接收了所述服务报酬及计算任务信息的所述一个或多个雾节点中的其中一个或多个雾节点。2.根据权利要求1所述的方法，其特征在于，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：当所述雾节点为一个时，所述服务请求节点确定最优服务报酬，并将所述最优服务报酬及所述计算任务信息分发给所述雾节点；当所述雾节点为多个时，所述服务请求节点对所述多个雾节点的KPI性能进行预估，并基于预估结果，为每个雾节点定制对应的服务报酬，并将所述计算任务信息及所述定制的服务报酬分发至所述对应的多个雾节点中。3.根据权利要求2所述的方法，其特征在于，将所述定制的服务报酬分发至所述对应的多个雾节点中，包括：所述服务请求节点将第一定制的服务报酬发送至雾中心节点中，所述雾中心节点为所述多个雾节点中的中心控制节点；所述雾中心节点将所述第一定制的服务报酬分发至所述其余多个雾节点中，以使所述其余多个雾节点单独对所述服务请求节点进行反馈；所述服务请求节点在预定时间内未收到任一雾节点反馈的任务卸载响应后，基于分时策略，在预设定周期内将第二定制的服务报酬发送至雾中心节点中，以便所述雾中心节点将所述第二定制的服务报酬分发至所述其余多个雾节点中，以使所述其余多个雾节点单独对所述服务请求节点进行反馈。4.根据权利要求2所述的方法，其特征在于，将所述定制的服务报酬分发至所述对应的多个雾节点中，包括：所述服务请求节点将所有定制的服务报酬发送至雾中心节点中，所述雾中心节点为所述多个雾节点中的中心控制节点，所述所有定制的服务报酬包括每一雾节点对应的服务报酬；所述雾中心节点将所述所有定制的服务报酬进行拆分，并将拆分后的服务报酬依次分发至对应的雾节点中。5.根据权利要求1所述的方法，其特征在于，当所述雾节点为多个时，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：所述服务请求节点获取所述多个雾节点的ID、IP地址和类型；所述服务请求节点基于所述多个雾节点的ID、...

【专利技术属性】
技术研发人员：李珊，
申请(专利权)人：贵州安禾晟达企业管理有限公司，
类型：发明
国别省市：