基于智能分析的批量任务计算系统技术方案

本发明专利技术公开了基于智能分析的批量任务计算系统，该系统旨在解决现有技术下不能根据内存占用情况创建合适数量的线程数，无法最大化程序的运行速度，且不具备智能分析的功能，不能根据系统运行的情况，合适分派同时运行的任务处理，容易造成系统卡顿，影响批量任务的正常运行的技术问题。该系统包括任务获取模块、存储模块、任务排序模块、任务分配模块、任务计算模块和智能分析模块；所述任务获取模块获取批量任务的配置信息，得到批量任务列表。该系统利用任务计算模块，可以设置正确个数的线程来最大化程序的运行速度，可以将批量任务按照运行时间重新进行排列，使系统具备智能分析的功能，保证批量任务以最优最快的方式正常运行。行。行。

【技术实现步骤摘要】
基于智能分析的批量任务计算系统


[0001]本专利技术属于计算系统领域，具体涉及基于智能分析的批量任务计算系统。

技术介绍

[0002]随着计算机技术的不断发展，在众多的互联网项目中，批量处理任务的功能及需求随处可见，通过批量处理任务，将给日常的工作带来极大的便利和提高效率。
[0003]目前，专利号为CN 201910598614.7的专利技术专利公开了一种批量任务编排方法，包括：获取处理批量任务的资源使用信息；根据资源使用信息及预设的并发度评估模型生成批量任务的最优并发度；根据最优并发度、批量任务的历史处理信息及预设的编排评估模型对批量任务进行编排。其采用的是通过场景分析，进而实现科学作业任务编排，但该计算系统不能根据内存占用情况创建合适数量的线程数，无法最大化程序的运行速度，且不具备智能分析的功能，不能根据系统运行的情况，合适分派同时运行的任务处理，容易造成系统卡顿，影响批量任务的正常运行。
[0004]因此，针对上述无法最大化程序的运行速度，且不具备智能分析的功能的问题，亟需得到解决，以改善计算系统的使用场景。

技术实现思路

[0005]（1）要解决的技术问题针对现有技术的不足，本专利技术的目的在于提供基于智能分析的批量任务计算系统，该系统旨在解决现有技术下不能根据内存占用情况创建合适数量的线程数，无法最大化程序的运行速度，且不具备智能分析的功能，不能根据系统运行的情况，合适分派同时运行的任务处理，容易造成系统卡顿，影响批量任务的正常运行的技术问题。
[0006]（2）技术方案为了解决上述技术问题，本专利技术提供了这样基于智能分析的批量任务计算系统，该系统包括任务获取模块、存储模块、任务排序模块、任务分配模块、任务计算模块和智能分析模块；其中，所述任务获取模块获取批量任务的配置信息，得到批量任务列表；所述存储模块，所述存储模块内包含有缓存单元和计时单元，所述存储模块将任务获取模块获取的配置信息暂存在缓存单元内，然后通过计时单元，定时清除缓存单元内的缓存数据，从而释放缓存单元内的缓存空间；任务排序模块对任务获取模块的任务进行排序，并生成任务排序表，任务排序模块内预装有GBDT排序模型，GBDT排序模型的算法步骤为：输入（，），T,L，其中为样本，为分类标签，初始化，为标准值，计算响应，i=1,
2,
…
，N，为损失函数，然后学习第t棵树，=arg,找步长= arg，为模型参数的共轭复数，为模型参数，为预测值，为步长，满足条件公式后，更新模型：，为分类学习器的输出值，输出；所述任务分配模块内预装有调度算法，所述调度算法根据任务排序模块的任务排序表，对任务排序表进行分割，按顺序分别生成子表1、子表2、
…
、子表Z，计算子表1中第一个任务的运行时间，并将第一个任务加入运行表1中第一个位置，然后计算子表1中第一个任务的运行时间，用与进行比较，若＜，则将第二个任务插入第一个任务的前端，若≥，则将第二个任务放在第一个任务的后端，同理完成子表1中所有任务位置的调整，并生成运行表1，同理生成运行表2、
…
、运行表Z，将运行表1、运行表2、
…
、运行表Z中的任务依次加入集中至一处并生成新的批量任务列表；所述任务计算模块创建个线程，，通过设置正确个数的线程来最大化程序的运行速度；所述智能分析模块内预装有分析规则，所述任务分配模块生成的新的批量任务列表，建立任务暂运行队列，首先往任务暂运行队列中加入新的批量任务列表中的第一个任务，然后往任务暂运行队列中加入第二个任务，分析第一个任务和第二个任务的CPU占用率，若CPU占用率≥50%，则将第二个任务踢出任务暂运行队列，此时任务暂运行队列中仅有第一个任务并生成任务运行队列，若CPU占用率＜50%，则将第二个任务保留，此时任务暂运行队列中包含第一个任务和第二个任务，然后往任务暂运行队列中加入第三个任务，分析第一个任务、第二个任务和第三个任务的CPU占用率，若CPU占用率≥50%，则将第三个任务踢出任务暂运行队列，此时任务暂运行队列中包含第一个任务和第二个任务并生成任务运行队列，若CPU占用率＜50%，则将第三个任务保留，此时任务暂运行队列中包含第一个任务、第二个任务和第三个任务，以此类推，生成最终的生成任务运行队列。
[0007]使用本技术方案的系统时，任务获取模块获取批量任务的配置信息，得到批量任务列表，任务排序模块对任务获取模块的任务进行排序，并生成任务排序表， GBDT排序模型的算法步骤为：输入（，），T,L，初始化，计算响应，i=1,2,
…
，N，然后学习第t棵树，=arg,找步长= arg，满足条件公式后，更新模型：，输出；调度算法根据任务排序模块的任务排序表，对任务排序表进行分割，按顺序分别生成子表1、子表2、
…
、子表Z，计算子表1中第一个任务的运行时间，并将第一个任务加入运行表1中第一个位置，然后计算子表1中第一个任务的运行时间，用与
进行比较，若＜，则将第二个任务插入第一个任务的前端，若≥，则将第二个任务放在第一个任务的后端，同理完成子表1中所有任务位置的调整，并生成运行表1，同理生成运行表2、
…
、运行表Z，将运行表1、运行表2、
…
、运行表Z中的任务依次加入集中至一处并生成新的批量任务列表；任务计算模块创建个线程，，通过设置正确个数的线程来最大化程序的运行速度；智能分析模块内预装有分析规则，所述任务分配模块生成的新的批量任务列表，建立任务暂运行队列，首先往任务暂运行队列中加入新的批量任务列表中的第一个任务，然后往任务暂运行队列中加入第二个任务，分析第一个任务和第二个任务的CPU占用率，若CPU占用率≥50%，则将第二个任务踢出任务暂运行队列，此时任务暂运行队列中仅有第一个任务并生成任务运行队列，若CPU占用率＜50%，则将第二个任务保留，此时任务暂运行队列中包含第一个任务和第二个任务，然后往任务暂运行队列中加入第三个任务，分析第一个任务、第二个任务和第三个任务的CPU占用率，若CPU占用率≥50%，则将第三个任务踢出任务暂运行队列，此时任务暂运行队列中包含第一个任务和第二个任务并生成任务运行队列，若CPU占用率＜50%，则将第三个任务保留，此时任务暂运行队列中包含第一个任务、第二个任务和第三个任务，以此类推，生成最终的生成任务运行队列，同时存储模块将任务获取模块获取的配置信息暂存在缓存单元内，然后通过计时单元，定时清除缓存单元内的缓存数据，从而释放缓存单元内的缓存空间。
[0008]优选地，所述任务获取模块的配置信息包括任务标识、任务类型以及任务参数。
[0009]优选地，所述表示L对F在处的负偏导，F为模型初始值，L为均方误差，=arg表示第t棵树的学习过程，第t棵树拟合的是给出的负偏导，T为CART的数目。
[0010]优选地，所述任务排序模块中条件公式为。
[0011]优选地，所述任务计算模块中为最佳线程数。
[0012]优选地，所述任务分配模块中子表1、子表2、<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于智能分析的批量任务计算系统，该系统包括任务获取模块、存储模块、任务排序模块、任务分配模块、任务计算模块和智能分析模块；其特征在于，所述任务获取模块获取批量任务的配置信息，得到批量任务列表；所述存储模块，所述存储模块内包含有缓存单元和计时单元，所述存储模块将任务获取模块获取的配置信息暂存在缓存单元内，然后通过计时单元，定时清除缓存单元内的缓存数据，从而释放缓存单元内的缓存空间；所述任务排序模块对任务获取模块的任务进行排序，并生成任务排序表，所述任务排序模块内预装有GBDT排序模型，所述GBDT排序模型的算法步骤为：输入（，），T,L，其中为样本，为分类标签，初始化，为标准值，计算响应，i=1,2,
…
，N，为损失函数，然后学习第t棵树，=arg,找步长= arg，为模型参数的共轭复数，为模型参数，为预测值，为步长，满足条件公式后，更新模型：，为分类学习器的输出值，输出；所述任务分配模块内预装有调度算法，所述调度算法根据任务排序模块的任务排序表，对任务排序表进行分割，按顺序分别生成子表1、子表2、
…
、子表Z，计算子表1中第一个任务的运行时间，并将第一个任务加入运行表1中第一个位置，然后计算子表1中第一个任务的运行时间，用与进行比较，若＜，则将第二个任务插入第一个任务的前端，若≥，则将第二个任务放在第一个任务的后端，同理完成子表1中所有任务位置的调整，并生成运行表1，同理生成运行表2、
…
、运行表Z，将运行表1、运行表2、
…
、运行表Z中的任务依次加入集中至一处并生成新的批量任务列表；所述任务计算模块创建个线程，，通过设置正确个数的线程来最大化程序的运行速度；所述智能分析模块内预装有分析规则，所述任务分配模块生成的新的批量任务列表，建立任务暂运行队列，首先往任务暂运行队列中加入新...

【专利技术属性】
技术研发人员：魏俊杰，蓝岸，何翼，熊黄，庄辉，余翔达，许泽鹏，陈晓玩，陈飞，冷佳琪，廖瑞杰，黄冬泉，
申请(专利权)人：深圳新闻网传媒股份有限公司，
类型：发明
国别省市：