【技术实现步骤摘要】
本专利技术涉及数据智能处理，特别是指一种基于深度学习模型的数据处理任务ai分配与处理方法、基于深度学习模型的数据处理任务ai分配与处理装置、电子设备和计算机可读存储介质。
技术介绍
1、数据处理任务，例如数据清洗、数据分析、数据转换、数据集成、数据存储、数据安全与隐私保护、数据可视化和数据挖掘等，是数据智能处理的重要组成部分。随着数据量的日益增长，如何高效地处理这些数据，尤其是如何合理地分配和处理ai任务，成为了一个亟待解决的问题。
2、传统的数据处理方法往往依赖于固定的规则和预设的流程，难以适应复杂多变的数据处理需求。比如公开号为cn109947556a的专利技术专利提供了一种任务分配方法：向所述数据处理装置的节点芯片发送计算任务命令；数据处理装置的各节点芯片根据各自任务进行运算；数据处理装置向外部控制装置返回运算结果。该技术则是需要向串联的对应节点芯片发送相应任务分配指令，以此通过较少的指令交互实现串联节点芯片的计算任务的分配。而这种任务分配，仅仅适应于固定流程（也就是其节点芯片之间明确了交互流程的模式）的任务分配。
3、然而，在现有大数据的数据数据中，包含各种需求的数据处理任务，比如大数据的清洗、按需分析、各权限或专业的数据处理，往往涉及到若干个计算节点（甚至成百上千），若是采用根据任务属性向对应计算节点发送计算任务命令的模式，则无疑在前期进行任务分配之时，会占用大量时间进行任务分配计算，降低了数据处理的效率。
4、此外，在任务分配过程中，还需要管理员监控任务的分配进程和正确性，需要进行
技术实现思路
1、为了解决现有技术存在的技术问题，本专利技术提供了如下技术方案：
2、一方面，提供了一种基于深度学习模型的数据处理任务ai分配与处理方法，该方法由电子设备实现，该方法包括：
3、s1、基于历史任务分配大数据，构建并部署任务ai分配模型；
4、s2、接收并解析任务数据包，得到若干数据处理任务；
5、s3、通过预设的所述任务ai分配模型，遍历各个所述数据处理任务，识别并输出所述数据处理任务的任务分配特征；
6、s4、读取所述数据处理任务的所述任务分配特征中的任务属性，并按照所述任务属性将所述数据处理任务分配至对应的任务节点；
7、s5、同步将所述数据处理任务的所述任务分配特征发送至所分配的所述任务节点。
8、优选地，s1、基于历史任务分配大数据，构建并部署任务ai分配模型，包括：
9、从任务日志库中收集若干历史任务的分配日志数据，经过预处理后，得到所述历史任务分配大数据，其中，所述分配日志数据包括如下至少一种任务信息：任务属性以及所分配的任务节点，所述任务属性包含任务类型、父子任务关系、任务权限、任务大小和/或任务文本关键词；
10、对所述历史任务分配大数据进行特征提取，获取所述历史任务分配大数据的任务分配特征集，包括：
11、遍历所述历史任务分配大数据中的各个历史任务的分配日志数据；
12、通过文本挖掘算法，挖掘并提取各个历史任务的分配日志数据中的任务分配特征，并经过特征整合处理后，得到由各个历史任务的所述任务分配特征组成的所述任务分配特征集；
13、按照预设比例，将所述任务分配特征集划分为训练集和验证集；
14、将所述训练集输入预设的深度学习模型中，使用所述训练集中的任务分配特征对所模型进行学习训练，当达到预设的优化迭代停止条件，停止训练，生成所述任务ai分配模型；
15、使用所述验证集对所述任务ai分配模型进行性能验证：
16、若验证通过，则部署所述任务ai分配模型至任务管理器中，并配置模型应用参数；
17、反之，重复上述模型训练步骤。
18、优选地，在从任务日志库中收集若干历史任务的分配日志数据之时，还包括：
19、根据所述分配日志数据的任务属性，构建用于收集所述分配日志数据的检索词和检索条件；
20、基于所述检索词和所述检索条件，生成大语言模型提示词，并将所述大语言模型提示词输入预设的llm大语言模型；
21、通过所述llm大语言模型，基于所述大语言模型提示词搜索所述任务日志库，从所述任务日志库中检索并收集相应历史任务的所述分配日志数据，并输出。
22、优选地，s2、接收并解析任务数据包，得到若干数据处理任务，包括：
23、通过任务接收器接收管理员下发的任务数据包；
24、解析所述任务数据包，得到若干所述数据处理任务之后，将各个所述数据处理任务依次发送至所述任务管理器。
25、优选地，s4、读取所述数据处理任务的所述任务分配特征中的任务属性，并按照所述任务属性将所述数据处理任务分配至对应的任务节点，包括：
26、通过所述任务管理器依次读取并识别所述数据处理任务的所述任务分配特征，从所述任务分配特征中识别其任务属性，并将当前所述数据处理任务及其任务属性发送至路由器；
27、通过所述路由器接收当前所述数据处理任务，并按照所述任务属性中的任务类型、父子任务关系、任务权限、任务大小和/或任务文本关键词，将当前所述数据处理任务转发至对应的所述任务节点。
28、优选地，所述路由器中预先配置有各个任务节点所适配的数据处理任务的任务属性。
29、另一方面，提供了一种基于深度学习模型的数据处理任务ai分配与处理装置，所述基于深度学习模型的数据处理任务ai分配与处理装置用于实现上述所述基于深度学习模型的数据处理任务ai分配与处理方法，所述装置包括：
30、任务接收器，用于接收并解析任务数据包，得到若干数据处理任务；
31、任务管理器，用于通过预设的所述任务ai分配模型，遍历各个所述数据处理任务，识别并输出所述数据处理任务的任务分配特征；
32、路由器，用于读取所述数据处理任务的所述任务分配特征中的任务属性，并按照所述任务属性将所述数据处理任务分配至对应的任务节点；以及，同步将所述数据处理任务的所述任务分配特征发送至所分配的所述任务节点。
33、另一方面，提供一种电子设备，所述电子设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述基于深度学习模型的数据处理任务ai分配与处理方法中的任一项方法。
34、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于深度学习模型的数据处理任务ai分配与处理方法中的任一项方法。
35、本专利技术实施例提供的技术方案带来的有益效果至少包括：
36、本专利技术提出了一种基于深度学本文档来自技高网...
【技术保护点】
1.一种基于深度学习模型的数据处理任务AI分配与处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于深度学习模型的数据处理任务AI分配与处理方法，其特征在于，S1、基于历史任务分配大数据，构建并部署任务AI分配模型，包括：
3.根据权利要求2所述的基于深度学习模型的数据处理任务AI分配与处理方法，其特征在于，在从任务日志库中收集若干历史任务的分配日志数据之时，还包括：
4.根据权利要求2所述的基于深度学习模型的数据处理任务AI分配与处理方法，其特征在于，S2、接收并解析任务数据包，得到若干数据处理任务，包括：
5.根据权利要求2所述的基于深度学习模型的数据处理任务AI分配与处理方法，其特征在于，S4、读取所述数据处理任务的所述任务分配特征中的任务属性，并按照所述任务属性将所述数据处理任务分配至对应的任务节点，包括：
6.根据权利要求5所述的基于深度学习模型的数据处理任务AI分配与处理方法，其特征在于，所述路由器中预先配置有各个任务节点所适配的数据处理任务的任务属性。
7.一种基于深度学习模型的数
8.一种电子设备，其特征在于，所述电子设备包括：
9.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至6任一项所述的方法。
...【技术特征摘要】
1.一种基于深度学习模型的数据处理任务ai分配与处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于深度学习模型的数据处理任务ai分配与处理方法，其特征在于，s1、基于历史任务分配大数据，构建并部署任务ai分配模型，包括：
3.根据权利要求2所述的基于深度学习模型的数据处理任务ai分配与处理方法，其特征在于，在从任务日志库中收集若干历史任务的分配日志数据之时，还包括：
4.根据权利要求2所述的基于深度学习模型的数据处理任务ai分配与处理方法，其特征在于，s2、接收并解析任务数据包，得到若干数据处理任务，包括：
5.根据权利要求2所述的基于深度学习模型的数据处理任务ai分配与处理方法，其特征在于，s4、读取所述数据处理任务的所述任务分配特...
【专利技术属性】
技术研发人员：崔德鹏，王昭锦，
申请(专利权)人：杭州量算科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。