【技术实现步骤摘要】
本公开涉及数据处理，特别涉及一种面向复杂烟草处理任务的算力自适应调度方法与系统。
技术介绍
1、随着信息技术的迅速发展，大数据已经成为了现代社会的重要组成部分，而烟草行业作为全球最大的消费品行业之一，其大数据的特点和处理任务所面临的挑战也备受关注。烟草行业在生产、销售、市场推广等各个环节都会产生大量的数据，这些数据既包括结构化数据，如生产线上的产品数量、质量检测数据等，也包括非结构化数据，如市场销售报告、客户反馈等。这些数据规模庞大，处理和分析的难度相应增大。
2、烟草种植涉及广泛的地理区域，不同地区的气候条件、土壤特性和环境因素各不相同，导致烟草数据呈现出多样性。例如，烟草种植在不同的气候环境下可能呈现出不同的生长规律和品质特点。烟草大数据还具有多模态性。烟草数据可能包括遥感影像数据、气象数据、土壤数据等多种类型的数据。这些数据来自不同的传感器或监测设备，具有不同的数据格式和特点。因此，在处理烟草大数据时需要进行多模态数据融合与处理，以更好地理解烟草种植和生产的全貌。由于烟草种植涉及广泛的地理区域和大量的种植规模，导致产生的数据量庞大。每个种植地点的气象观测数据、土壤监测数据、病虫害防治数据等都会不断积累，形成大规模的数据集合，这使得烟草大数据的处理和分析变得复杂而困难。
技术实现思路
1、本公开提出一种面向复杂烟草处理任务的算力自适应调度方法与系统，以解决上述技术问题。
2、根据本公开的第一方面，提供一种面向复杂烟草处理任务的算力自适应调度方法，包括：获
3、在一些实施例中，所述利用预构建的算子库中的算子对所述烟草数据进行处理，包括：管理节点根据工作节点的可用处理能力和负载情况动态对所述烟草数据进行逻辑划分；将划分的数据子集分配给各个工作节点；对所述数据子集进行分布式并行执行。
4、在一些实施例中，针对n个工作节点，根据每个工作节点的可用处理能力和剩余执行时间，管理节点对各工作节点进行打分，并按指定规则将烟草数据逻辑拆分成n块，得分高的工作节点处理的数据子集大，得分低的工作节点处理的数据子集小。
5、在一些实施例中，si＝w1*qi+w2*ti，其中，qi表示节点i当前的可用处理能力，ti表示节点i正在运行算子的剩余执行时间，w1和w2是相应的权重系数，si表示节点i的得分。
6、在一些实施例中，3个工作节点worker1、worker2、worker3得分依次为6、3、3，按照公式计算得到worker1、worker2、worker3被分配的子集占整个数据集的第1个子集占整个数据集的分配给worker1，第2个子集占整个数据集的分配给worker2，第3个子集占整个数据集的分配给worker3。
7、在一些实施例中，所述保存处理结果，包括：不同所述数据子集的处理结果写入网络存储系统中同一个文件。
8、根据本公开的第二方面，提供了一种面向复杂烟草处理任务的算力自适应调度系统，包括：获取模块，用于获取所述烟草数据；处理模块，用于利用预构建的算子库中的算子对所述烟草数据进行处理，所述预构建的算子库中包括依次连接的用于获取所述烟草数据的数据源算子、用于标准化所述烟草数据的预处理算子、以及用于处理所述烟草数据的特征算子；保存模块，用于保存处理结果。
9、根据本公开的第三方面，提供了一种面向复杂烟草处理任务的算力自适应调度系统，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如上述的面向复杂烟草处理任务的算力自适应调度方法。
10、根据本公开的第四方面，提供了一种计算机可存储介质，其上储存有计算机程序指令，该指令被处理器执行时实现如上述的面向复杂烟草处理任务的算力自适应调度方法。
11、本公开的优点：将复杂的烟草数据分析过程分解拆分成多个算子，每个算子在被执行前，管理节点会根据工作节点当前的可用处理能力和负载情况，将烟草数据拆分为不同的数据子集，可用计算能力强、负载低的工作节点会被分配较大的数据子集，反之则会被分配较小的数据子集。各个工作节点利用算子并发处理烟草数据，提升烟草大数据的处理和分析效率。
本文档来自技高网...【技术保护点】
1.一种面向复杂烟草处理任务的算力自适应调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的面向复杂烟草处理任务的算力自适应调度方法，其特征在于，所述利用预构建的算子库中的算子对所述烟草数据进行处理，包括：
3.根据权利要求2所述的面向复杂烟草处理任务的算力自适应调度方法，其特征在于，针对N个工作节点，根据每个工作节点的可用处理能力和剩余执行时间，管理节点对各工作节点进行打分，并按指定规则将烟草数据逻辑拆分成N块，得分高的工作节点处理的数据子集大，得分低的工作节点处理的数据子集小。
4.根据权利要求3所述的面向复杂烟草处理任务的算力自适应调度方法，其特征在于，Si＝w1*Qi+w2*Ti，其中，Qi表示节点i当前的可用处理能力，Ti表示节点i正在运行算子的剩余执行时间，W1和W2是相应的权重系数，Si表示节点i的得分。
5.根据权利要求4所述的面向复杂烟草处理任务的算力自适应调度方法，其特征在于，3个工作节点Worker1、Worker2、Worker3得分依次为6、3、3，按照公式计算得到Worker1、Worker2、
6.根据权利要求2所述的面向复杂烟草处理任务的算力自适应调度方法，其特征在于，所述保存处理结果，包括：不同所述数据子集的处理结果写入网络存储系统中同一个文件。
7.一种面向复杂烟草处理任务的算力自适应调度系统，其特征在于，包括：
8.一种面向复杂烟草处理任务的算力自适应调度系统，其特征在于，包括：
9.一种计算机可存储介质，其特征在于，其上储存有计算机程序指令，该指令被处理器执行时实现如权利要求1至6任一项所述的面向复杂烟草处理任务的算力自适应调度方法。
...【技术特征摘要】
1.一种面向复杂烟草处理任务的算力自适应调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的面向复杂烟草处理任务的算力自适应调度方法，其特征在于，所述利用预构建的算子库中的算子对所述烟草数据进行处理，包括：
3.根据权利要求2所述的面向复杂烟草处理任务的算力自适应调度方法，其特征在于，针对n个工作节点，根据每个工作节点的可用处理能力和剩余执行时间，管理节点对各工作节点进行打分，并按指定规则将烟草数据逻辑拆分成n块，得分高的工作节点处理的数据子集大，得分低的工作节点处理的数据子集小。
4.根据权利要求3所述的面向复杂烟草处理任务的算力自适应调度方法，其特征在于，si＝w1*qi+w2*ti，其中，qi表示节点i当前的可用处理能力，ti表示节点i正在运行算子的剩余执行时间，w1和w2是相应的权重系数，si表示节点i的得分。
5.根据权利要求4所述的面向复杂烟草处理任务的算力自...
【专利技术属性】
技术研发人员：孙志涛，马宇平，杨永锋，付瑜锋，刘强，白银帅，项攀，李红涛，许衡，张俊岭，
申请(专利权)人：河南中烟工业有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。