基于云计算的数据处理方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种基于云计算的数据处理方法、装置及存储介质，包括：总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记；总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值；子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务；云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处。的云处理节点处。的云处理节点处。

【技术实现步骤摘要】
基于云计算的数据处理方法、装置及存储介质


[0001]本专利技术涉及云计算技术，尤其涉及一种基于云计算的数据处理方法、装置及存储介质。

技术介绍

[0002]云计算(英文名：Cloud Computing)是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
[0003]随着每个公司的迅速发展以及相应的信息化建设，云计算运用越来越广泛，每个公司可能在不同的工作区域内设置不同的数据采集点、数据处理节点，但是在实际的使用过程中，并无法对所有数据处理节点进行有效的数据分发，使得整个云系统工作效率较差。

技术实现思路

[0004]本专利技术实施例提供一种基于云计算的数据处理方法、装置及存储介质，能够适应不同区域处任务数据的变化进行相应的处理，根据不同云处理节点的任务量、工作状态进行任务数据的分发，进行数据的云处理，处理效率较高。
[0005]本专利技术实施例的第一方面，提供一种基于云计算的数据处理方法，根据数据生成设备的分布信息设置多个处理区域，其中每个处理区域内至少设置一个云处理节点，对云处理节点中每个处理单元按照其数据处理的类型进行分类，每个子均衡负载装置分别与不同处理区域内的云处理节点连接，还包括以下步骤：
[0006]总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记；
[0007]总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值；
[0008]子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务，所述第二算法为基于处理维度对所述一级任务拆分成为至少一个二级任务；
[0009]云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处，云处理节点将任务数据反馈至客户端，将不存在区域标记的任务数据存储至相应类别的数据库并反馈至客户端。
[0010]可选地，在第一方面的一种可能实现方式中，总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置包括：
[0011]总均衡负载装置接收客户端提交的总任务，所述总任务包括不同时刻所采集的不同区域的任务数据，所述不同区域包括处理区域和/或非处理区域；
[0012]通过第一算法包括的以下公式确定每一个处理区域和/或非处理区域的不同处理权重值，
[0013][0014]其中，S
i
为第i个处理区域和/或非处理区域的处理权重值，x
i
为第i个处理区域和/或非处理区域的任务数据的总数量值，x
p
为第p个处理区域和/或非处理区域的任务数据的总数量值，A为第i个处理区域和/或非处理区域的任务数据的预设值，m
t
为第i个处理区域和/或非处理区域在第t时刻的任务数据的数量值；
[0015]对所述处理权重值进行倒序的排序，得到处理权重值的倒序排序结果；
[0016]总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置，不同处理区域和/或非处理区域的任务数据为一级任务。
[0017]可选地，在第一方面的一种可能实现方式中，总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置包括：
[0018]负载装置子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据，所述剩余工作属性数据包括处理器未使用率、缓存未占用率以及内存未使用率；
[0019]总均衡负载装置基于所述剩余工作属性数据的数值将所述剩余工作属性数据进行倒序的排序，得到剩余工作属性的倒序排序结果；
[0020]将处理权重值的倒序排序结果和剩余工作属性的倒序排序结果一一对应得到对应结果，基于所述对应结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置。
[0021]可选地，在第一方面的一种可能实现方式中，负载装置子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据包括：
[0022]通过以下公式计算每个云处理节点的剩余工作属性数据，
[0023][0024]其中，k为剩余工作属性数据，E为处理器未使用率，V1为处理器未使权重，W为缓存未占用率，V2为缓存未占权重，Y为内存未使用率，V3为内存未使权重，h为第一换算值。
[0025]可选地，在第一方面的一种可能实现方式中，子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务包括：
[0026]对所述一级任务按照处理维度分类得到至少一个二级任务；
[0027]获取不同处理区域内的云处理节点中每个处理单元的类别，将相应类别的二级任务发送至相应类别的处理单元中。
[0028]可选地，在第一方面的一种可能实现方式中，云处理节点对接收到的二级任务并发处理后存储至相应类别维度的数据库包括：
[0029]每个处理单元对接收到的二级任务进行并发处理得到能源信息表，二级任务至少包括能源的量值信息和采集时刻信息；
[0030]将所述能源信息表存储至相应类别的子数据库中，所述数据库包括多个类别的子数据库，每个类别的子数据库与多个同一类别的处理单元连接。
[0031]可选地，在第一方面的一种可能实现方式中，根据数据生成设备的分布信息设置多个处理区域包括：
[0032]获取数据生成设备的分布图，所述数据生成设备的分布图包括每个区域内分布的数据生成设备；
[0033]配置数据生成设备量化阈值，当某一个区域内的数据生成设备实际量化值大于所述数据生成设备量化阈值时，将该区域设置为一个处理区域。
[0034]可选地，在第一方面的一种可能实现方式中，还包括：
[0035]所述数据生成设备的分布图包括每个区域内分布的数据生成设备的数量和种类，基于不同数据生成设备的种类不同将数据生成设备分为一类设备、二类设备以及三类设备；
[0036]通过以下公式计算数据生成设备实际量化值，包括：
[0037][0038]其中，U为数据生成设备实际量化值，Z1为一类设备的一类权重值，α为第一类设备的数量，Z2为二类设备的一类权重值，β为第二类设备的数量，Z3为三类设备的三类权重值，γ为第三类设备的数量，δ为第二换算值。
[0039]本专利技术实施例的第二方面，提供一种基于云计算的数据处理装置，其特征在于，根据数据生成设备的分布信息设置多个处理区域，其中每个处理区域内至少设置一个云处理节点，对云处理节点中每个处理单元按照其数据处理的类型进行分类，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于云计算的数据处理方法，其特征在于，根据数据生成设备的分布信息设置多个处理区域，其中每个处理区域内至少设置一个云处理节点，对云处理节点中每个处理单元按照其数据处理的类型进行分类，每个子均衡负载装置分别与不同处理区域内的云处理节点连接，还包括以下步骤：总均衡负载装置接收客户端提交的总任务，所述总任务包括处理区域和/或非处理区域的任务数据，对处理区域内的任务数据进行区域标记；总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置，所述第一算法为根据处理区域和/或非处理区域的任务数据的总数量值以及预设值得到相应的处理权重值；子均衡负载装置基于第二算法对一级任务拆分成二级任务并向不同处理区域内的云处理节点分发二级任务，所述第二算法为基于处理维度对所述一级任务拆分成为至少一个二级任务；云处理节点对接收到的二级任务并发处理得到处理后的任务数据，将存在区域标记的处理后的任务数据发送至其对应的处理区域处的云处理节点处，云处理节点将任务数据反馈至客户端，将不存在区域标记的任务数据存储至相应类别的数据库并反馈至客户端。2.根据权利要求1所述的基于云计算的数据处理方法，其特征在于，总均衡负载装置基于时间序列和第一算法对总任务拆分得到多个一级任务并分发至子均衡负载装置包括：总均衡负载装置接收客户端提交的总任务，所述总任务包括不同时刻所采集的不同区域的任务数据，所述不同区域包括处理区域和/或非处理区域；通过第一算法包括的以下公式确定每一个处理区域和/或非处理区域的不同处理权重值，其中，S
i
为第i个处理区域和/或非处理区域的处理权重值，x
i
为第i个处理区域和/或非处理区域的任务数据的总数量值，x
p
为第p个处理区域和/或非处理区域的任务数据的总数量值，A为第i个处理区域和/或非处理区域的任务数据的预设值，m
t
为第i个处理区域和/或非处理区域在第t时刻的任务数据的数量值；对所述处理权重值进行倒序的排序，得到处理权重值的倒序排序结果；总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置，不同处理区域和/或非处理区域的任务数据为一级任务。3.根据权利要求2所述的基于云计算的数据处理方法，其特征在于，总均衡负载装置基于所述处理权重值的倒序排序结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置包括：子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据，所述剩余
工作属性数据包括处理器未使用率、缓存未占用率以及内存未使用率；总均衡负载装置基于所述剩余工作属性数据的数值将所述剩余工作属性数据进行倒序的排序，得到剩余工作属性的倒序排序结果；将处理权重值的倒序排序结果和剩余工作属性的倒序排序结果一一对应得到对应结果，基于所述对应结果将不同处理区域和/或非处理区域的任务数据分发至相应的子均衡负载装置。4.根据权利要求3所述的基于云计算的数据处理方法，其特征在于，子均衡负载装置获取相应处理区域中相应云处理节点的剩余工作属性数据包括：通过以下公式计算每个云处理节点的剩余工作属性数据，其中，k为剩余工作属性数据，E为处理器未...

【专利技术属性】
技术研发人员：施麟，
申请(专利权)人：东南大学，
类型：发明
国别省市：