System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术提出了一种基于边缘计算的数据处理方法及系统,属于边缘计算。
技术介绍
1、传统的中心化数据处理方式往往存在延迟高、效率低等问题。因此,如何有效地处理这些海量数据,提高处理速度,降低处理成本,成为当前信息
亟待解决的问题。
2、边缘计算作为一种新的计算模式,通过将计算能力下沉到网络边缘,即设备的近端,使得数据处理能够在数据源附近完成,从而大大减少了数据传输的延迟,提高了实时性。同时,边缘计算还可以减轻中心服务器的负载,提高整个系统的可扩展性和可靠性。
3、然而,边缘计算在处理数据时,也面临着一些挑战。由于边缘设备的计算能力和存储资源有限,如何有效地利用这些资源,提高数据处理效率,是一个需要解决的问题。此外,由于边缘设备通常分布广泛,如何构建一个高效、稳定的分布式边缘计算网络,也是一个重要的研究方向。
技术实现思路
1、本专利技术提供了一种基于边缘计算的数据处理方法及系统,用以解决上述
技术介绍
中存在的问题:
2、本专利技术提出的一种基于边缘计算的数据处理方法,所述方法包括:
3、构建分布式边缘计算网络,中央控制平台通过哈希算法对档案数据进行冗余备份并分散存储至所述分布式计算网络中的各个边缘计算节点;
4、所述边缘计算节点通过预置的机器学习模型对接收到的档案数据进行第一处理,获得第一处理结果;
5、边缘计算网络对所述第一处理结果进行第二处理,并通过多通道传输协议将第二处理后的第一处理结果传输至云空间,
6、云空间通过预置的机器学习模型对接收到的第二处理结果进行第三处理,获得第三处理结果,并将所述第三处理结果通过可视化方式反馈给相关人员。
7、进一步的,构建分布式边缘计算网络,中央控制平台通过哈希算法对档案数据进行冗余备份并分散存储至所述分布式计算网络中的各个边缘计算节点,包括:
8、确定分布式边缘计算网络的整体架构,并设计网络拓扑结构,所述网络拓扑结构包括树形以及星型;根据拓扑结构部署边缘计算节点;
9、配置节点的网络连接,并搭建中央控制平台,将档案数据上传至中央控制平台,中央控制平台对所述档案数据进行冗余备份,获得第一原始数据以及第一备份数据;
10、通过哈希算法对第一原始数据以及第一备份数据进行处理,并根据档案数据的特征和大小,将所述第一原始数据以及第一备份数据均衡地分布到各个边缘计算节点上。
11、进一步的,所述边缘计算节点通过预置的机器学习模型对接收到的档案数据进行第一处理,获得第一处理结果,包括:
12、边缘计算节点接收来自分布式计算网络的第一原始数据以及第一备份数据,对第一备份数据进行存储,并将第一原始数据划分为多个数据块,每个数据块代表一个子任务;
13、将边缘计算节点的计算资源划分为多个处理单元,每个处理单元对应一个子任务,通过处理单元对每个子任务进行并行处理;
14、根据数据优先级和各个处理单元的实时负载情况,通过负载均衡动态调整策略,实时调整各个处理单元之间的计算资源;
15、同时,根据数据优先级和各个边缘计算节点的实时负载情况,通过负载均衡动态调整策略,实时调整各个边缘计算节点之间的计算资源;
16、将各个处理单元处理后的第一原始数据进行汇总,通过预置的机器学习模型,对汇总后的第一原始数据进行第一处理,获得第一处理结果。
17、进一步的,所述边缘计算网络对所述第一处理结果进行第二处理,并通过多通道传输协议将第二处理后的第一处理结果传输至云空间,获得第二处理结果,包括:
18、通过边缘计算网络将各个边缘计算节点获得的第一处理结果汇总到中央控制平台,所述中央控制平台将接收到的第一处理结果拆分为多个数据片;
19、为每个数据片进行编号,并通过压缩算法对每个数据片进行压缩,通过加密算法对压缩后的数据片进行加密;
20、将压缩加密后的数据片通过多通道传输协议传输至云空间,获得第二处理结果。
21、进一步的,所述云空间通过预置的机器学习模型对接收到的第二处理结果进行第三处理,获得第三处理结果,并将所述第三处理结果通过可视化方式反馈给相关人员,包括:
22、云空间接收到边缘计算网络传输的第一处理结果, 应用相应的解密算法和密钥,对接收到的数据进行解密操作,还原出原始的数据片;
23、同时,利用解压缩算法对解密后的数据进行解压缩,恢复成第二处理结果的完整数据片,并根据编号对所述数据片进行组合,获得第二处理结果;
24、云空间加载预置的机器学习模型,将第二处理结果输入到机器学习模型中,执行第三处理操作;
25、所述机器学习模型根据输入数据进行分析和计算,获得第三处理结果;并对第三处理结果进行深入分析和提炼;
26、根据第三处理结果的特点和展示需求,设计可视化方案,并生成可视化结果,将生成的可视化结果反馈给相关人员。
27、本专利技术提出的一种基于边缘计算的数据处理系统,所述系统包括:
28、网络构建模块:构建分布式边缘计算网络,中央控制平台通过哈希算法对档案数据进行冗余备份并分散存储至所述分布式计算网络中的各个边缘计算节点;
29、第一处理模块:所述边缘计算节点通过预置的机器学习模型对接收到的档案数据进行第一处理,获得第一处理结果;
30、第二处理模块:边缘计算网络对所述第一处理结果进行第二处理,并通过多通道传输协议将第二处理后的第一处理结果传输至云空间,获得第二处理结果;
31、第三处理模块:云空间通过预置的机器学习模型对接收到的第二处理结果进行第三处理,获得第三处理结果,并将所述第三处理结果通过可视化方式反馈给相关人员。
32、进一步的,所述网络构建模块,包括:
33、架构确定模块:确定分布式边缘计算网络的整体架构,并设计网络拓扑结构,所述网络拓扑结构包括树形以及星型;根据拓扑结构部署边缘计算节点;
34、平台搭建模块:配置节点的网络连接,并搭建中央控制平台,将档案数据上传至中央控制平台,中央控制平台对所述档案数据进行冗余备份,获得第一原始数据以及第一备份数据;
35、数据分发模块:通过哈希算法对第一原始数据以及第一备份数据进行处理,并根据档案数据的特征和大小,将所述第一原始数据以及第一备份数据均衡地分布到各个边缘计算节点上。
36、进一步的,所述第一处理模块,包括:
37、第一备份模块:边缘计算节点接收来自分布式计算网络的第一原始数据以及第一备份数据,对第一备份数据进行存储,并将第一原始数据划分为多个数据块,每个数据块代表一个子任务;
38、单元划分模块;将边缘计算节点的计算资源划分为多个处理单元,每个处理单元对应一个子任务,通过处理单元对每个子任务进行并行处理;
39、策略调整模块:根据数据优先级和各个处理单元的实本文档来自技高网...
【技术保护点】
1.一种基于边缘计算的数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述一种基于边缘计算的数据处理方法,其特征在于,构建分布式边缘计算网络,中央控制平台通过哈希算法对档案数据进行冗余备份并分散存储至所述分布式计算网络中的各个边缘计算节点,包括:
3.根据权利要求1所述一种基于边缘计算的数据处理方法,其特征在于,所述边缘计算节点通过预置的机器学习模型对接收到的档案数据进行第一处理,获得第一处理结果,包括:
4.根据权利要求1所述一种基于边缘计算的数据处理方法,其特征在于,所述边缘计算网络对所述第一处理结果进行第二处理,并通过多通道传输协议将第二处理后的第一处理结果传输至云空间,获得第二处理结果,包括:
5.根据权利要求1所述一种基于边缘计算的数据处理方法,其特征在于,所述云空间通过预置的机器学习模型对接收到的第二处理结果进行第三处理,获得第三处理结果,并将所述第三处理结果通过可视化方式反馈给相关人员,包括:
6.一种基于边缘计算的数据处理系统,其特征在于,所述系统包括:
7.根据权利要求6所述一种
8.根据权利要求6所述一种基于边缘计算的数据处理系统,其特征在于,所述第一处理模块,包括:
9.根据权利要求6所述一种基于边缘计算的数据处理系统,其特征在于,所述第二处理模块,包括:
10.根据权利要求6所述一种基于边缘计算的数据处理系统,其特征在于,所述第三处理模块,包括:
...【技术特征摘要】
1.一种基于边缘计算的数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述一种基于边缘计算的数据处理方法,其特征在于,构建分布式边缘计算网络,中央控制平台通过哈希算法对档案数据进行冗余备份并分散存储至所述分布式计算网络中的各个边缘计算节点,包括:
3.根据权利要求1所述一种基于边缘计算的数据处理方法,其特征在于,所述边缘计算节点通过预置的机器学习模型对接收到的档案数据进行第一处理,获得第一处理结果,包括:
4.根据权利要求1所述一种基于边缘计算的数据处理方法,其特征在于,所述边缘计算网络对所述第一处理结果进行第二处理,并通过多通道传输协议将第二处理后的第一处理结果传输至云空间,获得第二处理结果,包括:
5.根据权利要求...
【专利技术属性】
技术研发人员:郑望献,梁尔真,吴存锋,蔡利华,周蕾,陈平刚,楼新园,留巍,王园,
申请(专利权)人:浙江星汉信息技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。