System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及边缘计算的文件传输,特别是涉及一种节省大文件传输成本的方法和装置。
技术介绍
1、随着边缘计算的兴起,越来越多的应用和服务开始下沉到边缘设备和边缘节点,以实现低时延、高性能的要求。这一趋势引发了大文件传输的需求,例如在中心数据中心训练的机器学习模型需要传输到边缘设备进行推理,大型虚拟机镜像需要在云和边缘节点之间传输,以及实时云渲染和离线渲染应用需要在用户设备和渲染节点之间传输大规模的图形和模型数据。
2、然而,传统的大文件的传输通常伴随着高昂的成本,特别是在需要跨越不同网络环境和地理位置时。传统的文件传输方法可能会消耗大量的网络带宽和时间,导致不经济和低效的数据传输,特别是在边缘计算环境下。
3、因此,急需专利技术一种成本低廉的大文件传输方式,用于解决传统的大文件的传输过程中因网络带宽和时间消耗巨大,成本较高而导致低效的数据传输的问题。
技术实现思路
1、本专利技术的目的是:提供一种节省大文件传输成本的方法和装置,旨用于如何解决传统的大文件的传输过程中因网络带宽和时间消耗巨大,成本较高而导致低效的数据传输的问题。
2、一方面,本专利技术实施例中提供了一种节省大文件传输成本的方法,包括:
3、获取待传输的大文件的各传输路径,并获取各所述传输路径的权值;
4、获取各所述传输路径的权值为0的所述传输路径,并确定所述各所述传输路径中权值为0的所述传输路径为有效传输路径;
5、获取待传输的所述大文件的文件信
6、将各所述有效传输路径中的成本低于各所述有效传输路径的成本的有效传输路径确定为成本最优传输路径,并将待传输的所述大文件通过所述成本最优传输路径进行传输。
7、可选的是,获取各所述传输路径的权值为0的所述传输路径,并确定所述各所述传输路径中权值为0的所述传输路径为有效传输路径时,包括:
8、将所述传输路径生成带权有向无环图g(v,e),其中,g为所述传输路径而生成的有向无环图,v为处理模块的集合,e处理模块间联系的集合;
9、基于深度优先算法遍历各所述传输路径生成带权有向无环图g(v,e);
10、获取各所述传输路径生成带权有向无环图g(v,e)中权值为0的所述带权有向无环图g(v,e)的传输路径,并将所述权值为0的所述带权有向无环图g(v,e)的传输路径确定为有效传输路径。
11、可选的是,所述传输路径生成带权有向无环图g(v,e)中的权值为所述传输路径中处理文件与还原文件之间的变异值的差异值。
12、可选的是,获取各所述传输路径生成带权有向无环图g(v,e)中权值为0的所述带权有向无环图g(v,e)的传输路径,并将所述权值为0的所述带权有向无环图g(v,e)的传输路径确定为有效传输路径时,包括:
13、根据所述传输路径中文件的处理时的变异值p和所述文件的还原时的变异值t,基于深度优先算法公式获取各所述传输路径中的有效传输路径,所述深度优先算法公式为:
14、
15、其中,length(tp)表示transmissionpath传输路径长度,f(k)表示第k个处理节点的变异值,sum(v)表示整个transmissionpath传输路径的变异值/权值之和,sum(v)=0表示变异值为0,未对待传输文件造成变异。
16、可选的是,将各所述有效传输路径中的成本低于各所述有效传输路径的成本的有效传输路径确定为成本最优传输路径,并将待传输的所述大文件通过所述成本最优传输路径进行传输时,包括:
17、获取各所述有效传输路径中的传输计算成本、传输带宽成本、传输存储成本和传输时间成本;
18、根据各所述有效传输路径中的传输计算成本、传输带宽成本、传输存储成本以及传输时间成本进行成本函数计算,并获取计算后的各所述有效传输路径中的成本函数;
19、根据待传输的所述大文件的文件信息和各所述有效传输路径中的成本函数根据pm的cost进行各所述有效传输路径的成本计算,并将计算后成本低于各所述有效传输路径的成本的有效传输路径确定为成本最优传输路径。
20、可选的是,根据各所述有效传输路径中的传输计算成本、传输带宽成本、传输存储成本以及传输时间成本进行成本函数计算时,包括:
21、获取所述有效传输路径中的实时传输计算成本、实时传输带宽成本、实时传输存储成本以及实时传输时间成本;
22、基于公式i获取所述有效传输路径的成本函数,所述公式i为:
23、f(c)=z×cot+z×coc+z×cob+z×cos;
24、其中,f(c)为所述有效传输路径的成本函数,cot为所述有效传输路径的传输时间成本,coc为所述有效传输路径的计算成本,cob为所述有效传输路径的传输带宽成本,cos为所述有效传输路径的传输存储成本,z=z0,z1,z2,…zn。
25、可选的是,将计算后成本低于各所述有效传输路径的成本的有效传输路径确定为成本最优传输路径时,包括:
26、根据各所述有效传输路径的成本基于公式i i确定最优传输路线,所述公式i i为:
27、
28、其中,ctp为所述最优传输路线,vtp为有效传输路径。
29、可选的是,所述pm的cost包括:cot,coc,cob,cos。
30、另一方面,本专利技术实施例还提供了一种节省大文件传输成本的装置,用于实现上述各实施例的一种节省大文件传输成本的方法,包括:
31、加载处理模块,设置在大文件生产者和大文件消费者之间,所述加载处理模块用于获取待传输的大文件的各传输路径,所述加载处理模块获取各所述传输路径的权值;
32、分析处理模块,与所述加载模块电连接,所述分析处理模块用于获取各所述传输路径的权值为0的所述传输路径,并确定所述各所述传输路径中权值为0的所述传输路径为有效传输路径,所述分析处理模块还用于获取待传输的所述大文件的文件信息,并根据待传输的所述大文件的文件信息和各所述有效传输路径的成本,确定各所述有效传输路径中的成本低于各所述有效传输路径的成本的有效传输路径;
33、传输处理模块,与所述分析处理模块电连接,所述传输处理模块用于将各所述有效传输路径中的成本低于各所述有效传输路径的成本的有效传输路径确定为成本最优传输路径,并将待传输的所述大文件通过所述成本最优传输路径进行传输。
34、可选的是,还包括:
35、扩展模块,与所述加载处理模块电连接,以使所述加载处理模块设置在所述大文件生产者和大文件消费者之间时,所述扩展模块用于将所述加载处理模块与大文件生产者和大文件消费者之间的传输路径的处理模块进行连接。
36、本专利技术实施例一种节省大文件本文档来自技高网...
【技术保护点】
1.一种节省大文件传输成本的方法,其特征在于,包括:
2.如权利要求1所述的节省大文件传输成本的方法,其特征在于,获取各所述传输路径的权值为0的所述传输路径,并确定所述各所述传输路径中权值为0的所述传输路径为有效传输路径时,包括:
3.如权利要求2所述的节省大文件传输成本的方法,其特征在于,所述传输路径生成带权有向无环图G(V,E)中的权值为所述传输路径中处理文件与还原文件之间的变异值的差异值。
4.如权利要求3所述的节省大文件传输成本的方法,其特征在于,获取各所述传输路径生成带权有向无环图G(V,E)中权值为0的所述带权有向无环图G(V,E)的传输路径,并将所述权值为0的所述带权有向无环图G(V,E)的传输路径确定为有效传输路径时,包括:
5.如权利要求4所述的节省大文件传输成本的方法,其特征在于,将各所述有效传输路径中的成本低于各所述有效传输路径的成本的有效传输路径确定为成本最优传输路径,并将待传输的所述大文件通过所述成本最优传输路径进行传输时,包括:
6.如权利要求5所述的节省大文件传输成本的方法,其特征在于,根据
7.如权利要求5所述的节省大文件传输成本的方法,其特征在于,将计算后成本低于各所述有效传输路径的成本的有效传输路径确定为成本最优传输路径时,包括:
8.如权利要求5所述的节省大文件传输成本的方法,其特征在于,所述PM的Cost包括:CoT,CoC,CoB,CoS。
9.一种节省大文件传输成本的装置,用于实现权利要求1-8任一项所述的节省大文件传输成本的方法,其特征在于,包括:
10.如权利要求9所述的节省大文件传输成本的装置,其特征在于,还包括:
...【技术特征摘要】
1.一种节省大文件传输成本的方法,其特征在于,包括:
2.如权利要求1所述的节省大文件传输成本的方法,其特征在于,获取各所述传输路径的权值为0的所述传输路径,并确定所述各所述传输路径中权值为0的所述传输路径为有效传输路径时,包括:
3.如权利要求2所述的节省大文件传输成本的方法,其特征在于,所述传输路径生成带权有向无环图g(v,e)中的权值为所述传输路径中处理文件与还原文件之间的变异值的差异值。
4.如权利要求3所述的节省大文件传输成本的方法,其特征在于,获取各所述传输路径生成带权有向无环图g(v,e)中权值为0的所述带权有向无环图g(v,e)的传输路径,并将所述权值为0的所述带权有向无环图g(v,e)的传输路径确定为有效传输路径时,包括:
5.如权利要求4所述的节省大文件传输成本的方法,其特征在于,将各所述有效传输路径中的成本低于各所述有效...
【专利技术属性】
技术研发人员:安雨顺,巩光乾,田红艳,黄健涛,
申请(专利权)人:天翼云科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。