System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 时空数据分析方法及支持时空数据分析的图计算系统技术方案_技高网

时空数据分析方法及支持时空数据分析的图计算系统技术方案

技术编号:44171096 阅读:6 留言:0更新日期:2025-02-06 18:18
本申请公开了一种时空数据分析方法及支持时空数据分析的图计算系统。所述方法包括:在图计算系统中的各个备选节点中并行执行:根据预先设定的图数据结构和备选节点中的若干原始时空数据,生成若干原始时空数据各自对应的若干目标图数据;根据目标分区方式,将备选节点中的若干目标图数据分别分配至与目标图数据相匹配的目标节点,图数据结构和目标分区方式均是根据时空数据的分析需求信息确定的;在各个目标节点中并行执行:根据目标图数据和分析需求信息调用预先构建的算法库中的目标分析算法,并对目标图数据执行目标分析算法得到分析结果。根据本申请实施例,实现了一套计算系统同时兼容时空数据与图数据分析,避免了多套计算系统建设。

【技术实现步骤摘要】

本申请属于大数据处理,尤其涉及一种时空数据分析方法及支持时空数据分析的图计算系统


技术介绍

1、时空数据分析的算法和方法与图算法有许多接近之处,如聚类分析、路径分析等,均为时空数据和图数据的主要分析方法。但在计算系统上,二者分别依赖不同的计算系统。对于需要同时处理时空数据和图数据的用户而言,会造成极大的资源浪费。


技术实现思路

1、本申请实施例提供一种时空数据分析方法及支持时空数据分析的图计算系统,用以至少解决相关技术中图计算系统不支持时空数据处理的问题。

2、第一方面,本申请实施例提供一种时空数据分析方法,所述方法应用于图计算系统,所述图计算系统为分布式计算系统;

3、所述方法包括:

4、在所述图计算系统中的各个备选节点中并行执行以下步骤a和b:

5、步骤a:根据预先设定的图数据结构和备选节点中的若干原始时空数据,生成若干原始时空数据各自对应的若干目标图数据,所述图数据结构是根据时空数据的分析需求信息确定的;

6、步骤b:根据目标分区方式,将备选节点中的若干目标图数据分别分配至与所述目标图数据相匹配的目标节点,所述目标分区方式是根据所述分析需求信息确定的;

7、在各个目标节点中并行执行以下步骤c:

8、步骤c:根据目标图数据和分析需求信息调用预先构建的算法库中的目标分析算法,并对所述目标图数据执行所述目标分析算法得到分析结果。

9、第二方面,本申请实施例提供了一种支持时空数据分析的图计算系统,所述图计算系统为分布式计算系统,包括多个备选节点;

10、所述图计算系统包括数据加载器、数据分区与分配器、内存存储器和计算引擎;

11、所述数据加载器,用于将原始时空数据输入到图计算系统中,并根据预先设定的图数据结构和备选节点中的若干原始时空数据,生成若干原始时空数据各自对应的若干目标图数据,所述图数据结构是根据时空数据的分析需求信息确定的;

12、所述数据分区与分配器,用于根据目标分区方式,将备选节点中的若干目标图数据分别分配至与所述目标图数据相匹配的目标节点,所述目标分区方式是根据所述分析需求信息确定的,并将若干目标图数据分别存储于各自对应的目标节点的内存存储器中;

13、所述计算引擎,用于读取所述内存存储器中的目标图数据,根据目标图数据和分析需求信息调用预先构建的算法库中的目标分析算法,并对所述目标图数据执行所述目标分析算法得到分析结果。

14、第三方面,本申请实施例提供了一种电子设备,该电子设备包括:处理器以及存储有计算机程序指令的存储器;处理器执行所述计算机程序指令时实现如第一方面的任一项实施例中所述的时空数据分析方法的步骤。

15、第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面的任一项实施例中所述的时空数据分析方法的步骤。

16、第五方面,本申请实施例提供一种计算机程序产品,所述程序产品被存储在存储介质中,所述程序产品被至少一个处理器执行以实现如本申请实施例第一方面提供的时空数据分析方法的步骤。

17、本申请实施例的时空数据分析方法及支持时空数据分析的图计算系统,复用图计算系统的分布式计算与通信框架,加载原始时空数据到图计算系统中,根据预设图数据结构将输入的时空数据形成转换后的图数据;按照目标分区方式将转换后的图数据重新分区和分配,以将相邻的数据放到同一分区,减少计算过程中频繁的网络传输,提高计算性能;对时空数据经转换和分配后形成的图数据执行计算任务指定的分析算法得到分析结果,满足时空数据的分析需求,且实现了一套计算系统同时兼容时空数据与图数据分析,避免了多套计算系统建设,节省软硬件成本。

本文档来自技高网...

【技术保护点】

1.一种时空数据分析方法,其特征在于,所述方法应用于图计算系统,所述图计算系统为分布式计算系统;

2.根据权利要求1所述的方法,其特征在于,在根据目标分区方式,将备选节点中的若干目标图数据分别分配至与所述目标图数据相匹配的目标节点之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在根据目标图数据和分析需求信息调用预先构建的算法库中的目标分析算法之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述原始时空数据的格式为逗号分隔值CSV文件。

5.一种支持时空数据分析的图计算系统,其特征在于,所述图计算系统为分布式计算系统,包括多个备选节点;

6.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;所述处理器调用所述计算机程序指令时实现如权利要求1-4中任意一项所述的时空数据分析方法。

7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器调用时实现如权利要求1-4中任意一项所述的时空数据分析方法

8.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-4中任意一项所述的时空数据分析方法。

...

【技术特征摘要】

1.一种时空数据分析方法,其特征在于,所述方法应用于图计算系统,所述图计算系统为分布式计算系统;

2.根据权利要求1所述的方法,其特征在于,在根据目标分区方式,将备选节点中的若干目标图数据分别分配至与所述目标图数据相匹配的目标节点之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在根据目标图数据和分析需求信息调用预先构建的算法库中的目标分析算法之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述原始时空数据的格式为逗号分隔值csv文件。

5.一种支持时空数据分析的图计算系统,其特征在于,所述图计算...

【专利技术属性】
技术研发人员:姜巍纪威宇张永马俊杰张自超张帆吕环宇
申请(专利权)人:中国电子科技集团公司信息科学研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1