System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于图数据库与计算框架实现的数据计算方法及相关装置制造方法及图纸_技高网

基于图数据库与计算框架实现的数据计算方法及相关装置制造方法及图纸

技术编号:42677721 阅读:1 留言:0更新日期:2024-09-10 12:29
本发明专利技术提供了一种基于图数据库与计算框架实现的数据计算方法及相关装置,涉及图计算技术技术领域,包括获取图谱数据和的图计算请求,对图谱数据进行分析以获取第一目标数据;对所述第一目标数据进行清洗,将清洗后的第一目标数据转化为startGraph数据结构;遍历startGraph数据结构中的实体和关系,将startGraph数据结构转化为GraphSON数据结构;将所述GraphSON数据结构传入GraphX组件,解析所述GraphSON数据结构得到第二目标数据;调用GraphX组件的图算法对第二目标数据进行计算生成数据计算结果,本发明专利技术解决了两种不同系统间的数据交换问题,提高了数据挖掘的效率。

【技术实现步骤摘要】

本专利技术涉及图计算,具体而言,涉及基于图数据库与计算框架实现的数据计算方法及相关装置


技术介绍

1、在图数据库janusgraph的应用实践中,除了执行基本的在线事务处理(oltp)操作,如查询、遍历和图操作等,还存在需要进行数据或计算挖掘的更复杂业务场景。为应对这些场景,通常需要开发专门的图计算算法或集成现有的开源图计算引擎。尽管自行开发图计算算法是可行的,但这种方法面临较高的技术门槛和相应的人力与设备成本。相对而言,将图数据库与图计算引擎相结合,利用后者提供的丰富算法库,可以有效降低成本。然而,目前对于主流的图数据库(janusgraph)与图计算引擎(graphx)的集成,市面上缺乏成熟的开源解决方案,需要自行设计和开发。


技术实现思路

1、本专利技术的目的在于提供一种基于图数据库与计算框架实现的数据计算方法及相关装置,以改善上述问题。为了实现上述目的,本专利技术采取的技术方案如下:

2、第一方面,本申请提供了一种基于图数据库与计算框架实现的数据计算方法,包括:

3、获取图谱数据和关于所述图谱数据的图计算请求,根据图计算请求对图谱数据进行分析以获取第一目标数据;

4、对所述第一目标数据进行清洗,将清洗后的第一目标数据转化为startgraph数据结构;

5、遍历startgraph数据结构中的实体和关系,根据遍历的实体和关系将startgraph数据结构转化为graphson数据结构;

6、将所述graphson数据结构传入graphx组件,解析所述graphson数据结构得到第二目标数据;

7、根据图计算请求调用graphx组件的图算法,利用所述图算法对第二目标数据进行计算生成数据计算结果。

8、第二方面,本申请还提供了一种基于图数据库与计算框架实现的数据计算装置,包括:

9、图谱数据分析模块:用于获取图谱数据和关于所述图谱数据的图计算请求,根据图计算请求对图谱数据进行分析以获取第一目标数据;

10、数据清洗转化模块:用于对所述第一目标数据进行清洗,将清洗后的第一目标数据转化为startgraph数据结构;

11、数据结构转化模块:用于遍历startgraph数据结构中的实体和关系,根据遍历的实体和关系将startgraph数据结构转化为graphson数据结构;

12、解析模块:用于将所述graphson数据结构传入graphx组件,解析所述graphson数据结构得到第二目标数据;

13、图算法计算模块:用于根据图计算请求调用graphx组件的图算法,利用所述图算法对第二目标数据进行计算生成数据计算结果。

14、第三方面,本申请还提供了一种基于图数据库与计算框架实现的数据计算设备,包括:

15、存储器,用于存储计算机程序;

16、处理器,用于执行所述计算机程序时实现所述基于图数据库与计算框架实现的数据计算方法的步骤。

17、第四方面,本申请还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于图数据库与计算框架实现的数据计算方法的步骤。

18、本专利技术的有益效果为:

19、本专利技术通过融合图数据库janusgraph与图计算引擎graphx,提出了一种高效的数据计算方法,该方法通过将janusgraph查询出的startgraph数据结构转换成graphx能够解析的graphson格式,解决了两种不同系统间的数据交换问题,可直接利用graphx的算法进行数据挖掘,提高了数据挖掘的效率,降低了技术门槛和成本。同时,本专利技术不涉及对graphx组件的调整,保持了系统原有的稳定性和兼容性。

20、本专利技术的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本专利技术实施例了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

本文档来自技高网...

【技术保护点】

1.一种基于图数据库与计算框架实现的数据计算方法,其特征在于,包括:

2.根据权利要求1所述的基于图数据库与计算框架实现的数据计算方法,其特征在于,对所述第一目标数据进行清洗,将清洗后的第一目标数据转化为startGraph数据结构,包括:

3.根据权利要求1所述的基于图数据库与计算框架实现的数据计算方法,其特征在于,遍历startGraph数据结构中的实体和关系,根据遍历的实体和关系将startGraph数据结构转化为GraphSON数据结构,包括:

4.根据权利要求1所述的基于图数据库与计算框架实现的数据计算方法,其特征在于,根据图计算请求调用GraphX组件的图算法,利用所述图算法对第二目标数据进行计算生成数据计算结果,当所述图算法为社区划分算法时,包括:

5.一种基于图数据库与计算框架实现的数据计算装置,其特征在于,包括:

6.根据权利要求5所述的基于图数据库与计算框架实现的数据计算装置,其特征在于,所述数据清洗转化模块包括:

7.根据权利要求5所述的基于图数据库与计算框架实现的数据计算装置,其特征在于,所述数据结构转化模块包括:

8.根据权利要求5所述的基于图数据库与计算框架实现的数据计算装置,其特征在于,所述图算法计算模块包括:

9.一种基于图数据库与计算框架实现的数据计算设备,其特征在于,包括:

10.一种可读存储介质,其特征在于:所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于图数据库与计算框架实现的数据计算方法的步骤。

...

【技术特征摘要】

1.一种基于图数据库与计算框架实现的数据计算方法,其特征在于,包括:

2.根据权利要求1所述的基于图数据库与计算框架实现的数据计算方法,其特征在于,对所述第一目标数据进行清洗,将清洗后的第一目标数据转化为startgraph数据结构,包括:

3.根据权利要求1所述的基于图数据库与计算框架实现的数据计算方法,其特征在于,遍历startgraph数据结构中的实体和关系,根据遍历的实体和关系将startgraph数据结构转化为graphson数据结构,包括:

4.根据权利要求1所述的基于图数据库与计算框架实现的数据计算方法,其特征在于,根据图计算请求调用graphx组件的图算法,利用所述图算法对第二目标数据进行计算生成数据计算结果,当所述图算法为社区划分算法时,包括:<...

【专利技术属性】
技术研发人员:周旺
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1