本发明专利技术公开一种基于云原生技术的图计算平台，该平台包括使用云原生架构设计的软硬件协同系统、图存储系统、图计算引擎和图开发工场系统；其中，软硬件协同系统、图存储系统、图计算引擎运行在后端，图开发工场运行在前端。软硬件协同系统提供硬件计算资源和软硬件适配环境，图存储系统包括图划分模块、分布式持久化存储模块和分布式共享内存池模块，图计算引擎包括图查询引擎、图分析引擎和图学习引擎，图开发工场系统为基于图计算引擎构建的面向图计算领域的可视化操作系统，以K8s容器化的技术部署，用于将图计算算法的整个开发过程组件化、流程化和可视化。本发明专利技术的平台架构清晰、可扩展性强、使用门槛低、计算效率高。计算效率高。计算效率高。
【技术实现步骤摘要】
一种基于云原生技术的图计算平台
[0001]本专利技术涉及图计算领域，具体涉及一种基于云原生技术的图计算平台。
技术介绍
[0002]图论的发展可以追溯到18世纪，当时欧拉提出了著名的“柯尼斯堡七桥问题”，引发了图论的研究热潮，随着时间的推移，图论逐渐成为了一门独立的学科。欧式数据分布规整、结构固定，无法灵活地表示事物间的复杂关系；非欧几里得空间中的图结构能表征世间万物的复杂关系，具有强大的数据表达能力。近年来图计算的研究是人工智能领域最火热的领域之一，图计算被认为是推动人工智能从“感知智能”阶段迈入“认知智能”阶段的核心要素，应用场景多样，包括社交网络分析、生物信息领域、道路规划、金融风控、推荐系统等。作为图计算的基础设施，图计算平台在图算法研发效率和推广落地方面发挥了至关重要的作用。
[0003]图计算平台一般包括图数据的存储和查询、分布式图分析算法、图神经网络模型和训练，计算模式多样，牵涉到多个复杂系统的相互协同，用户学习和使用的门槛较高，同时因为图数据量一般很大，图的规模会影响计算框架的效率，为降低实现难度，一般的做法都是针对特定场景的需求和特点进行设计。
[0004]图聚合和图更新阶段的混合执行行为导致了访存模式、数据复用率、计算模式、计算强度、执行约束的不同，这使得高效的图计算变得异常复杂，其挑战主要可分为计算和访存两个方面。1）计算方面：需同时能够高效应对不规则和密集规则性计算。由于图中节点具有极高的不规则性并服从幂律分布，图聚合阶段对邻居节点的遍历会导致严重的负载不均衡。2）访存方面：需同时能够高效应对不规则和规则的粗粒度访存以及高带宽需求。这两个问题限制了图计算的计算规模和计算效率。
[0005]图学习算法使得机器学习能够应用于非欧几里得空间的图结构中，具备对图进行学习的能力。但是目前业界研发的图计算平台受限于各自商业场景，各个子系统间相互割裂，有些平台专注于图数据的存储和查询分析，有些平台在图分析算法方面比较擅长，在图学习领域现有平台大部分适用于有监督和集中式商业场景，它们都解决了图计算领域的部分问题，并且缺乏图计算整体研发周期的流程化、可视化式的系统支撑。另外当前的图计算平台对科学计算领域的数据和算法支持有限，对被卡脖子领域的国产硬件支持也不够全面，对非专业人士进入图计算领域进行研发存在较高门槛。
技术实现思路
[0006]基于目前图计算系统普遍存在的系统复杂、使用门槛高、计算效率低的问题，本专利技术提出一种云原生技术的图计算平台，该平台可以以硬件虚拟化的技术支持硬件资源和图计算芯片以提供软硬件协同的异构计算能力，基于共享内存池的方式解决图计算中的I/O瓶颈，提供图计算平台中的主要计算引擎系统和存储引擎系统，通过容器化部署各个子系统进行图计算的任务调度和资源管理，提供一站式可视化图开发工场，可以让没有图算法
开发背景的人员和资深图算法人员，都能通过组件化、流程化的操作方式完成图数据的建模、查询分析和图算法的训练、模型部署等工作，支撑领域应用的研发搭建。
[0007]本专利技术的目的通过如下的技术方案来实现：
[0008]一种基于云原生技术的图计算平台，该平台包括使用云原生架构设计的软硬件协同系统、图存储系统、图计算引擎和图开发工场系统；其中，所述软硬件协同系统、图存储系统、图计算引擎运行在后端，所述图开发工场运行在前端；
[0009]所述软硬件协同系统提供硬件计算资源和软硬件适配环境，所述硬件计算资源包括各类中心处理器、数据处理器、FPGA加速器以及图计算芯片；所述软硬件适配环境包括基于异构硬件资源为图计算算法进行加速的数据流加速库和算子加速库；
[0010]所述图存储系统包括图划分模块、分布式持久化存储模块和分布式共享内存池模块，所述图划分模块内置多种图分区算法；所述分布式持久化存储模块用于通过分布式文件系统进行图数据的落盘存储，并提供图数据读写的接口和服务；所述分布式共享内存池模块用于基于远程直接数据存取的技术对多个计算节点上的主机内存和GPU显存进行全局内存空间的管理，实现集群中的分布式内存共享；
[0011]所述图计算引擎包括图查询引擎、图分析引擎和图学习引擎，分别用于实现图关联数据的直接查询、分布式图分析和并行化图学习模型的训练；
[0012]所述图开发工场系统为基于所述图计算引擎构建的面向图计算领域的可视化操作系统，以K8s容器化的技术部署，用于将图计算算法的整个开发过程组件化、流程化和可视化。
[0013]进一步地，所述软硬件协同系统支持包括GPU处理器、CPU处理器、FPGA加速卡、存算一体芯片在内的扩展性硬件设备，开发对应的编译环境和软件工具，提供针对图数据的存算一体的算子、适配于特定硬件的算子加速模块，为图计算引擎提供异构计算的能力。
[0014]进一步地，所述分布式持久化存储模块基于NVMe SSD技术实现；所述分布式共享内存池模块基于RDMA技术实现，并基于所述分布式持久化存储模块和分布式文件系统进行数据同步。
[0015]进一步地，所述图查询引擎中的图关联数据的直接查询包括单点的多阶邻居查询、两点间的关联路径查询以及获取多点间关联的子图查询。
[0016]进一步地，所述图查询引擎包括图查询解析器和图查询执行器，所述图查询解析器用于解析用户输入的查询语句，构建查询语法树和生成执行计划；所述图查询执行器用于对所述图查询解析器产出的语法树进行优化，然后按照资源配额进行资源调度和计划执行，使用分布式并行计算技术，以最小化运行时间和资源消耗的方式来处理图存储系统中的大规模图数据。
[0017]进一步地，所述图分析引擎包括图分析算法库和图分析计算模块，所述图分析算法库包含用于图数据处理的高效数据结构以及各种通用函数与类库，为用户提供可编程的工具集，允许用户实现和测试图分析算法，以及更改和调整图分析算法的参数，从而优化和改善图分析算法的表现；
[0018]所述图分析计算模块运行在分布式系统上，包括一系列能够处理图结构的底层算子和数据处理逻辑，支持多节点之间的通信和协作，结合硬件计算资源提供的计算能力，实现图分析算法的分布式计算和并行计算。
[0019]进一步地，所述图学习引擎包括图学习算法库和图学习训练模块，所述图学习算法库为用于构建和训练图神经网络模型的软件工具包，包括各种不同的图数据集和预训练的图神经网络模型；所述图学习训练模块用于依次实现特征提取和表示、子图采样、模型构建和选择、训练策略和参数调节，以及模型评估和调优。
[0020]进一步地，所述图开发工场系统包括图数据建模模块、图数据可视化模块、图算法组件模块、图训练流程构建模块和图模型部署模块；
[0021]所述图数据建模模块用于定义一种图数据标准存储结构，并将现实世界的事物抽象为图中的节点和边，并使用图的结构和属性来描述事物之间的联系和特征；
[0022]所述图数据可视化模块用于可视化展示图查询、图分析和图学习后的结果数据；
[0023]所述图算法组件模块用于模型训练和推理的模型代码和本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于云原生技术的图计算平台，其特征在于，该平台包括使用云原生架构设计的软硬件协同系统、图存储系统、图计算引擎和图开发工场系统；其中，所述软硬件协同系统、图存储系统、图计算引擎运行在后端，所述图开发工场运行在前端；所述软硬件协同系统提供硬件计算资源和软硬件适配环境，所述硬件计算资源包括各类中心处理器、数据处理器、FPGA加速器以及图计算芯片；所述软硬件适配环境包括基于异构硬件资源为图计算算法进行加速的数据流加速库和算子加速库；所述图存储系统包括图划分模块、分布式持久化存储模块和分布式共享内存池模块，所述图划分模块内置多种图分区算法；所述分布式持久化存储模块用于通过分布式文件系统进行图数据的落盘存储，并提供图数据读写的接口和服务；所述分布式共享内存池模块用于基于远程直接数据存取的技术对多个计算节点上的主机内存和GPU显存进行全局内存空间的管理，实现集群中的分布式内存共享；所述图计算引擎包括图查询引擎、图分析引擎和图学习引擎，分别用于实现图关联数据的直接查询、分布式图分析和并行化图学习模型的训练；所述图开发工场系统为基于所述图计算引擎构建的面向图计算领域的可视化操作系统，以K8s容器化的技术部署，用于将图计算算法的整个开发过程组件化、流程化和可视化。2.根据权利要求1所述的基于云原生技术的图计算平台，其特征在于，所述软硬件协同系统支持包括GPU处理器、CPU处理器、FPGA加速卡、存算一体芯片在内的扩展性硬件设备，开发对应的编译环境和软件工具，提供针对图数据的存算一体的算子、适配于特定硬件的算子加速模块，为图计算引擎提供异构计算的能力。3.根据权利要求1所述的基于云原生技术的图计算平台，其特征在于，所述分布式持久化存储模块基于NVMe SSD技术实现；所述分布式共享内存池模块基于RDMA技术实现，并基于所述分布式持久化存储模块和分布式文件系统进行数据同步。4.根据权利要求1所述的基于云原生技术的图计算平台，其特征在于，所述图查询引擎中的图关联数据的直接查询包括单点的多阶邻居查询、两点间的关联路径查询以及获取多点间关联的子图查询。5.根据权利要求1所述的基于云原生技术的图计算平台，其特征在于，所述图查询引擎包括图查询解析器和图查询执行器，所述图查询解析器用于解析用户输入的查询语句，构建查询语法树和生成执行计划；所述图查询执行器用于对所述图查询解析器产出的语法树进行优化，然后按照资源配额进行资源调度和计划执行，使用分布式并行计算技术，以最小...
【专利技术属性】
技术研发人员：杨建明，陈红阳，吕劲松，杨文涛，余磊，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。