面向大图分割的分布式动态图管理系统技术方案
【技术实现步骤摘要】
本专利技术属于图数据挖掘领域，特别涉及一种面向大图分割的分布式动态图管理系统。
技术介绍
面对大规模的图数据，常规的处理方法是置之于分布式多机器节点上进行并行处理，则图分割问题的解决是采取该方案的前提。早在1970年代，图分割问题就已经成为图论研究领域的热门话题。经过40余年的发展，传统图分割算法已趋近于成熟。将整个图进行分割，才能够在分布式图计算平台进行分析。然而，图分割算法的好坏会直接影响到分布式计算平台的性能，主要原因包括各机器负载均衡问题和机器间的通信耗时问题。由于图在现实世界中的广泛应用，近年来学术界和工业界出现了许多分布式的图计算系统。常见的大规模分布式图计算平台有Pregel、Giraph、GraphLab、PowerGraph、GraphX等。若将大规模图数据放置于分布式系统上，首先需对图进行分割。虽然关于图分割技术发展时间较长，但如何高效的分割大规模的图数据，同时建立新的海量图数据处理模型与算法，仍是一个新的研究问题。
技术实现思路
【要解决的技术问题】本专利技术的目的是提供一种面向大图分割的分布式动态图管理系统，以解决大规模的图数据的分割问题。【技术方案】本专利技术是通过以下技术方案实现的。本专利技术涉及一种面向大图分割的分布式动态图管理系统，包括至少一个Master主机和若干个Slave主机，所述Master主机上设置有分配逻辑模块，各个Slave主机均设置有动态均衡模块，所述分配逻辑模块被配置成：读取大图数据流中的一条顶点信息，对该顶点信息中的边进行分配，并将分配结果存储于对应的Slave主机；所述动态均衡模块被配置成：对于图中的任一...
【技术保护点】
一种面向大图分割的分布式动态图管理系统，其特征在于包括至少一个Master主机和若干个Slave主机，所述Master主机上设置有分配逻辑模块，各个Slave主机均设置有动态均衡模块，所述分配逻辑模块被配置成：读取大图数据流中的一条顶点信息，对该顶点信息中的边进行分配，并将分配结果存储于对应的Slave主机；所述动态均衡模块被配置成：对于图中的任一顶点v，按照下列第一分配公式进行分配：Index=arg maxi∈{1,...,p}{Σv∈VΓ(i)rv},]]>其中Index i∈{1,…,p}为分区编号，VΓ(i)为其第i个分区上的邻居顶点集合，rv为邻居v对该顶点的读频率为rv；对于图中的任一顶点，如果该顶点的更新频率小于其在某个分区被读的频率，则需要保留该顶点在该分区，反之则不保留该顶点在该分区。
【技术特征摘要】
1.一种面向大图分割的分布式动态图管理系统，其特征在于包括至少一个Master主机和若干个Slave主机，所述Master主机上设置有分配逻辑模块，各个Slave主机均设置有动态均衡模块，所述分配逻辑模块被配置成：读取大图数据流中的一条顶点信息，对该顶点信息中的边进行分配，并将分配结果存储于对应的Slave主机；所述动态均衡模块被配置成...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。