一种数据处理方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及计算机可读存储介质，该方法包括：获取目标数据；对目标数据进行计算处理，得到第一数据；将第一数据发送至各个其他数据处理设备，并接收各个其他数据处理设备分别发送的各个第二数据；利用第一数据和第二数据更新目标数据，并统计处理次数；当处理次数达到预设阈值时，确定完成数据处理；该方法将需要处理的数据分为多个部分并由各个数据处理设备处理对应的一个部分，并在各个数据处理设备间进行数据同步。因此可以利用多个数据处理设备并行地对需要处理的数据进行处理，提高了数据处理速度和效率。

【技术实现步骤摘要】
一种数据处理方法、装置、设备及可读存储介质
本专利技术涉及数据处理
，特别涉及一种数据处理方法、数据处理装置、数据处理设备及计算机可读存储介质。
技术介绍
大数据时代，图作为一种基础的数据表示方式，广泛应用于各类算法如深度学习，用户推荐等。目前，图的规模往往达到数千万至数亿节点量级，图的边(节点与节点的联系)信息达到数十亿的规模。相关技术在进行图的迭代计算时，通常将图按照源节点和目的节点的数量进行分块，在分块后利用单个数据处理设备将各个分块进行并行计算，或者是在各个分块内划分多个通道，对各个通道进行并行计算，以提高数据处理速度。由于单个数据处理设备计算能力有限，及时进行了分块并行或通道并行的计算方法，但是数据处理速度较慢，处理效率较低。因此，如何解决相关技术存在的数据处理速度较慢，处理效率较低的问题，是本领域技术人员需要解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种数据处理方法、数据处理装置、数据处理设备及计算机可读存储介质，解决了相关技术存在的数据处理速度较慢，处理效率较低的问题。为解决上述技术问题，本专利技术提供了一种数据处理方法，包括：获取目标数据；对所述目标数据进行计算处理，得到第一数据；将所述第一数据发送至各个其他数据处理设备，并接收各个所述其他数据处理设备分别发送的各个第二数据；利用所述第一数据和所述第二数据更新所述目标数据，并统计处理次数；当所述处理次数达到预设阈值时，确定完成数据处理。可选地，所述对所述目标数据进行计算处理，得到第一数据，包括：从所述目标数据中提取多个源节点地址信息，并分别选取多个所述源节点地址信息中的低位数据作为通道分配信息；对多个处理通道进行排序，并根据排序结果建立所述通道分配信息与所述处理通道之间的对应关系；根据所述对应关系，对各个所述源节点地址信息对应的目标子数据进行通道分配；在各个所述处理通道中，利用处理参数对所述目标子数据进行计算处理，得到第一子数据；利用所述第一子数据得到所述第一数据。可选地，在接收各个所述其他数据处理设备分别发送的各个第二数据之后，还包括：利用所述第一数据和所述第二数据对所述处理参数进行更新。可选地，所述从所述目标数据中提取多个源节点地址信息，包括：在所述目标数据中确定目标数据块，并从所述目标数据块中提取多个所述源节点地址信息；相应的，所述利用所述第一子数据得到所述第一数据，包括：更新所述目标数据块；在得到所述目标数据对应所有的所述第一子数据后，利用所有的所述第一子数据生成所述第一数据。可选地，在接收各个所述其他数据处理设备分别发送的各个第二数据之后，还包括：根据所述第二数据的接收情况更新标志信息；当所述标志信息为全部获取状态时，执行利用所述第一数据和所述第二数据更新所述目标数据的步骤。可选地，所述获取目标数据，包括：获取由服务器发送的原始数据，并利用预设信息对所述原始数据进行过滤，得到所述目标数据；将所述原始数据发送给所述其他数据处理设备。可选地，所述获取目标数据，包括：获取目标数据处理设备发送的原始数据，并利用预设信息对所述原始数据进行过滤，得到所述目标数据。本专利技术还提供了一种数据处理装置，包括：数据获取模块，用于获取目标数据；计算处理模块，用于对所述目标数据进行计算处理，得到第一数据；数据同步模块，用于将所述第一数据发送至各个其他数据处理设备，并接收各个所述其他数据处理设备分别发送的各个第二数据；数据更新模块，用于利用所述第一数据和所述第二数据更新所述目标数据，并统计处理次数；确定模块，用于当所述处理次数达到预设阈值时，确定完成数据处理。本专利技术还提供了一种数据处理设备，包括存储器和处理器，其中：所述存储器，用于保存计算机程序；所述处理器，用于执行所述计算机程序，以实现上述的数据处理方法。本专利技术还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的数据处理方法。本专利技术提供的数据处理方法，获取目标数据；对目标数据进行计算处理，得到第一数据；将第一数据发送至各个其他数据处理设备，并接收各个其他数据处理设备分别发送的各个第二数据；利用第一数据和第二数据更新目标数据，并统计处理次数；当处理次数达到预设阈值时，确定完成数据处理。可见，该方法应用于任一数据处理设备，在获取到目标数据后对其进行计算处理得到第一数据。在计算完成后与其他数据处理设备进行数据同步，即将第一数据发送至其他数据处理设备并获取其他数据处理设备发送的第二数据。利用第一数据和第二数据更新目标数据，可以为下一次数据处理进行准备，当处理次数达到预设阈值时，可以确定数据处理结束。将需要处理的数据分为多个部分并由各个数据处理设备处理对应的一个部分，并在各个数据处理设备间进行数据同步。因此可以利用多个数据处理设备并行地对需要处理的数据进行处理，提高了数据处理速度和效率，解决了相关技术存在的数据处理速度较慢，处理效率较低的问题。此外，本专利技术还提供了一种数据处理装置、数据处理设备及计算机可读存储介质，同样具有上述有益效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种数据处理方法流程图；图2为本专利技术实施例提供的一种原始数据分块示意图；图3为本专利技术实施例提供的一种数据处理设备数据同步过程示意图；图4为本专利技术实施例提供的一种数据处理装置的结构示意图；图5为本专利技术实施例提供的一种数据处理设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在一种可能的实施方式中，请参考图1，图1为本专利技术实施例提供的一种数据处理方法流程图。该方法包括：S101：获取目标数据。本实施例中的各个步骤可以由指定的数据处理设备执行，可以被称为本数据处理设备。该指定的数据处理设备的具体内容不做限定，例如可以为任意架构的异构处理设备，例如FPGA异构加速卡。该指定的数据处理设备可以为进行数据处理工作的多个数据处理设备中的任意一个，除该指定的数据处理设备外，其他的数据处理设备可以被称为其他数据处理设备。各个数据处理设备的类型可以相同也可以不同，例如可以本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取目标数据；/n对所述目标数据进行计算处理，得到第一数据；/n将所述第一数据发送至各个其他数据处理设备，并接收各个所述其他数据处理设备分别发送的各个第二数据；/n利用所述第一数据和所述第二数据更新所述目标数据，并统计处理次数；/n当所述处理次数达到预设阈值时，确定完成数据处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取目标数据；
对所述目标数据进行计算处理，得到第一数据；
将所述第一数据发送至各个其他数据处理设备，并接收各个所述其他数据处理设备分别发送的各个第二数据；
利用所述第一数据和所述第二数据更新所述目标数据，并统计处理次数；
当所述处理次数达到预设阈值时，确定完成数据处理。


2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述目标数据进行计算处理，得到第一数据，包括：
从所述目标数据中提取多个源节点地址信息，并分别选取多个所述源节点地址信息中的低位数据作为通道分配信息；
对多个处理通道进行排序，并根据排序结果建立所述通道分配信息与所述处理通道之间的对应关系；
根据所述对应关系，对各个所述源节点地址信息对应的目标子数据进行通道分配；
在各个所述处理通道中，利用处理参数对所述目标子数据进行计算处理，得到第一子数据；
利用所述第一子数据得到所述第一数据。


3.根据权利要求2所述的数据处理方法，其特征在于，在接收各个所述其他数据处理设备分别发送的各个第二数据之后，还包括：
利用所述第一数据和所述第二数据对所述处理参数进行更新。


4.根据权利要求2所述的数据处理方法，其特征在于，所述从所述目标数据中提取多个源节点地址信息，包括：
在所述目标数据中确定目标数据块，并从所述目标数据块中提取多个所述源节点地址信息；
相应的，所述利用所述第一子数据得到所述第一数据，包括：
更新所述目标数据块；
在得到所述目标数据对应所有的所述第一子数据后，利用所有的所述第一子数据生成所述第一数据。


5.根据权利...

【专利技术属性】
技术研发人员：韩海跃，梅国强，王江为，
申请(专利权)人：山东云海国创云计算装备产业创新中心有限公司，
类型：发明
国别省市：山东;37