一种数据分配方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据分配方法、装置、电子设备及存储介质。该方法包括：接收待分配的请求数据，获取请求数据的数据来源信息；基于数据来源信息和一致性哈希算法，确定请求数据对应的请求哈希键；基于请求哈希键和预先建立的各集群节点与各哈希键之间的哈希映射关系，在各集群节点中确定出请求哈希键对应的目标集群节点，将请求数据分配至目标集群节点。本发明专利技术实施例的技术方案，可以通过数据来源信息和一致性哈希算法分配请求数据，解决数据流量不可控的问题，能够更好的利用集群资源，有利于提高数据处理效率。有利于提高数据处理效率。有利于提高数据处理效率。

【技术实现步骤摘要】
一种数据分配方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据分配方法、装置、电子设备及存储介质。

技术介绍

[0002]随着数据量的急剧膨胀，为提高数据处理的效率和能力，采用多集群节点对数据处理的方式得到广泛应用。
[0003]现有技术中，在为请求数据分配集群节点时，为了方便追溯，通常将数据进行分类，同一类型的数据分配至同一集群节点，从而用户访问某类型的数据时，仅访问一个集群节点即可。例如，按照请求用户终端使用的运行商不同，对请求数据进行分类。但是，采用现有技术易出现各集群节点分配的数据流量均不可控，易出现分配失衡的情况，产生资源浪费，降低了数据处理效率。

技术实现思路

[0004]本专利技术实施例提供了一种数据分配方法、装置、电子设备及存储介质，以实现更好的利用集群资源，有利于提高数据处理效率。
[0005]第一方面，本专利技术实施例提供了一种数据分配方法，包括：
[0006]接收待分配的请求数据，获取所述请求数据的数据来源信息；
[0007]基于所述数据来源信息和一致性哈希算法，确定所述请求数据对应的请求哈希键；
[0008]基于所述请求哈希键和预先建立的各集群节点与各哈希键之间的哈希映射关系，在各集群节点中确定出所述请求哈希键对应的目标集群节点，将所述请求数据分配至所述目标集群节点。
[0009]第二方面，本专利技术实施例还提供了数据分配装置，该装置包括：
[0010]获取数据来源信息模块，用于接收待分配的请求数据，获取所述请求数据的数据来源信息；
[0011]确定请求哈希键模块，用于基于所述数据来源信息和一致性哈希算法，确定所述请求数据对应的请求哈希键；
[0012]分配请求数据模块，用于基于所述请求哈希键和预先建立的各集群节点与各哈希键之间的哈希映射关系，在各集群节点中确定出所述请求哈希键对应的目标集群节点，将所述请求数据分配至所述目标集群节点。
[0013]第三方面，本专利技术实施例还提供了一种电子设备，该电子设备包括：
[0014]一个或多个处理器；
[0015]存储装置，用于存储一个或多个程序，
[0016]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任意实施例所提供的数据分配方法。
[0017]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术任意实施例所提供的数据分配方法。
[0018]本专利技术实施例所提供的一种数据分配方法，接收待分配的请求数据，获取请求数据的数据来源信息；基于数据来源信息和一致性哈希算法，确定请求数据对应的请求哈希键；基于请求哈希键和预先建立的各集群节点与各哈希键之间的哈希映射关系，在各集群节点中确定出请求哈希键对应的目标集群节点，将请求数据分配至目标集群节点。本专利技术实施例通过数据来源信息和一致性哈希算法分配请求数据，解决了数据流量不可控的问题，能够更好的利用集群资源，有利于提高数据处理效率。
[0019]此外，本专利技术所提供的一种数据分配装置、电子设备及存储介质与上述方法对应，具有同样的有益效果。
附图说明
[0020]为了更清楚地说明本专利技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1为本专利技术实施例提供的一种数据分配方法的流程图；
[0022]图2为本专利技术实施例提供的另一种数据分配方法的流程图；
[0023]图3为本专利技术实施例提供的一种多网关场景下数据分配方法的示意图；
[0024]图4为本专利技术实施例提供的一种数据分配装置的结构图；
[0025]图5为本专利技术实施例提供的一种电子设备的结构图。
具体实施方式
[0026]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0027]另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0028]为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。
[0029]实施例一
[0030]图1为本专利技术实施例提供的一种数据分配的流程图。该方法可以由数据分配装置来执行，该装置可以通过软件和/或硬件来实现，可配置于终端和/或服务器中来实现本专利技术实施例中的数据分配方法。
[0031]如图1所示，本实施例的方法具体可包括：
[0032]S101、接收待分配的请求数据，获取请求数据的数据来源信息。
[0033]在具体实施中，当接收到待分配的请求数据时，可确定该请求数据的数据来源信息。可选的，获取请求数据的数据来源信息，包括：获取请求数据对应的请求终端的网际互连协议地址、请求用户标识、请求终端标识和请求机构标识中的至少一项。本领域技术人员可根据实际应用需求，设定数据来源信息的内容，对此本专利技术实施例不作限定。
[0034]S102、基于数据来源信息和一致性哈希算法，确定请求数据对应的请求哈希键。
[0035]具体的，可对请求数据的数据来源信息进行一致性哈希计算，将计算得到的值确定为与请求数据对应的请求哈希键。通过计算得到的请求哈希键可确定出请求数据在哈希环空间上对应的位置。
[0036]示例性的，一致性哈希算法将整个哈希值空间组织成一个虚拟的圆环，圆环上的不同位置可对应不同的哈希值。对数据来源信息进行一致性哈希计算，确定出请求数据对应的请求哈希键。基于请求哈希键的数值，确定出请求数据在哈希值空间组成的圆环上的位置。
[0037]S103、基于请求哈希键和预先建立的各集群节点与各哈希键之间的哈希映射关系，在各集群节点中确定出请求哈希键对应的目标集群节点，将请求数据分配至目标集群节点。
[0038]在具体实施中，基于请求哈希键可确定出请求数据对应在哈希值空间组成的圆环上的请求位置，进一步的，可预先建立各集群节点在哈希值空间组成的圆环上的节点位置。可基于各集群节点的节点位置，设定各集群节点与各哈希键之间的哈希映射关系。
[0039]可选的，基于请求哈希键和预先建立的各集群节点与各哈希键之间的哈希映射关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分配方法，其特征在于，包括：接收待分配的请求数据，获取所述请求数据的数据来源信息；基于所述数据来源信息和一致性哈希算法，确定所述请求数据对应的请求哈希键；基于所述请求哈希键和预先建立的各集群节点与各哈希键之间的哈希映射关系，在各集群节点中确定出所述请求哈希键对应的目标集群节点，将所述请求数据分配至所述目标集群节点。2.根据权利要求1所述的方法，其特征在于，在所述在各集群节点中确定出所述请求哈希键对应的目标集群节点之前，还包括：获取当前各所述集群节点的第一节点信息；基于各所述第一节点信息和所述一致性哈希算法，建立各所述集群节点与各哈希键之间的所述哈希映射关系。3.根据权利要求2所述的方法，其特征在于，所述基于各所述第一节点信息和所述一致性哈希算法，建立各所述集群节点与各哈希键之间的所述哈希映射关系，包括：确定是否接收到用于指定各所述集群节点分配数据量的流量分配信息；如果是，则基于所述流量分配信息，构建各所述集群节点对应的虚拟节点，确定各所述虚拟节点的第二节点信息；基于各所述第二节点信息和所述一致性哈希算法，建立各所述虚拟节点与各哈希键之间的所述哈希映射关系。4.根据权利要求3所述的方法，其特征在于，所述流量分配信息包括各所述集群节点的流量分配比例；所述基于所述流量分配信息，构建各所述集群节点对应的虚拟节点，包括：基于各所述集群节点的流量分配比例，确定各所述集群节点对应的虚拟节点的节点数量；按照所述节点数量构建各所述集群节点对应的所述虚拟节点。5.根据权利要求1所述的方法，其特征在于，所述获取所述请求数据的数据来源...

【专利技术属性】
技术研发人员：徐霁，刘磊，
申请(专利权)人：挂号网杭州科技有限公司，
类型：发明
国别省市：