维度表数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种维度表数据处理方法、装置、电子设备及存储介质，方法包括：获取待关联数据；待关联数据为用于与目标维度表中的至少一个维表数据建立关联关系的数据；待关联数据具有对应的维度表键值；从数据处理节点集群中选取与目标节点标识对应的目标数据处理节点，并转发待关联数据至目标数据处理节点；数据处理节点集群中的各数据处理节点所储存的维表数据构成目标维度表；获取目标数据处理节点基于待关联数据而查询到的目标维表数据；目标维表数据为与维度表键值相匹配的维表数据；建立待关联数据与目标维表数据的关联关系，获得待关联数据对应的关联维表数据。采用本公开可以减少数据库存储资源的浪费。减少数据库存储资源的浪费。减少数据库存储资源的浪费。

【技术实现步骤摘要】
维度表数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种维度表数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网技术的日益发展，海量数据时代已经来临。在海量数据时代下，为了能从多个角度、多个侧面观察数据，可以将数据存储在维度表中。
[0003]维度表可以看作是用户来分析数据的窗口，维度表中包含有事实数据表用于进行事实记录的特性，有些特性提供描述性信息，有些特性指示如何汇总事实数据表数据，以便为分析者提供有用的信息。
[0004]然而，传统技术中的单个数据处理节点往往需要全量储存维度表，在面对数据量巨大的维度表(即巨大维表)时，由于单个数据处理节点的数据容量有效，这使得需要将数据量巨大的维度表导出至运维成本高的存储引擎中，这无疑提高了开发成本和运维成本，也造成了存储资源的极大浪费。

技术实现思路

[0005]本公开提供一种维度表数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中数据库存储资源的浪费较多的问题。本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种维度表数据处理方法，包括：
[0007]获取待关联数据；所述待关联数据为用于与目标维度表中的至少一个维表数据建立关联关系的数据；所述待关联数据具有对应的维度表键值；
[0008]从数据处理节点集群中选取与目标节点标识对应的目标数据处理节点，并转发所述待关联数据至所述目标数据处理节点；所述数据处理节点集群中的各数据处理节点所储存的维表数据构成所述目标维度表；所述目标节点标识为按照预设的映射规则对所述待关联数据对应的维度表键值进行映射处理得到的节点标识；
[0009]获取所述目标数据处理节点基于所述待关联数据查询到的目标维表数据；所述目标维表数据为与所述维度表键值相匹配的维表数据；
[0010]建立所述待关联数据与所述目标维表数据的关联关系，获得所述待关联数据对应的关联维表数据。
[0011]在一种可能实现方式，所述节点标识为路由地址，所述从数据处理节点集群中选取与目标节点标识对应的目标数据处理节点，并转发所述待关联数据至所述目标数据处理节点，包括：按照所述映射规则对所述待关联数据对应的维度表键值进行映射处理，确定针对所述待关联数据的目标路由地址；发送所述待关联数据至与所述目标路由地址对应的数据处理节点。
[0012]在一种可能实现方式，所述根据所述待关联数据对应的维度表键值，确定针对所述待关联数据的目标路由地址，包括：对所述待关联数据对应的维度表键值进行哈希运算，
获得与所述待关联数据对应的哈希码；按照所述映射规则将所述待关联数据对应的哈希码映射为对应的路由地址，作为所述目标路由地址。
[0013]在一种可能实现方式，所述方法还包括：生成针对所述目标维度表的缓存指令；所述缓存指令携带有所述映射规则对应的标识；发送所述缓存指令至所述数据处理节点集群中的各数据处理节点；所述缓存指令用于指示任一所述数据处理节点在所述目标维度表中确定并储存与目标键值匹配的维表数据；所述目标键值为所述任一数据处理节点所负责储存的维表数据对应的维度表键值，按照所述映射规则对所述目标键值进行映射处理得到的节点标识与所述任一数据处理节点对应的节点标识相同。
[0014]根据本公开实施例的第二方面，提供一种维度表数据处理方法，包括：
[0015]响应于对目标维度表的缓存指令，确定所述目标维度表中的至少一个维表数据；
[0016]在各所述维表数据中筛选出与目标键值匹配的待储存维表数据；所述目标键值为数据处理节点所负责储存的维表数据对应的维度表键值，且按照预设的映射规则对所述目标键值进行映射处理得到的节点标识与所述数据处理节点对应的节点标识相同；所述数据处理节点为数据处理节点集群中的其中一个数据处理节点；所述数据处理节点集群中的各数据处理节点所负责储存的维表数据构成所述目标维度表；
[0017]储存所述待缓存维表数据至预设储存区域。
[0018]在一种可能实现方式，所述节点标识为路由地址，所述在各所述维表数据中筛选出与目标键值相匹配的待储存维表数据，包括：对于任一所述维表数据，按照所述映射规则将所述任一维表数据对应的维度表键值映射为对应的目标路由地址；所述目标路由地址用于表征负责储存所述任一维表数据的目标数据处理节点；若所述目标路由地址与所述数据处理节点对应的路由地址相同，则将所述任一维表数据作为所述待储存维表数据。
[0019]在一种可能实现方式，所述方法还包括：若所述目标路由地址与所述数据处理节点对应的路由地址不相同，则舍弃所述任一维表数据。
[0020]在一种可能实现方式，所述按照所述映射规则将所述任一维表数据对应的维度表键值映射为对应的目标路由地址，包括：对所述任一维表数据对应的维度表键值进行哈希运算，获得与所述任一维表数据对应的哈希码；按照所述映射规则，将所述任一维表数据对应的哈希码映射为对应的路由地址，作为所述目标路由地址。
[0021]根据本公开实施例的第三方面，提供了一种维度表数据处理装置，包括：
[0022]获取单元，被配置为执行获取待关联数据；所述待关联数据为用于与目标维度表中的至少一个维表数据建立关联关系的数据；所述待关联数据具有对应的维度表键值；
[0023]选取单元，被配置为执行从数据处理节点集群中选取与目标节点标识对应的目标数据处理节点，并转发所述待关联数据至所述目标数据处理节点；所述数据处理节点集群中的各数据处理节点所储存的维表数据构成所述目标维度表；所述目标节点标识为按照预设的映射规则对所述待关联数据对应的维度表键值进行映射处理得到的节点标识；
[0024]接收单元，被配置为执行获取所述目标数据处理节点基于所述待关联数据查询到的目标维表数据；所述目标维表数据为与所述维度表键值相匹配的维表数据；
[0025]关联单元，被配置为执行建立所述待关联数据与所述目标维表数据的关联关系，获得所述待关联数据对应的关联维表数据。
[0026]在一种可能实现方式，所述节点标识为路由地址，所述选取单元，具体被配置为执
行按照所述映射规则对所述待关联数据对应的维度表键值进行映射处理，确定针对所述待关联数据的目标路由地址；发送所述待关联数据至与所述目标路由地址对应的数据处理节点。
[0027]在一种可能实现方式，所述选取单元，具体被配置为执行对所述待关联数据对应的维度表键值进行哈希运算，获得与所述待关联数据对应的哈希码；按照所述映射规则将所述待关联数据对应的哈希码映射为对应的路由地址，作为所述目标路由地址。
[0028]在一种可能实现方式，所述装置还被配置为执行生成针对所述目标维度表的缓存指令；所述缓存指令携带有所述映射规则对应的标识；发送所述缓存指令至所述数据处理节点集群中的各数据处理节点；所述缓存指令用于指示任一所述数据处理节点在所述目标维度表中确定并储存与目标键值匹配的维表数据；所述目标键值为所述任一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种维度表数据处理方法，其特征在于，包括：获取待关联数据；所述待关联数据为用于与目标维度表中的至少一个维表数据建立关联关系的数据；所述待关联数据具有对应的维度表键值；从数据处理节点集群中选取与目标节点标识对应的目标数据处理节点，并转发所述待关联数据至所述目标数据处理节点；所述数据处理节点集群中的各数据处理节点所储存的维表数据构成所述目标维度表；所述目标节点标识为按照预设的映射规则对所述待关联数据对应的维度表键值进行映射处理得到的节点标识；获取所述目标数据处理节点基于所述待关联数据查询到的目标维表数据；所述目标维表数据为与所述维度表键值相匹配的维表数据；建立所述待关联数据与所述目标维表数据的关联关系，获得所述待关联数据对应的关联维表数据。2.根据权利要求1所述的维度表数据处理方法，其特征在于，所述节点标识为路由地址，所述从数据处理节点集群中选取与目标节点标识对应的目标数据处理节点，并转发所述待关联数据至所述目标数据处理节点，包括：按照所述映射规则对所述待关联数据对应的维度表键值进行映射处理，确定针对所述待关联数据的目标路由地址；发送所述待关联数据至与所述目标路由地址对应的数据处理节点。3.根据权利要求1至2任一项所述的维度表数据处理方法，其特征在于，所述方法还包括：生成针对所述目标维度表的缓存指令；所述缓存指令携带有所述映射规则对应的标识；发送所述缓存指令至所述数据处理节点集群中的各数据处理节点；所述缓存指令用于指示任一所述数据处理节点在所述目标维度表中确定并储存与目标键值匹配的维表数据；所述目标键值为所述任一数据处理节点所负责储存的维表数据对应的维度表键值，且按照所述映射规则对所述目标键值进行映射处理得到的节点标识与所述任一数据处理节点对应的节点标识相同。4.一种维度表数据处理方法，其特征在于，包括：响应于对目标维度表的缓存指令，确定所述目标维度表中的至少一个维表数据；在各所述维表数据中筛选出与目标键值匹配的待储存维表数据；所述目标键值为数据处理节点所负责储存的维表数据对应的维度表键值，且按照预设的映射规则对所述目标键值进行映射处理得到的节点标识与所述数据处理节点对应的节点标识相同；所述数据处理节点为数据处理节点集群中的其中一个数据处理节点；所述数据处理节点集群中的各数据处理节点所负责储存的维表数据构成所述目标维度表；储存所述待缓存维表数据至预设储存区域。5.根据权利要求4所述的维度表数据处理方法，其特征在于，所述节点标识为路由地址，所述在各所述维表数据中筛选出与目标键值相匹配的待储存维表数据，包...

【专利技术属性】
技术研发人员：张静，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：