数据聚合方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据聚合方法、装置、设备及介质，涉及数据库领域。该方法包括：从图形用户界面上获取输入维度和输入指标，所述输入维度属于所述候选维度，所述输入指标属于所述候选指标；根据所述DM元数据，从所述候选数据源表中确定与所述输入维度和所述输入指标对应的数据源表集合，所述数据源表集合包括以所述输入维度为维度，以所述输入指标为指标的数据源表；聚合所述数据源表集合中的数据，输出与所述输入维度和所述输入指标对应的目标数据集。本申请可以根据用户的需求灵活地生成多种目标数据集，整个聚合过程不需要用户过多地参与，人机交互效率高。人机交互效率高。人机交互效率高。

【技术实现步骤摘要】
数据聚合方法、装置、设备及介质


[0001]本申请涉及数据库领域，特别涉及一种数据聚合方法、装置、设备及介质。

技术介绍

[0002]数据源表是一种存储数据的方式，多张数据源表之间可能会存在相关的数据，此时，需要关联多张数据源表之间的数据，方便管理。
[0003]在两个数据源表之间存在相关数据的情况下，相关技术中由用户先确定两个数据源表之间的关联方式，而后确定两个数据源表之间的关联条件，最后根据上述的关联方式和关联条件，生成固定的查询SQL(Structured Query Language，结构化查询语言)方案，并在数据存储引擎中进行关联查询。
[0004]相关技术生成关联方式和关联条件的方法较为固定，无法根据用户输入的维度和指标灵活地调整关联策略规则。

技术实现思路

[0005]本申请实施例提供了一种数据聚合方法、装置、设备及介质，该方法可以根据用户输入的输入维度和输入指标，灵活地生成不同种类的目标数据集。所述技术方案如下：
[0006]根据本申请的一个方面，提供了一种数据聚合方法，该方法应用于计算机设备中，所述计算机设备存储有数据模型DM元数据，所述DM元数据用于表示候选维度和候选指标到候选数据源表的映射关系，所述候选维度用于表示数据类型，所述输入指标用于表示衡量数据的参数，该方法包括：
[0007]从图形用户界面上获取输入维度和输入指标，所述输入维度属于所述候选维度，所述输入指标属于所述候选指标；
[0008]根据所述DM元数据，从所述候选数据源表中确定与所述输入维度和所述输入指标对应的数据源表集合，所述数据源表集合包括以所述输入维度为维度，以所述输入指标为指标的数据源表；
[0009]聚合所述数据源表集合中的数据，输出与所述输入维度和所述输入指标对应的目标数据集。
[0010]根据本申请的一个方面，提供了一种数据聚合装置，该装置存储有数据模型DM元数据，所述DM元数据用于表示候选维度和候选指标到候选数据源表的映射关系，所述候选维度用于表示数据类型，所述输入指标用于表示衡量数据的参数，所该装置包括：
[0011]获取模块，用于从图形用户界面上获取输入维度和输入指标，所述输入维度属于所述候选维度，所述输入指标属于所述候选指标；
[0012]映射模块，用于根据所述DM元数据，从所述候选数据源表中确定与所述输入维度和所述输入指标对应的数据源表集合，所述数据源表集合包括以所述输入维度为维度，以所述输入指标为指标的数据源表；
[0013]聚合模块，用于聚合所述数据源表集合中的数据，输出与所述输入维度和所述输
入指标对应的目标数据集。
[0014]在本申请的一个可选设计中，所述输入指标包括输入基础指标和输入复合指标，所述输入基础指标是指不可被拆分的指标，所述输入复合指标是指至少两个基础指标通过数学运算得到的指标，所述映射模块，还用于将所述输入复合指标拆分为拆分基础指标；合并所述输入基础指标和所述拆分基础指标，得到目标基础指标；根据所述DM元数据，从所述候选数据源表中确定与所述输入维度和所述目标基础指标对应的目标数据源表；合并所述目标数据源表，得到所述数据源表集合。
[0015]在本申请的一个可选设计中，所述目标基础指标包括第i个目标基础指标， i为正整数，所述映射模块，还用于根据所述DM元数据，从所述候选数据源表中确定所述输入维度和所述第i个目标基础指标对应的n个目标候选数据源表， n为大于1的整数；优先将所述n个目标候选数据源表中属于预聚合数据源表的数据源表确定为所述目标数据源表，所述预聚合数据源表用于表示仅包括所述基础指标的数据源表；或，优先将n个所述目标候选数据源表中存储数据最小的数据源表确定为所述目标数据源表。
[0016]在本申请的一个可选设计中，所述目标基础指标包括第a个目标基础指标和第b个目标基础指标，a，b为正整数；所述映射模块，还用于根据所述DM 元数据，从所述候选数据源表中确定所述输入维度和所述第a个目标基础指标对应的j个目标候选数据源表，j为正整数；根据所述DM元数据，从所述候选数据源表中确定所述输入维度和所述第b个目标基础指标对应的k个目标候选数据源表，k为正整数；在所述j个目标候选数据源表和所述k个目标候选数据源表中存在相同的数据源表的情况下，将所述相同的数据源表确定为所述目标数据源表。
[0017]在本申请的一个可选设计中，所述聚合模块，还用于根据所述数据源表集合和所述DM元数据，生成数据库查询语句；执行所述数据查询语句，从所述候选数据源表中查询得到中间查询结果集，所述中间查询结果集是以输入维度为维度，以目标基础指标为指标的数据集组成的集合；聚合所述中间查询结果集中的数据，输出与所述输入维度和所述输入指标对应的所述目标数据集。
[0018]在本申请的一个可选设计中，所述聚合模块，还用于确定所述数据源表集合和所述DM元数据对应的数据库查询语句生成规则；将所述数据源表集合中各个数据源表的输入维度和目标基础指标代入到所述数据库查询语句生成规则中，生成所述数据库查询语句。
[0019]在本申请的一个可选设计中，所述聚合模块，还用于聚合所述中间查询结果集，输出输入基础指标对应的基础指标数据集；根据所述中间查询结果集和输入复合指标的计算公式，计算得到复合指标数据集；将所述复合指标数据集中的数据合并到所述基础指标数据集中，输出与所述输入维度和所述输入指标对应的所述目标数据集。
[0020]在本申请的一个可选设计中，所述装置还包括：预处理模块；
[0021]所述预处理模块，用于获取正排DM元数据，所述正排DM元数据用于表示所述候选数据源表到所述候选维度和所述候选指标的映射关系；通过倒排索引操作，将所述正排DM元数据转换为所述倒排DM元数据；将所述倒排DM 元数据存储到所述计算机设备中。
[0022]在本申请的一个可选设计中，所述获取模块，还用于响应于所述图形用户界面上的输入操作，获取所述输入维度和所述输入指标；或，响应于所述图形用户界面上的第一选择操作，从所述候选维度中确定所述输入维度；响应于所述图形用户界面上的第二选择操
作，从所述候选指标中确定所述输入指标。
[0023]根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上方面所述的数据聚合方法。
[0024]根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条程序代码，程序代码由处理器加载并执行以实现如上方面所述的数据聚合方法。
[0025]根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据聚合方法，其特征在于，应用于计算机设备中，所述计算机设备存储有数据模型DM元数据，所述DM元数据用于表示候选维度和候选指标到候选数据源表的映射关系，所述候选维度用于表示数据类型，所述输入指标用于表示衡量数据的参数，所述方法包括：从图形用户界面上获取输入维度和输入指标，所述输入维度属于所述候选维度，所述输入指标属于所述候选指标；根据所述DM元数据，从所述候选数据源表中确定与所述输入维度和所述输入指标对应的数据源表集合，所述数据源表集合包括以所述输入维度为维度，以所述输入指标为指标的数据源表；聚合所述数据源表集合中的数据，输出与所述输入维度和所述输入指标对应的目标数据集。2.根据权利要求1所述的方法，其特征在于，所述输入指标包括输入基础指标和输入复合指标，所述输入基础指标是指不可被拆分的指标，所述输入复合指标是指至少两个基础指标通过数学运算得到的指标；所述根据所述DM元数据，从所述候选数据源表中确定与所述输入维度和所述输入指标对应的数据源表集合，包括：将所述输入复合指标拆分为拆分基础指标；合并所述输入基础指标和所述拆分基础指标，得到目标基础指标；根据所述DM元数据，从所述候选数据源表中确定与所述输入维度和所述目标基础指标对应的目标数据源表；合并所述目标数据源表，得到所述数据源表集合。3.根据权利要求2所述的方法，其特征在于，所述目标基础指标包括第i个目标基础指标，i为正整数；所述根据所述DM元数据，从所述候选数据源表中确定与所述输入维度和所述目标基础指标对应的目标数据源表，包括：根据所述DM元数据，从所述候选数据源表中确定所述输入维度和所述第i个目标基础指标对应的n个目标候选数据源表，n为大于1的整数；优先将所述n个目标候选数据源表中属于预聚合数据源表的数据源表确定为所述目标数据源表，所述预聚合数据源表用于表示仅包括所述基础指标的数据源表；或，优先将n个所述目标候选数据源表中存储数据最小的数据源表确定为所述目标数据源表。4.根据权利要求2所述的方法，其特征在于，所述目标基础指标包括第a个目标基础指标和第b个目标基础指标，a，b为正整数；所述根据所述DM元数据，从所述候选数据源表中确定与所述输入维度和所述目标基础指标对应的目标数据源表，包括：根据所述DM元数据，从所述候选数据源表中确定所述输入维度和所述第a个目标基础指标对应的j个目标候选数据源表，j为正整数；根据所述DM元数据，从所述候选数据源表中确定所述输入维度和所述第b个目标基础指标对应的k个目标候选数据源表，k为正整数；在所述j个目标候选数据源表和所述k个目标候选数据源表中存在相同的数据源表的情况下，将所述相同的数据源表确定为所述目标数据源表。
5.根据权利要求1至4任一所述的方法，其特征在于，所述聚合所述数据源表集合中的数据，输出与所述输入维度和所述输入指标对应的目标数据集，包括：根据所述数据源表集合和所述DM元数据，生成数据库查询语句；执行所述数据库查询语句，从所述候选数据源表中查询得到中间查询结果集，所述中间查询结果集是以输入维度为维度，以目标基础指标为指标的数据集组成的集合；聚合所述中间查询结果集中的数据，输出与所述输入维度和所述输入指标对应的所述目标数据集。6.根据权利要求5所述的方法，其特征在于，所述根据所述数据源表集合和所述DM元数据，生成数据库查询语句，包括：确定所述数据源表集合和所述DM元数据对应的数据库查询语句生成规则；将所述数据源表集合中各个数据源表的输入维度和目标基础指标代入到所述数据库查询语句生成规则中，生成所述数据库查询语句。7.根据权利要求5所述的方法，其特征在于，所述聚合所述中间查询结果集中的数据，输出与所述输入维度和所述输入指标对应的所述目标数据集，包括：聚合所述中间查询结果集，输出输入基础指标对应的基础指标数据集；根据所述中间查询结果集和输入复合指标的计算公式，计算得...

【专利技术属性】
技术研发人员：谢梁，李瑞，谢志伟，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：