本申请提供一种数据建模方法、装置、模拟器及可读存储介质，该方法包括：将业务需求中每个指标进行拆分获得多个元数据，并对每一指标进行分类；根据指标的元数据和主题标准库确定指标所属的主题和所属主题下的业务过程；获取业务需求中各个指标的分析维度，将各个指标的分析维度添加至业务过程中，获得业务过程的总线矩阵，并从总线矩阵中提取业务过程的一致性维度；根据各个指标的元数据、指标所属的主题、所属主题下的业务过程以及业务过程的一致性维度构建各个指标的逻辑模型；根据各个指标的逻辑模型建立各个指标的物理模型。实现结构化的元数据规范和约束，解决现有人肉经验建模中业务定义与最终模型生产不一致的问题。中业务定义与最终模型生产不一致的问题。中业务定义与最终模型生产不一致的问题。
【技术实现步骤摘要】
数据建模方法、装置、模拟器及可读存储介质
[0001]本申请涉及计算机领域技术，尤其涉及一种数据建模方法、装置、模拟器及可读存储介质。
技术介绍
[0002]随着数字经济的发展，数据已成为新的生产要素，面对企业增长的海量数据，更好的挖掘数据价值驱动业务发展已经成为行业的共识，大数据数仓建设为企业透传、沉淀了数据的价值，在高质量实现数据到信息转化的同时，为企业快速试错和精细化运营提供了数据保障。大数据建模是数仓建设的重要基础，好的建模方法是数仓建设成功的关键。
[0003]在现有技术中，使用传统人肉和经验建模方式；通过数仓集约共建，产生大量交叉领域的数据，需要工程师共同协作完成业务定义，逻辑模型设计以及物理模型开发。
[0004]然而，现有技术中由于人为认知和经验水平不同，缺乏数据架构规范和有效元数据驱动约束，无法保障模型设计和实际物理模型开发的统一，导致模型质量差。
技术实现思路
[0005]本申请提供一种数据建模方法、装置、模拟器及可读存储介质，用以解决现有技术中，人肉经验建模中业务定义、逻辑模型设计和物理模型生产三个环节割裂，缺失结构化的元数据规范和约束，导致业务定义与最终模型生产不一致的技术问题。
[0006]第一方面，本申请提供一种数据建模方法，包括：
[0007]将业务需求中每个指标进行拆分获得多个元数据，并对每一指标进行分类；
[0008]根据所述指标的元数据和主题标准库确定所述指标所属的主题和所属主题下的业务过程；
[0009]获取所述业务需求中各个指标的分析维度，将各个指标的分析维度添加至所述业务过程中，获得所述业务过程的总线矩阵，并从所述总线矩阵中提取所述业务过程的一致性维度；
[0010]根据各个指标的元数据、所述指标所属的主题、所属主题下的业务过程以及所述业务过程的一致性维度构建所述各个指标的逻辑模型；
[0011]根据所述各个指标的逻辑模型建立所述各个指标的物理模型。
[0012]进一步地，所述指标的类型包括原子指标，计算指标和衍生指标。
[0013]进一步地，根据所述各个指标的逻辑模型建立所述各个指标的物理模型，具体包括：
[0014]根据所述指标对应的物理模型类型、所述指标所属的主题、所属主题的业务、所述指标的各个元数据所对应数据的时间周期和各个元数据所对应数据所在数据表类型构建所述指标的物理模型的名称；
[0015]根据所述指标的类型和所述指标的各个元数据所对应的数据构建所述指标的物理模型。
[0016]进一步地，若所述指标类型为所述原子指标或者所述计算指标，则所述指标对应的物理模型类型为基础事实明细层模型；若所述指标类型为衍生指标，则所述指标对应的物理模型类型为轻度汇总层模型。
[0017]进一步地，所述数据表类型包括日志型数据自动映射增量表类型和事务性数据自动映射快照表类型。
[0018]进一步地，根据所述指标的类型和所述指标的各个元数据所对应的数据构建所述指标的物理模型，具体包括：
[0019]在所述指标的物理模型为基础事实明细模型时，根据所述指标的元数据和所述指标所在业务过程的准备区快照表物理字段直接拉取或者简单聚合函数组合，以填充所述指标的物理模型的字段；
[0020]在所述指标的物理模型为衍生事实轻度汇总模型时，确定所述衍生指标所对应的原子指标，根据所述原子指标元数据确定基础事实明细模型；
[0021]将衍生指标拆解出的时间周期作为限定词元数据，将所述限定词元素对所述基础事实明细模型的字段进行逻辑运算，生成指标的物理模型的字段。
[0022]进一步地，根据所述指标的元数据和主题标准库确定所述指标所属的主题和所属主题下的业务过程，具体包括：
[0023]根据所述指标的元数据确定所述指标所属的备选主题和备选主题下的备选业务过程；
[0024]将所述备选主题和所述备选主题下的备选业务过程与主题标准库中主题和业务过程进行匹配，获得所述指标所属的主题和所属主题下的业务过程。
[0025]第二方面，本申请提供一种数据建模装置，包括：
[0026]处理模块，用于将业务需求中每个指标进行拆分获得多个元数据，并对每一指标进行分类；
[0027]所述处理模块还用于根据所述指标的元数据和主题标准库确定所述指标所属的主题和所属主题下的业务过程；
[0028]所述处理模块还用于获取所述业务需求中各个指标的分析维度，将各个指标的分析维度添加至所述业务过程中，获得所述业务过程的总线矩阵，并从所述总线矩阵中提取所述业务过程的一致性维度；
[0029]构建模块，用于根据各个指标的元数据、所述指标所属的主题、所属主题下的业务过程以及所述业务过程的一致性维度构建所述各个指标的逻辑模型；以及根据所述各个指标的逻辑模型建立所述各个指标的物理模型。
[0030]第三方面，本申请提供一种模拟器，包括：存储器和处理器；
[0031]所述存储器中存储有可在所述处理器上运行的计算机程序；
[0032]所述处理器执行所述计算机程序时实现第一方面所述的方法。
[0033]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。
[0034]第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法。
[0035]本申请提供的数据建模方法、装置、模拟器及可读存储介质，本方案中，通过对业务需求的拆分获得元数据和分析维度，实现业务需求中结构化的元数据规范和约束；再基于元数据确定业务过程，并把分析维度添加至业务过程，从而获得业务过程的总线矩阵，并从中提取业务过程的一致性维度；根据各个指标的元数据、指标所属的主题、所属主题下的业务过程以及业务过程的一致性维度构建各个指标的逻辑模型；再根据各个指标的逻辑模型建立各个指标的物理模型；保障模型设计以及最终物理模型统一，规范业务定义，清晰刻画指标口径，同时映射到物理模型上，保证模型质量，实现高质量和可控标准化的建模。解决现有人肉经验建模中业务定义、逻辑模型设计和物理模型生产三个环节割裂，导致业务定义与最终模型生产不一致的问题。
附图说明
[0036]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0037]图1为本申请实施例提供的一种数据建模方法的流程示意图；
[0038]图2为本申请实施例提供的一种根据各个指标的逻辑模型建立各个指标的物理模型方法的流程示意图；
[0039]图3为本申请实施例提供的另一种根据各个指标的逻辑模型建立各个指标的物理模型方法的流程示意图；
[0040]图4为本申请实施例提供的另一种数据建模方法的流程示意图；
[0041]图5为本申请实施例提供的一种数据建模装置的结构示意图；...
【技术保护点】
【技术特征摘要】
1.一种数据建模方法，其特征在于，包括：将业务需求中每个指标进行拆分获得多个元数据，并对每一指标进行分类；根据所述指标的元数据和主题标准库确定所述指标所属的主题和所属主题下的业务过程；获取所述业务需求中各个指标的分析维度，将各个指标的分析维度添加至所述业务过程中，获得所述业务过程的总线矩阵，并从所述总线矩阵中提取所述业务过程的一致性维度；根据各个指标的元数据、所述指标所属的主题、所属主题下的业务过程以及所述业务过程的一致性维度构建所述各个指标的逻辑模型；根据所述各个指标的逻辑模型建立所述各个指标的物理模型。2.根据权利要求1所述数据建模方法，其特征在于，所述指标的类型包括原子指标，计算指标和衍生指标。3.根据权利要求2所述数据建模方法，其特征在于，根据所述各个指标的逻辑模型建立所述各个指标的物理模型，具体包括：根据所述指标对应的物理模型类型、所述指标所属的主题、所属主题的业务、所述指标的各个元数据所对应数据的时间周期和各个元数据所对应数据所在数据表类型构建所述指标的物理模型的名称；根据所述指标的类型和所述指标的各个元数据所对应的数据构建所述指标的物理模型。4.根据权利要求3所述数据建模方法，其特征在于，若所述指标类型为所述原子指标或者所述计算指标，则所述指标对应的物理模型类型为基础事实明细层模型；若所述指标类型为衍生指标，则所述指标对应的物理模型类型为轻度汇总层模型。5.根据权利要求3所述数据建模方法，其特征在于，所述数据表类型包括日志型数据自动映射增量表类型和事务性数据自动映射快照表类型。6.根据权利要求3所述数据建模方法，其特征在于，根据所述指标的类型和所述指标的各个元数据所对应的数据构建所述指标的物理模型，具体包括：在所述指标的物理模型为基础事实明细模型时，根据所述指标的元数据和所述指标所在业务过程的准备区快照表物理字段直接拉取或者简单聚合函数组合，以填充所述指标的物理...
【专利技术属性】
技术研发人员：张小强，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。