一种全面快速查看分析的数仓管理方法及装置制造方法及图纸

本发明专利技术公开了一种全面快速查看分析的数仓管理方法及装置，涉及数仓数据管理技术领域。本发明专利技术建立数仓数据管理表，通过读取数仓数据管理表生成供开发者查阅溯源的在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。使开发者可以全面的看到数仓元数据的治理，数据流转和技术架构，可以很好地看到数据来源和积累的数据模型，方便于数据挖掘和分析，为后面数据驱动业务奠定了一个基石。为后面数据驱动业务奠定了一个基石。为后面数据驱动业务奠定了一个基石。

【技术实现步骤摘要】
一种全面快速查看分析的数仓管理方法及装置


[0001]本专利技术涉及数仓数据管理
，特别是一种全面快速查看分析的数仓管理方法及装置。

技术介绍

[0002]在目前很多企业当中，在构建数仓的时候，元数据都是整理到Excel后查看，查询某个建模表的代码文件都只能代码库去看，查看整个数仓的流转和目前的技术架构只能问相应的数据部的架构师；这样数仓的整体的维护会比较麻烦，对接业务的时候没有统一路径，不利于数据血缘的追溯，和没有很好进行查看路径，不利于后面的数据分析。

技术实现思路

[0003]针对上述缺陷，本专利技术的目的在于提出一种全面快速查看分析的数仓管理方法及装置，解决现有数仓中元数据管理和查看复杂，对接业务的时候没有统一路径，对数据的挖掘和分析不是特别的便捷的技术问题。
[0004]为达此目的，本专利技术采用以下技术方案：
[0005]本专利技术第一方明公开了一种全面快速查看分析的数仓管理方法，包括如下步骤：
[0006]建立数仓数据管理表，数仓数据管理表记录有数仓层级模块数据；数仓层级模块数据包括同一数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；表说明信息包括该数仓层级模块中若干个表的说明信息数据；
[0007]读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的表说明信息，从数仓Doris中读取出该数仓层级模块中各个表的元数据和执行该表的逻辑代码；
[0008]根据读取到信息数据生成在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
[0009]进一步，通过Java程序执行读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；以及根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码。
[0010]进一步，通过ShowDoc程序执行根据读取到信息数据生成在线文档。
[0011]进一步，数据管理表包括表说明信息子表，表说明信息子表记载有表说明信息，表说明信息包括表名、表中文名、数据来源、数据描述、表的属性以及表更新时间。
[0012]进一步，数据管理表包括层级模块说明信息子表，层级模块说明信息子表记载有层级模块说明信息，层级模块说明信息包括来源说明、来源数据渠道以及库名。
[0013]进一步，数据管理表包括数据连接说明信息子表，数据连接说明信息子表记载有数据连接说明信息，数据连接说明信息包括数仓分层类型、Doris的数据库、ShowDoc的url、
api密钥以及api令牌。
[0014]进一步，数仓数据管理表为Excel表格。
[0015]本专利技术第二方面公开了一种全面快速查看分析的数仓管理装置，应用于本专利技术第一方面任一项的一种全面快速查看分析的数仓管理方法；包括：
[0016]数仓数据管理表建立模块，用于建立数仓数据管理表，数仓数据管理表记录有数仓层级模块数据；数仓层级模块数据包括同一数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；表说明信息包括该数仓层级模块中若干个表的说明信息数据；
[0017]数仓数据管理表读取模块，用于读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码；
[0018]在线文档生成模块，用于根据读取到信息数据生成在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
[0019]本专利技术第三方面公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本专利技术第一方面任一项的方法。
[0020]本专利技术第四方面公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本专利技术第一方面任一项的方法。
[0021]本专利技术提供的技术方案可以包括以下有益效果：
[0022]在本专利技术的具体应用中，建立数仓数据管理表，通过读取数仓数据管理表生成供开发者查阅溯源的在线文档，在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、元数据以及执行该表的逻辑代码。
[0023]如此，使开发者可以全面的看到数仓元数据的治理，数据流转和技术架构，便于给开发者更为清晰的工作任务，让新接手的员工更加的快速的了解业务。并使业务对接时有统一的口径，大大减少沟通的成本。此外还可以很好地看到数据来源和积累的数据模型，方便于数据挖掘和分析，为后面数据驱动业务奠定了一个基石。
附图说明
[0024]图1是本申请实施例的数仓管理方法的流程示意图；
[0025]图2为本申请实施例的在线文档记载一个数仓层级模块说明的示意图；
[0026]图3为本申请实施例的在线文档中数仓层级模块中一个表对应的表说明的示意图；
[0027]图4为本申请实施例的数仓管理装置的基本结构示意图；
[0028]图5为本申请实施例的电子设备的结构示意图。
具体实施方式
[0029]下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
[0030]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、
“”
和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0031]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
...

【技术保护点】

【技术特征摘要】
1.一种全面快速查看分析的数仓管理方法，其特征在于：包括如下步骤：建立数仓数据管理表，所述数仓数据管理表记录有数仓层级模块数据；所述数仓层级模块数据包括同一数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；所述表说明信息包括该数仓层级模块中若干个表的说明信息数据；读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；根据获取到的所述表说明信息，从数仓Doris中读取出该数仓层级模块中各个表的元数据和执行该表的逻辑代码；根据读取到信息数据生成在线文档，所述在线文档记录有数仓层级模块说明和该数仓层级模块中各个表对应的表说明；所述数仓层级模块说明记录有层级模块说明信息和根据表说明信息生成的该数仓层级模块中所有表的列表；数仓层级模块中各个表对应的表说明对应记录有各表自身的说明信息数据、所述元数据以及执行该表的逻辑代码。2.根据权利要求1所述的一种全面快速查看分析的数仓管理方法，其特征在于：通过Java程序执行读取数仓数据管理表，从数仓层级模块的数据中读取出该数仓层级模块的表说明信息、层级模块说明信息和数据连接说明信息；以及根据获取到的所述表说明信息，从数仓Doris中读取出元数据和执行该表的逻辑代码。3.根据权利要求1所述的一种全面快速查看分析的数仓管理方法，其特征在于：通过ShowDoc程序执行根据读取到信息数据生成在线文档。4.根据权利要求1所述的一种全面快速查看分析的数仓管理方法，其特征在于：所述数据管理表包括表说明信息子表，所述表说明信息子表记载有表说明信息，所述表说明信息包括表名、表中文名、数据来源、数据描述、表的属性以及表更新时间。5.根据权利要求1所述的一种全面快速查看分析的数仓管理方法，其特征在于：所述数据管理表包括层级模块说明信息子表，所述层级模块说明信息子表记载有层级模块说明信息，所述层级模块说明信息包括来源说明、来源数据渠道以及库名。6.根据权利要求3所述...

【专利技术属性】
技术研发人员：梁英林，孔令超，林国友，吕火生，
申请(专利权)人：西藏众陶联供应链服务有限公司林周佳住家网络科技有限公司林周利利佳供应链服务有限公司共青城市众陶联供应链服务有限公司，
类型：发明
国别省市：