【技术实现步骤摘要】
本申请涉及大数据，具体涉及一种资产元数据采集方法、装置、电子设备及计算机存储介质。
技术介绍
1、当前，大数据平台资产模块对数据仓库元数据进行采集时，是通过消费组件(如canal组件)消费目标数据仓库(hms，hive meta store)的binlog日志，而后写入到es(elast ic search，搜索引擎)，再由页面进行展示采集的。随着业务发展，es中已存储有越来越多的资产元数据。
2、然而，canal组件是一个独立的服务器端程序，需要与mysql服务器进行交互来捕获增量数据，然后通过网络传输到消费者。canal组件需要单独进行部署，其运维成本高，存在国际化及在对外交付产品时，面临申请机器资源问题；并且，canal组件通过网络传输的方式将事件发送给消费者，其传输效率低下，由此最终导致数据资产采集成本与效率不符的问题。
技术实现思路
1、本申请实施例提供一种资产元数据采集方法、装置、电子设备及计算机存储介质，可以解决数据资产采集成本与效率不符的技术问题。
2、本申请实施例提供一种资产元数据采集方法，包括：
3、从元数据库中创建数据资产的第一基本元信息表和第一业务元信息表；
4、获取第一类型基础表和第二类型属性表，编写引入所述第一类型基础表的目标数据库语句，基于所述目标数据库语句在资产库中将所述第一类型基础表写入至所述第一基本元信息表，得到第二基本元信息表；
5、对所述第二类型属性表进行格式声明，得到目标属性表，基
6、获取所述第二基本元信息表和所述第二业务元信息表的总数据库语句，并创建目标连接，通过所述目标连接和所述总数据库语句将所述第一基本元信息表和所述第一业务元信息表合并写入至目标搜索引擎的索引中。
7、进一步的，所述获取第一类型基础表和第二类型属性表，包括：
8、接入目标数据仓库的第一类型处理表和第二类型处理表，将所述第一类型处理表和所述第二类型处理表写入分布式消息系统；
9、获取所述第一类型处理表和所述第二类型处理表在所述分布式消息系统中分别对应的服务主题，将所述服务主题分别引入至数据资产中心，形成所述第一类型基础表和所述第二类型属性表。
10、进一步的，所述基于所述目标数据库语句在资产库中将所述第一类型基础表写入至所述第一基本元信息表，得到第二基本元信息表，包括：
11、确定是否存在多集群服务，在确定不存在多集群服务时，基于所述目标数据库语句通过预设的引入方式，将所述第一类型基础表在资产库中写入至所述第一基本元信息表，得到所述第二基本元信息表；
12、在确定为多集群服务时，获取集群名称，在所述目标数据库语句对应的第一写入语句中加入所述集群名称，得到第二写入语句，通过预设的引入方式和所述第二写入语句，在资产库中将所述第一类型基础表写入至所述第一基本元信息表，得到所述第二基本元信息表。
13、进一步的，所述对所述第二类型属性表进行格式声明，得到目标属性表，基于所述第一基本元信息表和所述目标属性表生成外键信息，在资产库中将所述外键信息写入至所述第一业务元信息表，得到第二业务元信息表，包括：
14、获取目标格式，根据所述目标格式对所述第二类型属性表进行格式声明，得到所述目标属性表；
15、将所述第一基本元信息表作为外部维表，根据所述外部维表和所述目标属性表关联生成所述外键信息，在资产库中将所述外键信息写入至所述第一业务元信息表，得到所述第二业务元信息表。
16、进一步的，在所述将所述外键信息写入至所述第一业务元信息表，得到第二业务元信息表之后，包括：
17、根据数据表控制逻辑语句对所述第二基本元信息表和所述第二业务元信息表进行软删除、行转列和授权的操作，所述数据表控制逻辑语句为所述第二基本元信息表和所述第二业务元信息表的数据表控制逻辑语句。
18、进一步的，所述数据表控制逻辑语句包括第一数据表控制逻辑语句和第二数据表控制逻辑语句，在所述根据数据表控制逻辑语句对所述第二基本元信息表和所述第二业务元信息表进行软删除、行转列和授权的操作之前，包括：
19、编写所述第二基本元信息表对应的第一字段业务元信息宽表逻辑、第一表业务信息宽表逻辑和第一库业务元信息宽表逻辑的逻辑函数，得到所述第二基本元信息表对应的第一数据表控制逻辑语句；
20、编写所述第二业务元信息表对应的第二字段业务元信息宽表逻辑、第二表业务信息宽表逻辑和第二库业务元信息宽表逻辑的逻辑函数，得到所述第二业务元信息表对应的第二数据表控制逻辑语句。
21、进一步的，在通过所述目标连接和所述总数据库语句将所述第一基本元信息表和所述第一业务元信息表合并写入至目标搜索引擎的索引中之后，还包括：
22、确定是否接收到外部接口发送的修改参数，在确定存在所述修改参数时，创建业务接口；
23、基于所述业务接口，通过事务修改方式和所述修改参数对所述第一业务元信息表进行修改。
24、相应地，本申请实施例提供一种资产元数据采集装置，包括：
25、创建模块，用于从元数据库中创建数据资产的第一基本元信息表和第一业务元信息表；
26、编写模块，用于获取第一类型基础表和第二类型属性表，编写引入所述第一类型基础表的目标数据库语句，基于所述目标数据库语句在资产库中将所述第一类型基础表写入至所述第一基本元信息表，得到第二基本元信息表；
27、声明模块，用于对所述第二类型属性表进行格式声明，得到目标属性表，基于所述第一基本元信息表和所述目标属性表生成外键信息，在资产库中将所述外键信息写入至所述第一业务元信息表，得到第二业务元信息表；
28、写入模块，用于获取所述第二基本元信息表和所述第二业务元信息表的总数据库语句，并创建目标连接，通过所述目标连接和所述总数据库语句将所述第一基本元信息表和所述第一业务元信息表合并写入至目标搜索引擎的索引中。
29、此外，本申请实施例还提供一种电子设备，包括处理器和存储器，上述存储器存储有计算机程序，上述处理器用于运行上述存储器内的计算机程序实现本申请实施例提供的资产元数据采集方法。
30、此外，本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序适于处理器进行加载，以执行本申请实施例所提供的任一种资产元数据采集方法。
31、此外，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请实施例所提供的任一种资产元数据采集方法。
32、在本申请实施例中通过从元数据库中创建数据资产的第一基本元信息表和第一业务元信息表；之后，获取第一类型基础表和第二类型属性表，编写引入第一类型基础表本文档来自技高网...
【技术保护点】
1.一种资产元数据采集方法，其特征在于，包括：
2.根据权利要求1所述的资产元数据采集方法，其特征在于，所述获取第一类型基础表和第二类型属性表，包括：
3.根据权利要求1所述的资产元数据采集方法，其特征在于，所述基于所述目标数据库语句在资产库中将所述第一类型基础表写入至所述第一基本元信息表，得到第二基本元信息表，包括：
4.根据权利要求1所述的资产元数据采集方法，其特征在于，所述对所述第二类型属性表进行格式声明，得到目标属性表，基于所述第一基本元信息表和所述目标属性表生成外键信息，在资产库中将所述外键信息写入至所述第一业务元信息表，得到第二业务元信息表，包括：
5.根据权利要求1所述的资产元数据采集方法，其特征在于，在所述将所述外键信息写入至所述第一业务元信息表，得到第二业务元信息表之后，包括：
6.根据权利要求5所述的资产元数据采集方法，其特征在于，所述数据表控制逻辑语句包括第一数据表控制逻辑语句和第二数据表控制逻辑语句，在所述根据数据表控制逻辑语句对所述第二基本元信息表和所述第二业务元信息表进行软删除、行转列和授权的
7.根据权利要求1所述的资产元数据采集方法，其特征在于，在通过所述目标连接和所述总数据库语句将所述第一基本元信息表和所述第一业务元信息表合并写入至目标搜索引擎的索引中之后，还包括：
8.一种资产元数据采集装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的资产元数据采集方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至7任一项所述的资产元数据采集方法。
...【技术特征摘要】
1.一种资产元数据采集方法，其特征在于，包括：
2.根据权利要求1所述的资产元数据采集方法，其特征在于，所述获取第一类型基础表和第二类型属性表，包括：
3.根据权利要求1所述的资产元数据采集方法，其特征在于，所述基于所述目标数据库语句在资产库中将所述第一类型基础表写入至所述第一基本元信息表，得到第二基本元信息表，包括：
4.根据权利要求1所述的资产元数据采集方法，其特征在于，所述对所述第二类型属性表进行格式声明，得到目标属性表，基于所述第一基本元信息表和所述目标属性表生成外键信息，在资产库中将所述外键信息写入至所述第一业务元信息表，得到第二业务元信息表，包括：
5.根据权利要求1所述的资产元数据采集方法，其特征在于，在所述将所述外键信息写入至所述第一业务元信息表，得到第二业务元信息表之后，包括：
6.根据权利要求5所述的资产元数据采集方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。