锂电池生产制造业元数据管理方法及系统技术方案

本发明专利技术提供锂电池生产制造业元数据管理方法及系统，包括：收集并整理业务元数据，通过页面录入方式进行系统记录；通过通用性技术元数据采集模块，对技术元数据进行配置，动态化采集；通过SQL解析技术元数据模块解析获取数据血缘；通过业务元数据与技术元数据相关联，使技术元数据被赋予业务含义，形成元数据血缘、影响、全链路关系的自动化探索，图形化展现；从库表数量、采集、存储、模型、指标、任务、应用、热度等多种维度构建数据全景地图，以管理元数据为基础，划定查询权限。本发明专利技术解决了动态感知能力以及通用性较差，元数据融合效率低下导致元数据链路分析不全面的技术问题。下导致元数据链路分析不全面的技术问题。下导致元数据链路分析不全面的技术问题。

【技术实现步骤摘要】
锂电池生产制造业元数据管理方法及系统


[0001]本专利技术涉及新能源制造数据处理领域，具体涉及锂电池生产制造业元数据管理方法及系统。

技术介绍

[0002]随着企业业务复杂度的提升，各种类型、不同结构的数据呈现爆发式的增长。这些数据经过采集、关联、聚合、转换、更新，又在数据仓库各层形成新的数据集。而在锂电池生产制造业，业务不断迭代，文档不全，逻辑不清楚，数据开发管理人员对于数据难以直观理解，后期更是难以维护。此时企业需要采用元数据管理方法来使这些数据成为有效的数据资产。当前市场上主流的元数据管理工具Atlas采用侵入式的元数据采集方式，且需要目标对象支持插件采集方式，否则Atlas采集不到元数据，通用性较差。或是通过连接配置信息直连数据库进行采集存储元数据信息，无法动态感知元数据的变更。
[0003]现有大数据治理相关技术如下：
[0004]公布号为CN114357254A的现有专利技术专利申请文献《元数据管理方法、元数据管理端、电子设备和存储介质》，提供了一种元数据管理方法、元数据管理端、电子设备和存储介质，其中，一种元数据管理方法，包括：响应于用户在所述接口适配层配置所述目标数据库的连接配置信息，与所述目标数据库建立元数据管理连接，以使所述管理端能够访问所述目标数据库；响应于所述用户在所述管理端中对表的操作，将所述目标数据库中的所述表的信息采集至所述元数据存储层。通过与目标数据库建立元数据管理连接，以使管理端能够访问目标数据库，然后响应于用户在管理端中对表的操作，将目标数据库中的表的信息采集至元数据存储层。前述现有的元数据管理方法没有对业务元数据、技术元数据、管理元数据进行高效融合。难以形成以业务元数据为驱动、技术元数据为基准、管理元数据为规范的全方位链路分析。以及公布号为CN115544160A的现有专利技术专利申请文献《一种数据的同步方法、装置、电子设备、介质和程序产品》该方法的具体实施方式包括：接收源头数据库的数据同步请求，向安插于源头数据库中的采集插件发送采集指令，以使采集插件采集源头数据库的源数据；其中，数据同步请求包括目的数据库；对源数据进行校验，筛选符合同步插件要求的同步数据格式的目标数据；利用安插于目的数据库中的写入插件，将目标数据写入目的数据库。前述现有的元数据管理方法采用侵入式的元数据采集方式，且需要目标对象支持插件采集方式，否则采集不到元数据，通用性较差。或是通过连接配置信息直连数据库进行采集存储元数据信息，无法动态感知元数据的变更。
[0005]综上，现有技术存在动态感知能力以及通用性较差，元数据融合效率低下导致元数据链路分析不全面的技术问题。

技术实现思路

[0006]本专利技术所要解决的技术问题在于如何解决现有技术中，动态感知能力以及通用性较差，元数据融合效率低下导致元数据链路分析不全面的技术问题。
[0007]本专利技术是采用以下技术方案解决上述技术问题的：锂电池生产制造业元数据管理方法包括：
[0008]S1、收集、整理并记录业务元数据；
[0009]S2、通过预置的技术元数据采集模块，配置应用系统连接信息，以动态化采集技术元数据，通过SQL解析技术元数据模块解析获取数据血缘模型；
[0010]S3、对业务元数据与技术元数据进行关联操作，对技术元数据赋予业务含义，以得到技术业务关联元数据，据以利用数据血缘模型进行全链路搜索，以得到并展示元数据分析数据，其中，元数据分析数据包括：元数据血缘分析数据、元数据影响分析数据以及全链路分析数据；
[0011]S4、获取并根据管理元数据，从不少于2种差异维度，分析技术业务关联元数据，以构建得到数据全景地图，基于管理元数据，划定特定用户的查询权限。
[0012]本专利技术通过元数据自动采集、动态感知，以更新元数据增量，保存各版本元数据，提高了元数据关联效率及元数据关联系统的通用性。通过元数据关联以及多维度分析操作，实现了业务元数据、技术元数据、管理元数据的高效融合，针对元数据进行全方位链路分析，提高了元数据融合效率。本专利技术通过构建元数据全景图，掌握元数据变更影响以及元数据变化导致的风险，使得元数据分析更加全面、可靠。
[0013]在更具体的技术方案中，步骤S1中，利用预置业务元数据模型处理业务元数据，业务元数据模型的id包括：自增id。
[0014]在更具体的技术方案中，步骤S1包括：根据已记录的业务元数据，更新版本状态数据。
[0015]在更具体的技术方案中，步骤S2包括：
[0016]S21、利用预置技术元数据采集模块，提供统一入口，据以对接不同种类的数据源，动态监听数据源，以得到动态感知数据，利用预置CDC(数据变化捕捉，Change Data Capture)检测工具捕获元数据存储库变动，通过Flink程序解析元数据存储库变动，以得到并发送元数据变动解析数据至消息中间件Kafka中，供下游订阅消费；
[0017]S22、利用下游Flink程序实时消费解析数据，以得到并分析库元数据、表元数据、字段元数据、分区元数据，据以生成技术元数据，根据解析数据的操作类型，确认当前数据操作类型；
[0018]S23、根据SQL解析技术元数据模块，执行预置SQL逻辑，以对技术元数据进行输入表及输出表解析，据以构建数据血缘模型。
[0019]本专利技术采用元数据自动采集、动态感知的方式，实现元数据增量更新，自动发现元数据变更信息，保存不同版本元数据，进行版本差异标记，实现版本自动化，减少人力干预。
[0020]在更具体的技术方案中，步骤S21包括：
[0021]S211、利用预置CDC工具检测并捕获预置元数据存储库的变化数据，并按时序记录变化数据的特定指标，以得到CDC检测并捕获的数据内容，其中，特定指标包括：DML(数据操作语言，Data Manipulation Language)和DDL(数据库定义语言，Data definition Language)；
[0022]S212、反序列化处理CDC检测并捕获的数据内容，据以从预置结构体中获取库表名称、数据内容以及操作类型，将库表名称、数据内容以及操作类型写入到消息中间件kafka，
以提供下游Flink程序。
[0023]在更具体的技术方案中，步骤S3包括：
[0024]S31、根据技术元数据选择业务元数据标签形式，据以关联技术元数据与业务元数据，以对技术元数据赋能，得到技术业务关联元数据；
[0025]S32、根据技术业务关联元数据以及单一数据层面关键词，利用数据血缘模型进行搜索，以得到元数据血缘分析数据、元数据影响分析数据以及全链路分析数据；
[0026]S33、利用预置显示工具，图形化展现元数据血缘分析数据、元数据影响分析数据以及全链路分析数据。
[0027]本专利技术通过技术元数据选择业务元数据标签的形式，将技术元数据与业务元数据进行表关联，使技术元数据被赋予业务含义，为技术元数据赋能，使得元数据兼备业务属性和技术属性。
[0028]在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.锂电池生产制造业元数据管理方法，其特征在于，所述方法包括：S1、收集、整理并记录业务元数据；S2、通过预置技术元数据采集模块，配置应用系统连接信息，据以动态化采集所述技术元数据，利用SQL解析技术元数据模块解析获取数据血缘模型；S3、对所述业务元数据与所述技术元数据进行关联操作，对所述技术元数据被赋予业务含义，以得到技术业务关联元数据，据以利用所述数据血缘模型进行全链路搜索，以得到并展示元数据分析数据，其中，所述元数据分析数据包括：元数据血缘分析数据、元数据影响分析数据以及全链路分析数据；S4、获取并根据管理元数据，从不少于2种差异维度，分析所述技术业务关联元数据，以构建得到数据全景地图，基于所述管理元数据，划定特定用户的查询权限。2.根据权利要求1所述的锂电池生产制造业元数据管理方法，其特征在于，所述步骤S1中，利用预置业务元数据模型处理所述业务元数据，所述业务元数据模型的id包括：自增id。3.根据权利要求1所述的锂电池生产制造业元数据管理方法，其特征在于，所述步骤S1包括：根据已记录的所述业务元数据，更新版本状态数据。4.根据权利要求1所述的锂电池生产制造业元数据管理方法，其特征在于，所述步骤S2包括：S21、利用所述预置技术元数据采集模块，提供统一入口，据以对接不同种类的数据源，动态监听所述数据源，以得到动态感知数据，利用预置CDC检测工具捕获元数据存储库变动，通过Flink程序解析所述元数据存储库变动，以得到并发送元数据变动解析数据至消息中间件Kafka中，供下游订阅消费；S22、利用下游Flink程序实时消费所述解析数据，以得到并分析库元数据、表元数据、字段元数据、分区元数据，据以生成所述技术元数据，根据所述解析数据的操作类型，确认当前数据操作类型；S23、利用所述SQL解析技术元数据模块，执行预置SQL逻辑，以对所述技术元数据进行输入表及输出表解析，据以构建所述数据血缘模型。5.根据权利要求1所述的锂电池生产制造业元数据管理方法，其特征在于，所述步骤S21包括：S211、利用所述预置CDC工具检测并捕获预置元数据存储库的变化数据，并按时序记录所述变化数据的特定指标，以得到CDC检测并捕获的数据内容，其中，所述特定指标包括：DML和DDL；S212、反序列化处理所述CDC检测并捕获的数据内容，据以从预置结构体中获取库表名称、数据内容以及操作类型，将所述库表名称、所述数据内容以及所述操作类型写入到消息中间件kafka，以提供所述下游Flink程序。6.根据权利要求1所述的锂电池生产制造业元数据管理方法，其特征在于，所述步骤S3包括：S31、根据所述技术元数据选择业务元数据标签形式...

【专利技术属性】
技术研发人员：丁时坤，徐嘉文，秦天，徐永健，
申请(专利权)人：合肥国轩高科动力能源有限公司，
类型：发明
国别省市：