锂电池成品检测数据资产构建方法技术

本发明专利技术公开一种锂电池成品检测数据资产构建方法，包括采集锂电池成品测试数据；采用flink工具将所述测试数据写入Hudi数据湖生成Hudi数仓的同时同步到Hive数据库，生成Hive表，所述Hive表与所述Hudi数仓的表和字段属性同步；在所述Hive表中新增字段及注释信息，生成所述Hudi数仓同步到所述Hive数据库的结果表；将所述Hudi数仓中加工所述测试数据生成的表数据对应同步到所述结果表，生成所述测试数据的血缘关系；采用Atlas工具记录所述测试数据的血缘关系；本发明专利技术适合于实时分析和交互式查询，能够实现较低的查询延迟，满足锂电池成品检测数据处理时间严格的要求。品检测数据处理时间严格的要求。品检测数据处理时间严格的要求。

【技术实现步骤摘要】
锂电池成品检测数据资产构建方法


[0001]本专利技术涉及数据管理
，具体涉及一种锂电池成品检测数据资产构建方法。

技术介绍

[0002]随着电动汽车等新兴市场的快速发展，锂电池已经成为了能源领域的重要组成部分，在生产过程中，为了保证锂电池的品质和安全，需要进行成品检测。在锂电池成品多方位检测过程中，产生了大量的测试数据，数据被认为是一项重要的企业资产，能够给企业带来价值。在工业生产中，分析师可通过采购、生产、测试、销售等方式拥有并控制数据资源，并且可以通过加工数据、分析数据或提供数据来优化工业生产良品率。数据资源是能给工业生产为主体带来预期经济利益或产生服务潜力的资源，面对锂电池成品测试的不同测试步骤的数据及各种杂乱无章的指标参数，需要将其转换成有价值资产，通过分析和挖掘海量的数据，快速准确地检测出锂电池中的问题，提高生产效率和产品品质。
[0003]数据资产管理是提升数据分析实用价值的重要指标，在构建数据资产时，需要从成品检测需求场景以及减少故障率目标出发，提供更快速找到数据，以及更方便维护资产信息的能力，同时为锂电池不同业务域的数据管理提供指引方向。而构建数据资产的应用场景可以概况为两类：
[0004](1)找数据：主要是数据分析业务人员，基于数仓加工好的数据进行分析、应用。面对杂乱无章的数据，需要数据技术人员先对数据进行分库分表存入mysql，大把时间花在整理字段上面，业务分析人员工作需要询问技术人员或者查看提供的数据库文档，有时候业务逻辑虽然正确，但是某条异常数据导致结果偏差，业务人员花很大精力解决技术上的问题，而且由于没有一个可视化数据资产工具，新来的业务分析人员又要重复这些步骤。
[0005]为了解决不知道所需要数据在哪里，可以通过元数据管理Atlas工具收集不同的库+表+字段信息，使用数据血缘关系发现表与表之间逻辑，比如公布号为CN111813796A的专利申请文献中提出的基于Hive数据仓库的数据列级血缘处理方法。但Atlas框架目前只能采集Hive数据库，Hive通常用于批量查询和大规模数据转换，它将查询转换为MapReduce或Tez作业，并按照批量方式处理数据，查询性能相对较慢，不适合实时分析和交互式查询，而成品检测数据处理对数据处理时间要求比较严格。
[0006](2)管数据：主要是数据开发者，目标是让数据可以更安全地被更多人复用。但由于锂电池成品测试仪器种类多/数据复用低，当资产新增较多时，无法快速搜索想要的结果。

技术实现思路

[0007]本专利技术所要解决的技术问题在于如何提供一种适应于锂电池成品检测数据的资产构建方法。
[0008]本专利技术通过以下技术手段解决上述技术问题的：
[0009]提出了一种锂电池成品检测数据资产构建方法，所述方法包括：
[0010]采集锂电池成品测试数据；
[0011]采用flink工具将所述测试数据写入Hudi数据湖生成Hudi数仓的同时同步到Hive数据库，生成Hive表，所述Hive表与所述Hudi数仓的表和字段属性同步；
[0012]在所述Hive表中新增字段及注释信息，生成所述Hudi数仓同步到所述Hive数据库的结果表；
[0013]将所述Hudi数仓中加工所述测试数据生成的表数据对应同步到所述结果表，生成所述测试数据的血缘关系；
[0014]采用Atlas工具记录所述测试数据的血缘关系。
[0015]进一步地，所述在所述Hive表中新增字段及注释信息，生成所述Hudi数仓同步到所述Hive数据库的结果表，包括：
[0016]在所述Hive表新增表注释、字段注释、字段以及hdfs地址，生成所述Hudi数仓同步到所述Hive数据库的结果表；
[0017]其中，所述表注释为所述Hudi数仓中数据表的注释，所述字段注释为所述Hudi数仓中数据表的字段注释；
[0018]所述字段包括Hudi提交时间、Hudi序列、Hudi主键、Hudi分区以及Hudi文件名。
[0019]进一步地，所述将所述Hudi数仓中加工所述测试数据生成的表数据对应同步到所述结果表，生成所述测试数据的血缘关系，包括：
[0020]将所述Hudi数仓分层的加工sql转换成Hive
‑
sql；
[0021]在所述Hudi数仓中加工所述测试数据生成表数据，并根据Hive
‑
sql指定表数据同步到所述Hive数据库的结果表，生成所述测试数据的血缘关系。
[0022]进一步地，所述结果表为明细层的宽表。
[0023]进一步地，在所述采用Atlas工具记录所述测试数据的血缘关系之后，所述方法还包括：
[0024]删除所述结果表中的数据。
[0025]进一步地，在所述将所述Hudi数仓中加工所述测试数据生成的表数据对应同步到所述结果表，生成所述测试数据的血缘关系之后，所述方法还包括：
[0026]对存在关联的测试数据，建立数据血缘关系图；
[0027]采用Atlas工具记录所述数据血缘关系图，以用于追踪锂电池生产过程中各环节的测试数据。
[0028]进一步地，所述方法还包括：
[0029]在所述Atlas工具中添加与锂电池成品测试流程对应的数据资产类型，所述数据资产类型包括原材料测试数据资产、电芯组装测试数据资产、成品测试数据资产以及电池组装测试数据资产。
[0030]进一步地，在所述采用Atlas工具记录所述测试数据的血缘关系之后，所述方法还包括：
[0031]Atlas工具开启consumer消费消息，基于所述测试数据的血缘关系确定参数索引的数据类型，并存储所述参数索引；
[0032]对所述测试数据进行数据聚合处理，并汇集到ES搜索引擎；
[0033]采用基于ES的数据检索技术按照所述参数索引，查询锂电池生产过程中各环节的测试数据。
[0034]进一步地，在所述采集锂电池成品测试数据之后，所述方法还包括：
[0035]对所述测试数据进行预处理，得到预处理后的数据；
[0036]从所述预处理后的数据中提取与电池性能相关的参数作为特征数据，并基于所述特征数据进行资产构建。
[0037]进一步地，所述方法还包括：
[0038]根据个人工作台配置不同角色用户的工作空间；
[0039]为不同的工作空间分配相应的权限，以用于根据用户的角色和权限来展示对应的数据资产视图。
[0040]本专利技术的优点在于：
[0041](1)由于hive客户端加工表实时性差，不建议长期运行任务，不适用锂电池成品测试数据的处理，而在非hive数仓加工的表无法在Atlas看到数据之间的血缘依赖关系，为了解决外部Hudi数仓加工过程生成数据血缘展示，本专利技术建立Hudi同步到Hive的结果表，通过Hive数仓一次性加工生成血缘后再正常在Hudi数仓跑任务输出到Hive结果表的方式，使得Hudi数仓加工生成的表数据可以正本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种锂电池成品检测数据资产构建方法，其特征在于，所述方法包括：采集锂电池成品测试数据；采用flink工具将所述测试数据写入Hudi数据湖生成Hudi数仓的同时同步到Hive数据库，生成Hive表，所述Hive表与所述Hudi数仓的表属性和字段属性同步；在所述Hive表中新增字段及注释信息，生成所述Hudi数仓同步到所述Hive数据库的结果表；将所述Hudi数仓中加工所述测试数据生成的表数据对应同步到所述结果表，生成所述测试数据的血缘关系；采用Atlas工具记录所述测试数据的血缘关系。2.如权利要求1所述的锂电池成品检测数据资产构建方法，其特征在于，所述在所述Hive表中新增字段及注释信息，生成所述Hudi数仓同步到所述Hive数据库的结果表，包括：在所述Hive表新增表注释、字段注释、字段以及hdfs地址，生成所述Hudi数仓同步到所述Hive数据库的结果表；其中，所述表注释为所述Hudi数仓中数据表的注释，所述字段注释为所述Hudi数仓中数据表的字段注释；所述字段包括Hudi提交时间、Hudi序列、Hudi主键、Hudi分区以及Hudi文件名。3.如权利要求1所述的锂电池成品检测数据资产构建方法，其特征在于，所述将所述Hudi数仓中加工所述测试数据生成的表数据对应同步到所述结果表，生成所述测试数据的血缘关系，包括：将所述Hudi数仓分层的加工sql转换成Hive
‑
sql；在所述Hudi数仓中加工所述测试数据生成表数据，并根据Hive
‑
sql指定表数据同步到所述Hive数据库的结果表，生成所述测试数据的血缘关系。4.如权利要求1所述的锂电池成品检测数据资产构建方法，其特征在于，所述结果表为明细层的宽表。5.如权利要求1所述的锂电池成品检测数据资产构建方法，其特征在于，在...

【专利技术属性】
技术研发人员：徐永健，徐嘉文，李彬，丁时坤，
申请(专利权)人：合肥国轩高科动力能源有限公司，
类型：发明
国别省市：