【技术实现步骤摘要】
本申请属于大数据，具体涉及一种数据标准化方法、装置、计算机设备及存储介质。
技术介绍
1、在当今这个以数据为驱动的时代，数据建模已成为企业核心竞争力的重要组成部分。数据建模不仅通过定义数据结构、关系及规则，显著提升数据的一致性和准确性，确保数据质量达到决策所需的标准。更重要的是，精准的数据模型能够洞察业务运行的深层逻辑，将复杂的数据转化为直观的信息图表，帮助决策者快速捕捉市场趋势、识别潜在风险与机遇，从而制定出更加科学、高效的业务策略，推动企业的可持续发展。
2、当前，现有数据标准化技术在处理多源数据时，常采用预配置处理引擎，每处理一条数据均需遍历庞大规则集以匹配最佳处理方案，该方法在处理海量数据时效率低下，特别是在高并发环境下，性能瓶颈尤为突出。这不仅限制了数据处理的速度，也影响了数据标准化的实时性和系统整体的响应能力。
技术实现思路
1、本申请实施例的目的在于提出一种数据标准化方法、装置、计算机设备及存储介质，提供一种数据标准化方案，旨在提高规则匹配效率与并发处理能力，确保大规模数据快速、准确地标准化。
2、为了解决上述技术问题，本申请实施例提供一种数据标准化方法，采用了如下所述的技术方案：
3、一种数据标准化方法，包括：
4、获取待处理数据，并识别待处理数据的数据结构；
5、根据所述待处理数据的数据结构确定适配的数据表模板和数据处理规则；
6、基于所述数据处理规则构建数据标准化处理引擎；
7、
8、将所述标准化数据导入所述数据表模板，得到标准化数据表格，并对所述标准化数据表格进行存储和输出。
9、进一步地，所述数据处理规则包括数据清洗规则、数据抽取规则和数据归一化处理规则，所述使用所述数据标准化处理引擎对所述待处理数据进行标准化处理，得到标准化数据的步骤，具体包括：
10、使用所述数据清洗规则对所述待处理数据进行数据清洗；
11、使用所述数据抽取规则对清洗后的所述待处理数据进行数据实体和实体关系抽取；
12、使用所述数据归一化处理规则对抽取到的数据实体和实体关系进行数据归一化处理，得到所述标准化数据。
13、进一步地，所述数据表模板包括数据输出表模板和数据存储表模板，所述将所述标准化数据导入所述数据表模板，得到标准化数据表格，并对所述标准化数据表格进行存储和输出的步骤，具体包括：
14、将所述标准化数据表格导入所述数据输出表模板，得到标准化数据输出表；
15、将所述标准化数据输出表输出至用户终端；
16、将所述标准化数据表格导入所述数据存储表模板，得到标准化数据存储表；
17、将所述标准化数据存储表存储至预设的标准化数据存储库中。
18、进一步地，所述基于所述数据处理规则构建数据标准化处理引擎的步骤，具体包括：
19、分别对所述数据清洗规则、所述数据抽取规则和所述数据归一化处理规则进行模块化封装，得到数据清洗模块、数据抽取模块和数据归一化处理模块；
20、搭建处理引擎环境，并将所述数据清洗模块、所述数据抽取模块和所述数据归一化处理模块安装到所述处理引擎环境中，得到所述数据标准化处理引擎。
21、进一步地，在所述获取待处理数据，并识别待处理数据的数据结构的步骤之前，还包括：
22、从多源数据库中获取历史数据，得到第一历史数据，其中，所述第一历史数据包括从预设不同数据源中获得的数据；
23、获取所述第一历史数据对应的第一历史标准化数据，并识别所述第一历史标准化数据的数据信息，所述数据信息包括标准化的字段名称、字段注释、字段类型、字段长度、字段精度、字段码表和字段安全等级；
24、根据所述第一历史标准化数据的数据信息定义所述第一历史数据的数据表模板。
25、进一步地，在所述根据所述第一历史标准化数据的数据信息定义所述第一历史数据的数据表模板的步骤之后，还包括：
26、获取所述第一历史标准化数据对应的标准化处理程序，得到第一标准化处理程序，其中，所述第一标准化处理程序包括数据清洗程序、数据抽取程序和数据归一化处理程序；
27、从所述数据清洗程序中获取历史数据清洗规则；
28、从所述数据抽取程序中获取历史数据抽取规则；
29、从所述数据归一化处理程序中获取历史数据归一化处理规则；
30、整合所述历史数据清洗规则、所述历史数据抽取规则和所述历史数据归一化处理规则，得到所述数据处理规则。
31、进一步地，在所述根据所述第一历史标准化数据的数据信息定义所述第一历史数据的数据表模板的步骤之后，还包括：
32、对所述多源数据库的数据对接接口进行监测；
33、当所述数据对接接口接入新数据源时，获取所述新数据源的历史数据，得到第二历史数据；
34、获取所述第二历史数据对应的标准化处理程序，得到第二标准化处理程序；
35、执行所述第二标准化处理程序以对所述第二历史数据进行处理，得到第二历史标准化数据；
36、识别所述第二历史标准化数据的数据信息，并根据所述第二历史标准化数据的数据信息定义所述第二历史数据的数据表模板。
37、为了解决上述技术问题，本申请实施例还提供一种数据标准化装置，采用了如下所述的技术方案：
38、一种数据标准化装置，包括：
39、结构识别模块，用于获取待处理数据，并识别待处理数据的数据结构；
40、模板规则模块，用于根据所述待处理数据的数据结构确定适配的数据表模板和数据处理规则；
41、处理引擎模块，用于基于所述数据处理规则构建数据标准化处理引擎；
42、标准化处理模块，用于使用所述数据标准化处理引擎对所述待处理数据进行标准化处理，得到标准化数据；
43、存储输出模块，用于将所述标准化数据导入所述数据表模板，得到标准化数据表格，并对所述标准化数据表格进行存储和输出。
44、为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
45、一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述任一项所述的数据标准化方法的步骤。
46、为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
47、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述中任一项所述的数据标准化方法的步骤。
48、与现有技术相比，本申请实施例主要有以下有益效果：
49、本申请公开一种数据标准化方法、装置、计算机本文档来自技高网...
【技术保护点】
1.一种数据标准化方法，其特征在于，包括：
2.如权利要求1所述的数据标准化方法，其特征在于，所述数据处理规则包括数据清洗规则、数据抽取规则和数据归一化处理规则，所述使用所述数据标准化处理引擎对所述待处理数据进行标准化处理，得到标准化数据的步骤，具体包括：
3.如权利要求1所述的数据标准化方法，其特征在于，所述数据表模板包括数据输出表模板和数据存储表模板，所述将所述标准化数据导入所述数据表模板，得到标准化数据表格，并对所述标准化数据表格进行存储和输出的步骤，具体包括：
4.如权利要求2所述的数据标准化方法，其特征在于，所述基于所述数据处理规则构建数据标准化处理引擎的步骤，具体包括：
5.如权利要求4所述的数据标准化方法，其特征在于，在所述获取待处理数据，并识别待处理数据的数据结构的步骤之前，还包括：
6.如权利要求5所述的数据标准化方法，其特征在于，在所述根据所述第一历史标准化数据的数据信息定义所述第一历史数据的数据表模板的步骤之后，还包括：
7.如权利要求5所述的数据标准化方法，其特征在于，在所述根据所述第
8.一种数据标准化装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据标准化方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据标准化方法的步骤。
...【技术特征摘要】
1.一种数据标准化方法，其特征在于，包括：
2.如权利要求1所述的数据标准化方法，其特征在于，所述数据处理规则包括数据清洗规则、数据抽取规则和数据归一化处理规则，所述使用所述数据标准化处理引擎对所述待处理数据进行标准化处理，得到标准化数据的步骤，具体包括：
3.如权利要求1所述的数据标准化方法，其特征在于，所述数据表模板包括数据输出表模板和数据存储表模板，所述将所述标准化数据导入所述数据表模板，得到标准化数据表格，并对所述标准化数据表格进行存储和输出的步骤，具体包括：
4.如权利要求2所述的数据标准化方法，其特征在于，所述基于所述数据处理规则构建数据标准化处理引擎的步骤，具体包括：
5.如权利要求4所述的数据标准化方法，其特征在于，在所述获取待处理数据，并识别待处理数据的数据结构的步骤之前，还包括...
【专利技术属性】
技术研发人员：苏嘉豪，黄佳磊，刘世昀，
申请(专利权)人：平安健康保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。