一种异常数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种异常数据处理方法、装置、电子设备及存储介质。该方法包括：获取待处理数据、表结构和异常规则库，其中，待处理数据包括多个字段数据，表结构根据待处理数据预定义生成，表结构包括多个字段名称和每个字段名称对应的第一数据类型，异常规则库包括多种第二数据类型分别对应的异常类型；根据表结构确定每一字段数据对应的第一数据类型；利用异常规则库对多个字段数据分别对应的第一数据类型进行异常校验，确定异常字段数据；对异常字段数据进行数据处理操作。通过表结构预定义和异常规则库，实现了数据入库前的数据处理操作，提高了数据处理的速率，保证了数据质量。保证了数据质量。保证了数据质量。

【技术实现步骤摘要】
一种异常数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及大数据处理领域，具体而言，涉及一种异常数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]现如今，随着信息技术的发展，在海量大数据存储和计算过程中，数据质量越来越引起工程师的重视，尤其是在数据高度敏感的行业，数据工程师需要花费很多精力处理数据质量引起的各种问题，例如：数据类型、非法字符以及精度问题。
[0003]为了解决如上问题，常规的做法是：通过开发人员对这些问题进行特殊处理，包括写sql去逐个替换表中的特殊字符，同时也会采用一些数据质量校验工具(Apache Griffin)检测数据中存在的各种异常，并根据校验结果处理异常数据。

技术实现思路

[0004]本申请实施例的目的在于提供一种异常数据处理方法、电子设备及存储介质，用以提高数据处理的效率。
[0005]第一方面，本申请实施例提供一种异常数据处理方法，所述方法包括：获取待处理数据、表结构和异常规则库，其中，所述待处理数据包括多个字段数据，所述表结构根据所述待处理数据预定义生成，所述表结构包括多个字段名称和每个所述字段名称对应的第一数据类型，所述异常规则库包括多种第二数据类型分别对应的异常类型；根据所述表结构确定每一所述字段数据对应的第一数据类型；利用所述异常规则库对所述多个字段数据分别对应的第一数据类型进行异常校验，确定异常字段数据；对所述异常字段数据进行数据处理操作。
[0006]本申请实施例中，通过异常规则库对待处理数据中的多个字段数据分别对应的第一数据类型进行校验，确定其中的异常字段数据并对异常字段数据进行数据处理操作，免去了重复扫表获取异常数据进行处理的过程，实现了数据入库前的数据处理操作，提高了数据处理的速率，保证了数据质量。
[0007]进一步地，所述待处理数据中相同字段名称对应的字段数据对应一列数据列，所述利用所述异常规则库对所述多个字段数据进行异常校验，确定异常字段数据和对应的异常类型，包括：从所述异常规则库中确定与所述字段数据对应的第一数据类型相同的目标第二数据类型，并根据所述目标第二数据类型获得对应的目标异常类型；分别将每列数据列中的字段数据与所述目标异常类型进行比对，从所述每列数据列中筛选出符合所述目标异常类型对应的异常字段数据。
[0008]本申请实施例中，由于待处理数据中相同字段名称对应的字段数据对应一列数据列，从异常规则库中确定与字段数据对应的第一数据类型相同的目标第二数据类型，根据第二数据类型可以确定对应的目标异常类型，然后将每列数据列中的字段数据与对应的目标异常类型进行比对，筛选符合每种目标异常类型对应的异常字段数据，从而确定了每列
数据列中的异常字段数据，便于后续的异常数据分类处理工作。
[0009]进一步地，所述异常规则库中还包括多个预先定义的修正默认值，每个所述修正默认值和所述异常类型对应，所述对所述异常字段数据进行数据处理操作，包括：根据所述异常字段数据对应的目标异常类型将所述异常字段数据修改为对应的修正默认值。
[0010]本申请实施例中，由于异常规则库中还包括多个修正默认值，每个修正默认值与对应的目标异常类型进行对应，通过每个异常字段数据对应的异常类型可以将该异常字段数据修改为异常规则库中该目标异常类型对应的修正默认值，根据符合目标异常类型的异常字段数据的筛选情况，实现了对于异常字段数据的分类处理。
[0011]进一步地，所述异常规则库中还包括一个或多个预先定义的自定义修正值，所述自定义修正值与所述字段名称对应，所述对所述异常字段数据进行数据处理操作，包括：根据每列数据列对应的字段名称分别将所述每列数据列中的异常字段数据修改为对应的自定义修正值。
[0012]本申请实施例中，由于异常规则库中还包括预先设定的自定义修正值，该自定义修正值与字段名称对应，根据每列数据列对应的字段名称可以确定在异常规则库中设定的与该字段名称对应的自定义修正值，然后根据每列数据列对应的字段名称将该列数据列中的异常字段数据修改为对应的自定义修正值，通过自定义修正值的方式，实现了根据字段名称的自定义修改方式，使数据处理功能更加丰富。
[0013]进一步地，在根据所述异常类型对所述待处理数据进行数据处理操作之后，所述方法还包括：将对所述异常字段数据的处理操作记录在操作日志中。
[0014]本申请实施例中，在对待处理数据进行数据处理操作之后，通过将对待处理数据中的异常字段数据的处理操作记录在操作日志中，有利于及时记录待处理数据的异常情况和处理情况，方便后续的异常查询工作。
[0015]进一步地，所述方法还包括：在所述异常规则库中增添新的第二数据类型、对应的异常类型和所述异常类型对应的修正默认值。
[0016]本申请实施例中，通过在异常规则库中增添新的第二数据类型、对应的异常类型和异常类型对应的修正默认值，可以进一步丰富异常规则库的功能，能够在待处理数据中筛选出更多符合对应异常类型的异常字段数据并对其修改，实现了异常规则库根据业务项目进行自定义配置，从而使异常规则库更加个性化。
[0017]进一步地，所述对所述异常字段数据进行数据处理操作之后，所述方法还包括：将处理后的待处理数据存储到所述表结构中。
[0018]本申请实施例中，通过将处理后的待处理数据存储到表结构中，实现了待处理数据的存储，从而可以直接从表结构中读取相关数据进行数据分析，保证了数据的持久化。
[0019]第二方面，本申请实施例一种异常数据处理装置，包括：获取模块，用于获取待处理数据、表结构和异常规则库，其中，所述待处理数据包括多个字段数据，所述表结构根据所述待处理数据预定义生成，所述表结构包括多个字段名称和每个所述字段名称对应的第一数据类型，所述异常规则库包括多种第二数据类型分别对应的异常类型；数据类型确定模块，用于根据所述表结构确定每一所述字段数据对应的第一数据类型；异常校验模块，用于利用所述异常规则库对所述多个字段数据分别对应的第一数据类型进行异常校验，确定异常字段数据。
[0020]第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的交互；
[0021]所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。
[0022]第四方面，本申请实施例提供一种计算机可读存储介质，包括：
[0023]所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。
[0024]本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0025]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常数据处理方法，其特征在于，包括：获取待处理数据、表结构和异常规则库，其中，所述待处理数据包括多个字段数据，所述表结构根据所述待处理数据预定义生成，所述表结构包括多个字段名称和每个所述字段名称对应的第一数据类型，所述异常规则库包括多种第二数据类型分别对应的异常类型；根据所述表结构确定每一所述字段数据对应的第一数据类型；利用所述异常规则库对所述多个字段数据分别对应的第一数据类型进行异常校验，确定异常字段数据；对所述异常字段数据进行数据处理操作。2.根据权利要求1所述的方法，其特征在于，所述待处理数据中相同字段名称对应的字段数据对应一列数据列，所述利用所述异常规则库对所述多个字段数据进行异常校验，确定异常字段数据和对应的异常类型，包括：从所述异常规则库中确定与所述字段数据对应的第一数据类型相同的目标第二数据类型，并根据所述目标第二数据类型获得对应的目标异常类型；分别将每列数据列中的字段数据与所述目标异常类型进行比对，从所述每列数据列中筛选出符合所述目标异常类型对应的异常字段数据。3.根据权利要求2所述的方法，其特征在于，所述异常规则库中还包括多个预先定义的修正默认值，每个所述修正默认值和所述异常类型对应，所述对所述异常字段数据进行数据处理操作，包括：根据所述异常字段数据对应的目标异常类型将所述异常字段数据修改为对应的修正默认值。4.根据权利要求2所述的方法，其特征在于，所述异常规则库中还包括一个或多个预先定义的自定义修正值，所述自定义修正值与所述字段名称对应，所述对所述异常字段数据进行数据处理操作，包括：根据每列数据列对应的字段名称分别将所述每列数据列中的异常字段数据修改为对应的自定义修正值。5.根据权利...

【专利技术属性】
技术研发人员：陈星宇，陈佛林，高斌，黄雷，
申请(专利权)人：成都新希望金融信息有限公司，
类型：发明
国别省市：