数据处理方法技术

本申请实施例提供一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置及设备


[0001]本申请实施例涉及大数据
，尤其涉及一种数据处理方法
、
装置及设备
。

技术介绍

[0002]企业可以对多个业务数据进行分类汇总处理，并根据各分类对多个业务数据进行存储，以使工作人员可以快速根据各分类获取对应的业务数据
。
[0003]在相关技术中，可以通过如下方式进行数据处理：确定多个待处理的业务数据以及多个待处理的业务数据对应的至少一个字段类型
。
确定至少一个字段类型对应的数据表，并将多个待处理的业务数据按照至少一个类型导入对应的数据表，得到至少一个目标数据表
。
在上述过程中，将多个待处理的业务数据手动导入对应的数据表，且由于网络带宽
、
服务器处理能力等因素，大批量数据导入的速度较慢，导致数据处理的效率较低
。

技术实现思路

[0004]本申请实施例提供一种数据处理方法
、
装置及设备，用以解决数据处理效率较低的问题
。
[0005]第一方面，本申请实施例提供一种数据处理方法，包括：获取数据处理请求，所述数据处理请求包括至少一个业务数据
、
以及第一数据表，所述业务数据包括至少一个字段，所述第一数据表中包括至少一个目标字段类型；针对任意一个业务数据，确定所述业务数据中各字段的字段类型；根据所述至少一个业务数据中各字段的字段类型
、
以及所述至少一个目标字段类型，将所述至少一个业务数据插入所述第一数据表中，得到第二数据表；对所述第二数据表进行去重处理和校验处理，得到目标数据表，并将所述目标数据表存储至数据库中，所述目标数据表包括所述至少一个目标字段类型
、
以及所述至少一个目标字段类型对应的至少一个目标字段，所述数据库为内存数据库
。
[0006]在一种可能的实施方式中，根据所述至少一个业务数据中各字段的字段类型
、
以及所述至少一个目标字段类型，将所述至少一个业务数据插入所述第一数据表中，得到第二数据表，包括：在所述至少一个业务数据中各字段的字段类型中，确定与所述至少一个目标字段类型匹配的至少一个待选字段类型；根据所述至少一个待选字段类型，在所述至少一个业务数据中确定至少一个目标字段；将所述至少一个目标字段插入所述第一数据表，得到所述第二数据表
。
[0007]在一种可能的实施方式中，根据所述至少一个待选字段类型，在所述至少一个业务数据中确定至少一个目标字段，包括：获取每个待选字段类型对应的预设字段长度和预设字段格式；在所述至少一个业务数据中确定每个待选字段类型对应的待选字段
、
以及每个待
选字段的字段长度和字段格式；针对任意一个待选字段，若所述待选字段的字段长度与所述预设字段长度匹配
、
且所述待选字段的字段格式与所述预设字段格式匹配，则将所述待选字段确定为所述目标字段
。
[0008]在一种可能的实施方式中，针对任意一个目标字段；将所述目标字段插入所述第一数据表，包括：在所述第一数据表中确定所述目标字段对应的目标字段类型；根据所述目标字段类型，在所述第一数据表中确定目标位置，并将所述目标字段插入至所述目标位置
。
[0009]在一种可能的实施方式中，对所述第二数据表进行去重处理和校验处理，得到所述目标数据表，包括：在所述数据库中获取与所述第二数据表中的至少一个目标字段类型匹配的多个待选数据表；根据所述多个待选数据表，对所述第二数据表进行去重处理，得到第三数据表；对所述第三数据表进行校验处理，得到所述目标数据表
。
[0010]在一种可能的实施方式中，根据所述多个待选数据表，对所述第二数据表进行去重处理，得到第三数据表，包括：针对任意一个待选数据表，在所述第二数据表中确定与所述待选数据表相同的至少一个组合字段，所述组合字段包括所述第二数据表中每个目标字段类型对应的目标字段；在所述第二数据表中，对所述至少一个组合字段进行删除处理，得到所述第三数据表
。
[0011]在一种可能的实施方式中，对所述第三数据表进行校验处理，得到所述目标数据表，包括：获取至少一个校验规则，所述校验规则用于确定各字段是否有效；根据所述至少一个校验规则，对所述第三数据表中的各目标字段进行校验处理，得到校验结果；根据所述校验结果和所述第三数据表，确定所述目标数据表
。
[0012]在一种可能的实施方式中，根据所述校验结果和所述第三数据表，确定所述目标数据表，包括：若所述校验结果为校验通过，则将所述第三数据表确定为所述目标数据表；若所述校验结果为校验不通过，则根据所述校验结果，在所述第三数据表中确定至少一个无效字段，并对所述至少一个无效字段进行删除处理，得到所述目标数据表
。
[0013]在一种可能的实施方式中，所述方法还包括：获取数据查询请求，所述数据查询请求包括所述至少一个目标字段类型；根据所述数据查询请求，在所述数据库中获取所述至少一个目标字段类型对应的至少一个目标字段；向预设设备发送所述至少一个目标字段类型
、
以及每个字段类型对应的至少一个目标字段
。
[0014]第二方面，本申请实施例提供一种数据处理装置，所述装置包括：获取模块，用于获取数据处理请求，所述数据处理请求包括至少一个业务数据
、
以及第一数据表，所述业务数据包括至少一个字段，所述第一数据表中包括至少一个目标字段类型；确定模块，用于针对任意一个业务数据，确定所述业务数据中各字段的字段类型；插入模块，用于根据所述至少一个业务数据中各字段的字段类型
、
以及所述至少一个目标字段类型，将所述至少一个业务数据插入所述第一数据表中，得到第二数据表；处理模块，用于对所述第二数据表进行去重处理和校验处理，得到目标数据表，并将所述目标数据表存储至数据库中，所述目标数据表包括所述至少一个目标字段类型
、
以及所述至少一个目标字段类型对应的至少一个目标字段，所述数据库为内存数据库
。
[0015]在一种可能的实施方式中，所述插入模块具体用于：在所述至少一个业务数据中各字段的字段类型中，确定与所述至少一个目标字段类型匹配的至少一个待选字段类型；根据所述至少一个待选字段类型，在所述至少一个业务数据中确定至少一个目标字段；将所述至少一个目标字段插入所述第一数据表，得到所述第二数据表
。
[0016]在一种可能的实施方式中，所述插入模块具体用于：获取每个待选字段类型对应的预设字段长度和预设字段格式；在所述至少一个业务数据中确定每个待选字段类型对应的待选字段
、
以及每个待选字段的字段长度和字段格式；针对任意一个待选字段，若所述待选字段的字段长度与所述预设字段长度匹配
、
且所述待选字段的字段格式与所述预设字段格式匹配，则将所述待选字段确定为所述目标字段
。...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：获取数据处理请求，所述数据处理请求包括至少一个业务数据
、
以及第一数据表，所述业务数据包括至少一个字段，所述第一数据表中包括至少一个目标字段类型；针对任意一个业务数据，确定所述业务数据中各字段的字段类型；根据所述至少一个业务数据中各字段的字段类型
、
以及所述至少一个目标字段类型，将所述至少一个业务数据插入所述第一数据表中，得到第二数据表；对所述第二数据表进行去重处理和校验处理，得到目标数据表，并将所述目标数据表存储至数据库中，所述目标数据表包括所述至少一个目标字段类型
、
以及所述至少一个目标字段类型对应的至少一个目标字段，所述数据库为内存数据库
。2.
根据权利要求1所述的方法，其特征在于，根据所述至少一个业务数据中各字段的字段类型
、
以及所述至少一个目标字段类型，将所述至少一个业务数据插入所述第一数据表中，得到第二数据表，包括：在所述至少一个业务数据中各字段的字段类型中，确定与所述至少一个目标字段类型匹配的至少一个待选字段类型；根据所述至少一个待选字段类型，在所述至少一个业务数据中确定至少一个目标字段；将所述至少一个目标字段插入所述第一数据表，得到所述第二数据表
。3.
根据权利要求2所述的方法，其特征在于，根据所述至少一个待选字段类型，在所述至少一个业务数据中确定至少一个目标字段，包括：获取每个待选字段类型对应的预设字段长度和预设字段格式；在所述至少一个业务数据中确定每个待选字段类型对应的待选字段
、
以及每个待选字段的字段长度和字段格式；针对任意一个待选字段，若所述待选字段的字段长度与所述预设字段长度匹配
、
且所述待选字段的字段格式与所述预设字段格式匹配，则将所述待选字段确定为所述目标字段
。4.
根据权利要求2或3所述的方法，其特征在于，针对任意一个目标字段；将所述目标字段插入所述第一数据表，包括：在所述第一数据表中确定所述目标字段对应的目标字段类型；根据所述目标字段类型，在所述第一数据表中确定目标位置，并将所述目标字段插入至所述目标位置
。5.
根据权利要求1‑3任一项所述的方法，其特征在于，对所述第二数据表进行去重处理和校验处理，得到所述目标数据表，包括：在所述数据库中获取与所述第二数据表中的至少一个目标字段类型匹配的多个待选数据表；根据所述多个待选数据表，对所述第二数据表进行去重处理，得到第三数据表；对所述第三数据表进行校验处理，得到所述目标数据表
。6.
根据权利要求5所述的方法，其特征在于，根据所述多个待选数据表，对所述第二数据表进行去重处理，得到第三数据表，包括：针对任意一个待选数据表，在...

【专利技术属性】
技术研发人员：逯长松，翁钰婷，孙雪威，
申请(专利权)人：中国人民财产保险股份有限公司，
类型：发明
国别省市：