数据文件校验方法、装置、电子设备及存储介质制造方法及图纸

本申请提供的数据文件校验方法、装置、电子设备及存储介质，应用于属于数据处理技术领域。接收客户端发送的至少两个业务类型的数据文件；通过所述业务类型相对应的业务校验引擎对所述数据文件进行校验，其中所述业务校验引擎至少包括：规则校验引擎、关联校验引擎；所述规则校验引擎用于对所述数据文件进行校验得到规则校验结果；所述关联校验引擎用于在所述规则校验结果为通过的情况下，通过关联校验引擎对所述数据文件和所述数据文件的关联数据进行校验，得到关联校验结果；在所述关联校验结果为通过的情况下，通过全局校验引擎对所述规则校验结果、所述关联校验结果进行校验，得到全局校验结果。到全局校验结果。到全局校验结果。

【技术实现步骤摘要】
数据文件校验方法、装置、电子设备及存储介质


[0001]本申请属于数据处理
，特别是涉及一种数据文件校验方法、装 置、电子设备及存储介质。

技术介绍

[0002]目前，年金是指企业及其员工在依法参加基本养老保险的基础上，自愿 建立的补充养老保险。年金包括企业缴费和员工个人缴费。年金也是一种较 好的投资安排，越来越多的企业参与年金计划。
[0003]而相关技术中，为了对年金业务进行有效综合的管理，企业往往设置有 年金受托系统，而年金受托系统在处理企业年金各业务数据时，往往是采用 一个校验引擎。
[0004]这样，由于年金受托系统仅使用一个校验引擎对数据文件进行处理，在 年金受托系统在处理大数据文件时，往往存在内存占用率过高、交叉校验耗 时较高等问题，从而导致大数据文件校验过程耗时较慢，使得系统的数据校 验效率被降低。

技术实现思路

[0005]有鉴于此，本申请实施例提出一种数据文件校验方法、装置、电子设备 及存储介质，用于解决相关年金受托系统大数据文件校验过程耗时较慢，使 得数据校验的效率被降低的技术问题。
[0006]本申请第一方面提供一种数据文件校验方法，所述方法包括：
[0007]接收客户端发送的至少两个业务类型的数据文件；
[0008]通过所述业务类型相对应的业务校验引擎对所述数据文件进行校验，其 中所述业务校验引擎至少包括：规则校验引擎、关联校验引擎；所述规则校 验引擎用于对所述数据文件进行校验得到规则校验结果；所述关联校验引擎 用于在所述规则校验结果为通过的情况下，通过关联校验引擎对所述数据文 件和所述数据文件的关联数据进行校验，得到关联校验结果；
[0009]在所述关联校验结果为通过的情况下，通过全局校验引擎对所述规则校 验结果、所述关联校验结果进行校验，得到全局校验结果。
[0010]依据本申请第二方面，提供一种数据文件校验装置，所述装置包括：
[0011]接收模块，被配置为接收客户端发送的至少两个业务类型的数据文件；
[0012]第一校验模块，被配置为通过所述业务类型相对应的业务校验引擎对所 述数据文件进行校验，其中所述业务校验引擎至少包括：规则校验引擎、关 联校验引擎；所述规则校验引擎用于对所述数据文件进行校验得到规则校验 结果；所述关联校验引擎用于在所述规则校验结果为通过的情况下，通过关 联校验引擎对所述数据文件和所述数据文件的关联数据进行校验，得到关联 校验结果；
[0013]第二校验模块，被配置为在所述关联校验结果为通过的情况下，通过全 局校验引擎对所述规则校验结果、所述关联校验结果进行校验，得到全局校 验结果。
[0014]依据本申请第三方面，提供一种计算机可读存储介质，所述计算机可读 存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述第一 方面所述的数据文件校验方法。
[0015]依据本申请第四方面，提供一种电子设备，包括处理器，存储器及存储 在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被 所述处理器执行时实现上述第一方面所述的数据文件校验方法。
[0016]针对相关技术，本申请具备如下优点：
[0017]本申请提供的一种数据文件校验方法、装置、电子设备及存储介质，在 接收到客户端发送的不同业务类型的数据文件时，通过所述业务类型相对应 的业务校验引擎对所述数据文件进行校验，由于各个业务校验引擎可以是并 行处理的，因此可以提高数据校验的效率；设置所述业务校验引擎至少包括： 规则校验引擎、关联校验引擎；通过规则校验引擎对所述数据文件进行校验， 以得到规则校验结果，并在所述规则校验结果为通过的情况下，通过关联校 验引擎对所述数据文件和所述数据文件的关联数据进行校验，得到关联校验 结果；由于各个规则校验引擎和关联校验引擎可以是并行处理的，因此可以 进一步加快业务校验引擎的处理速度，进而进一步提高数据校验的效率，这 样可以在部分大文件校验过程加快校验速度；最后，在所述关联校验结果为 通过的情况下，通过全局校验引擎对所述规则校验结果、所述关联校验结果 进行校验，可以确保各个规则校验引擎和关联校验引擎已经对客户端发送的 数据文件进行了校验，从而保证数据文件的校验过程可靠性。
[0018]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技 术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它 目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0019]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本 领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的， 而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示 相同的部件。在附图中：
[0020]图1是本申请实施例提供的一种数据文件校验执行流程图；
[0021]图2是本申请实施例提供的一种数据文件校验方法的步骤流程图；
[0022]图3是本申请实施例提供的另一种数据文件校验方法的步骤流程图；
[0023]图4是本申请实施例提供的一种数据文件校验装置的结构框图。
具体实施方式
[0024]下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示 了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不 应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地 理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
[0025]目前，年金受托系统在处理企业年金各业务数据时，对文件按照特定行 数进行分片处理校验，比完整全量读取文件性能提高显著，但在大数据文件 处理还存在如下问题：分片规则固定，灵活性较差；在部分大数据文件校验 过程耗时较慢；内存占用率过高，很容
易出现内存溢出问题；交叉校验耗时 较高。
[0026]针对上述问题，本申请的目的在于提出了一种大数据文件校验方法、装 置、电子设备及存储介质，通过年金受托业务大数据文件智能校验处理服务 来解决年金业务中大数据文件处理难题，提高系统资源利用率，降低服务内 存占用率，有效提升文件处理速度，提高用户体验。
[0027]本专利技术主要通过以下几点来完成整个技术方案：
[0028]1、使用一个独立微服务作为技术载体，把所有耦合在年金各个系统的 文件处理部分进行剥离。
[0029]2、对数据文件进行分片解析，按照部署的硬件主机的性能进行分片， 采用多线程进行同步处理方案，设置最大线程数，按数据片数量设定数据池 大小，多线程开始解析，解析完成后存入基于分布式文件存储Mongodb数 据库中。其中，MongoDB是一个基于分布式文件存储的数据库，由C++语 言编写，旨在为全球广域网或万维网(World Wide Web，WEB)应用提供可 扩展的高性能数据存储解决方案。
[0030]3、由于需要校验的数据行数太多，传统分片规则按照行数分片校验，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据文件校验方法，其特征在于，所述方法包括：接收客户端发送的至少两个业务类型的数据文件；通过所述业务类型相对应的业务校验引擎对所述数据文件进行校验，其中所述业务校验引擎至少包括：规则校验引擎、关联校验引擎；所述规则校验引擎用于对所述数据文件进行校验得到规则校验结果；所述关联校验引擎用于在所述规则校验结果为通过的情况下，通过关联校验引擎对所述数据文件和所述数据文件的关联数据进行校验，得到关联校验结果；在所述关联校验结果为通过的情况下，通过全局校验引擎对所述规则校验结果、所述关联校验结果进行校验，得到全局校验结果。2.根据权利要求1所述的方法，其特征在于，所述业务校验引擎还包括：交叉校验引擎，在所述接收客户端发送的至少两个业务类型的数据文件之后，所述方法还包括：对所述数据文件进行分片处理，得到所述数据文件对应的分片数据；所述通过所述业务类型相对应的业务校验引擎对所述数据文件进行校验，包括：针对所述数据文件对应的每个分片数据，通过所述规则校验引擎对所述分片数据进行校验得到规则校验结果，通过关联校验引擎对所述分片数据和所述分片数据的关联数据进行校验，得到关联校验结果，通过所述交叉校验引擎对所述分片数据进行校验得到交叉校验结果；所述在所述关联校验结果为通过的情况下，通过全局校验引擎对所述规则校验结果、所述关联校验结果进行校验，得到全局校验结果，包括：在所述交叉校验结果为通过的情况下，通过全局校验引擎对所述规则校验结果、所述关联校验结果和所述交叉校验结果进行校验，得到第一全局校验结果。3.根据权利要求2所述的方法，其特征在于，所述规则校验结果包括规则校验完成情况和规则校验错误信息，所述关联校验结果包括关联校验完成情况和关联校验错误信息，所述交叉校验结果包括交叉校验完成情况和交叉校验错误信息；所述在所述交叉校验结果为通过的情况下，通过全局校验引擎对所述规则校验结果、所述关联校验结果和所述交叉校验结果进行校验，得到第一全局校验结果，包括：在所述交叉校验结果为通过的情况下，检查所述规则校验完成情况、所述关联校验完成情况以及所述交叉校验完成情况；在所述规则校验完成情况、所述关联校验完成情况以及所述交叉校验完成都为完成的情况时，获取所述规则校验错误信息、所述关联校验错误信息或所述交叉校验错误信息，并输出所述规则校验错误信息、所述关联校验错误信息或所述交叉校验错误信息。4.根据权利要求2所述的方法，其特征在于，在所述交叉校验结果为通过的情况下，通过全局校验引擎对所述规则校验结果、所述关联校验结果和所述交叉校验结果进行校验，得到第一全局校验结果之后，...

【专利技术属性】
技术研发人员：郭瑞，张战胜，张志辉，李延霞，黄美玲，郭计雄，申世豪，
申请(专利权)人：泰康养老保险股份有限公司，
类型：发明
国别省市：