一种基于分组统计的智能数据对账方法技术

本发明专利技术涉及一种基于分组统计的智能数据对账方法。包括：步骤S1、设置对账规则及进行业务数据等模块的初始化配置，对对账规则启用时，系统后台生成对账调度执行job；步骤S2、利用业务数据配置数据来源为数据库、http、自定义实现类，实时读取存储的业务数据。对所述业务数据解析并进行日切处理、字典转换。日切处理即为将业务数据按照日切时间配置，自动抽取对应的数据进行对账；步骤S3、基于对账规则，对所述双方的业务数据按照配置的维度列表分别进行分组统计，从而生成对账结果；步骤S4、系统后台遍历对账结果不一致，获取其日期、维度，依据业务数据的对账类别为目标进行业务数据的删除、数据抽取。本发明专利技术能够提高数据一致性的准确性和及时性。准确性和及时性。准确性和及时性。

【技术实现步骤摘要】
一种基于分组统计的智能数据对账方法


[0001]本专利技术涉及数据处理
，特别是一种基于分组统计的智能数据对账方法。

技术介绍

[0002]随着计算机技术的发展，很多政府部门以及相关企业的业务数据不止存储一份数据，各个系统中的业务可能同时存储有多份数据，一份存储在数据库，一份存储在redis、Elasticsearch或Apache Druid中，以存储在数据库中的数据为准，可能由于网络、存储异常、延迟、同步等问题，导致不是存储在数据库中的数据与存储在数据库中的数据不一致，因此需对同一业务的多份数据进行对账。然而应用场景越来越广，对数据一致性有了更高的要求。
[0003]现有技术中在统计数据的总量，常常忽略了数据的时间、维度等方面统计问题，使得统计信息不准确，还是需要人工来排查与纠错，大大降低了数据一致性比对的效率。

技术实现思路

[0004]本专利技术的目的在于提供一种基于分组统计的智能数据对账方法，能够提高数据一致性的准确性和及时性。
[0005]为实现上述目的，本专利技术的技术方案是：一种基于分组统计的智能数据对账方法，包括如下步骤：步骤S1、设置对账规则，对账规则启用时，系统后台生成对账调度执行job；步骤S2、配置业务数据的来源为数据库、http、自定义实现类，实时读取存储的业务数据；对业务数据解析并进行日切处理、字典转换；日切处理即将业务数据按照日切时间配置，自动抽取对应的业务数据进行对账；步骤S3、基于对账规则，对对账双方的业务数据按照配置的维度列表分别进行分组统计，生成对账结果；步骤S4、系统后台遍历对账结果，若发现对账结果不一致的目标业务数据，获取目标业务数据的日期、维度，依据业务数据的对账类别为目标进行目标业务数据的删除、数据抽取。
[0006]相较于现有技术，本专利技术具有以下有益效果：本专利技术对对账双方业务数据进行分组统计并对对账结果不一致进行后续的流程自动化的数据删除与数据抽取，并快速生成对账结果，提高数据分析和数据挖掘的有效性和准确性、及时性。
附图说明
[0007]图1为本专利技术实施例的原理示意图。
具体实施方式
[0008]下面结合附图，对本专利技术的技术方案进行具体说明。
[0009]应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0010]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0011]图1是本申请提供的一种基于分组统计的智能数据对账方法的流程示意图，下面结合图1对本申请的方法进行详细说明。
[0012]步骤S1：设置对账规则及进行业务数据等模块的初始化配置，对对账规则启用时，系统后台生成对账调度执行job；步骤S2：利用业务数据配置数据来源为数据库、http、自定义实现类，实时读取存储的业务数据。对所述业务数据解析并进行日切处理、字典转换。日切处理即为将业务数据按照日切时间配置，自动抽取对应的数据进行对账。
[0013]步骤S3：基于对账规则，对所述双方的业务数据按照配置的维度列表分别进行分组统计，从而生成对象结果。包括以下步骤：步骤S31：将所述的业务数据按维度进行分组统计，及进行逐一合并处理；步骤S32：将对账双方的业务数据维度统计量进行比对，生成对账结果；其中：所述对账结果采用数据库方式进行存储。
[0014]步骤S4：系统后台遍历对账结果不一致，获取其日期、维度，依据业务数据的对账类别为目标进行业务数据的删除、数据抽取。
[0015]应用的具体实施如下：本申请的主要功能有业务分类、数据源、业务数据、对账规则、规则调度执行、对账结果。
[0016]业务分类用于设置数据所属业务分类及其比对的维度，包括维度名称、字典值转换等设置，实现不同数据的业务对账的集中标准化管理。
[0017]数据源是数据所在库位置，便于定义业务数据。
[0018]业务数据是配置具体数据获取方式，可自主选择数据源类型，查询类别为表名、自定义sql语句、http请求、实现类，配置关联业务分类下的维度，以采集数据，并对对账类别为目标时设置处理结果的处理方式，支持系统处理、自定义处理、人工处理。其中系统处理为目标业务数据的删除、抽取配置，自定义处理为自定义实现类来处理业务数据的删除、抽取，人工处理为业务人员采用线下方式对数据进行处理。
[0019]对账规则是将源业务数据、目标业务数据的维度进行映射配置，执行时间点配置。
[0020]规则调度执行在设置好的对账时间点触发，依据对账规则设置的维度对相应的业务数据进行分组统计，得到该天业务数据配置的每个维度具体对应什么内容的统计量，再汇总当天的总业务统计量。比对两者的按天、按维度统计量是否一致，若一致，则说明双方对账一致，对账结束。若不一致，则说明有不一致的业务数据遗漏，需要对目标业务数据进行删除、重新触发数据的抽取与再次对账。而后对双方对账结果进行遍历，比对遍历结果，输出不一致所对应的天、维度，触发系统自动处理流程，对账工作结束。
[0021]对账规则设置功能流程具体为：点击系统功能页面新增一条对账规则设置记录，设置对账规则名称、对账规则编码、业务类型、对账源、对账目标、对账时间cron等信息后保存。选择并设置该对账规则为启用后，系统后台会依据该记录的对账时间cron生成定时任务。选择并设置该对账规则为禁用后，系统后台不生成定时任务，只保存该设置。
[0022]规则调度执行流程具体为：对账规则生成的定时任务在配置的对账时间点启动后，依据对账规则设置的源业务数据、目标数据，双方映射的维度信息列表，采取T
‑
1天的方式对对账双方数据进行采集并按维度分组统计，对双方业务数据统计结果进行拼接，生成每个维度（如办理渠道为大厅、网上、app）对应的对账结果、维度（办理渠道）的对账结果、该天的对账结果，存储到数据库中。下游调度通过遍历对账结果为不一致的数据，获取时间、维度等信息，依据业务数据配置的结果处理方式进行处理，若结果处理方式为系统处理，则系统后台会依据配置的数据删除进行目标数据的删除、触发抽取数据流程对目标数据进行抽取。
[0023]由上述实施可知，目标数据有可能由于网络、存储异常、延迟、同步等问题，导致数据与源业务数据不一致，触发调度执行按天（T
‑
1）定时统计存储在多份数据，按多个维度分组的数据量是否一致，以及时发现对账不一致的业务数据。
[0024]以上所述，仅是本专利技术的较佳实施例而已，并非是对本专利技术作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的
技术实现思路
加以变更或改型为等同变化的等效实施例。但本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分组统计的智能数据对账方法，其特征在于，包括如下步骤：步骤S1、设置对账规则，对账规则启用时，系统后台生成对账调度执行job；步骤S2、配置业务数据的来源为数据库、http、自定义实现类，实时读取存储的业务数据；对业务数据解析并进行日切处理、字典转换；日切处理即将业务数据按照日切时间配置，自动抽取对应的业务数据进行对账；步骤S3、基于对账规则，对对账双方的业务数据按照配置的维度列表分别进行分组统计，生成对账结果；步骤S4、系统后台遍历对账结果，若发现对账结果不一致的目标业务数据，获取目标业务数据的日期、维度，依据业务数据的对账类别为目标进行目标业务数据的删除、数据抽取。2.根据权利要求1所述的一种基于分组统计的智能数据对账方法，其特征在于，步骤S2中，采取T+1方式获取业务数据。3.根据权利要求1所述的一种基于分组统计的智能数据对账方法，其特征在于，步骤S3中，对业务数据按维度列表分组统计，获取每个维度的统计量。4.根据权利要求1所述的一种基于分...

【专利技术属性】
技术研发人员：吴志雄，黄住发，陈辉挺，
申请(专利权)人：南威软件股份有限公司，
类型：发明
国别省市：