一种账单数据处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种账单数据处理方法、装置、设备及存储介质，包括：根据对账指令分别获取第一系统的第一账单数据和第二系统的第二账单数据，对所述第一账单数据和所述第二账单数据进行预处理后存储至预设数据库；将所述预设数据库中的预处理后的所述第一账单数据和所述第二账单数据同步至Hive数据仓库，利用所述Hive数据仓库中的调度程序启动对账任务以对所述第一账单数据和所述第二账单数据进行对账计算。本申请在获取到不同对账系统的账单数据后分别对其进行预处理，使得对账流程具有较高通用性和可扩展性。同时在预设数据的基础上引入Hive数据仓库对对预处理后的账单数据进行对账计算以完成数据规模的计算升级，提高对账计算效率。对账计算效率。对账计算效率。

【技术实现步骤摘要】
一种账单数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，特别涉及一种账单数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着企业日益增长的订单交易量，人工核对企业账目基本不可能，运用传统的程序对账也已到达瓶颈，为进一步支撑企业账目数据精确核对的诉求，自动对账系统应运而生。自动对账系统是一种IT领域常用的用于核对和校准企业经营数据的数据核对程序系统，目标是尽早核对和发现企业经营数据中的问题，以便及时做调整。然而，一方面由于企业数据的存储量庞大，当需要核对系统数据时，记录之间的计算匹配关系数量级巨大，现有的对账系统仅适用于局部小数据量的对账场景。另一方面现有的对账系统存在通用性问题，一般企业数据和信息系统，本身数据的维度多，想要在诸多系统之间保持业务数据的一致性，核对程序需要有较高的通用性和扩展性。
[0003]因此，如何在保证对账通用性的情况下提高不同系统之间的对账效率是本领域技术人员亟待解决的技术问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种账单数据处理方法、装置、设备及存储介质，能够使得对账流程具有较高通用性和可扩展性，同时提高对账计算效率。其具体方案如下：
[0005]本申请的第一方面提供了一种账单数据处理方法，包括：
[0006]根据对账指令分别获取第一系统的第一账单数据和第二系统的第二账单数据，并对所述第一账单数据和所述第二账单数据进行预处理后存储至预设数据库；
[0007]将所述预设数据库中的预处理后的所述第一账单数据和所述第二账单数据同步至Hive数据仓库，并利用所述Hive数据仓库中的调度程序启动对账任务以对所述第一账单数据和所述第二账单数据进行对账计算。
[0008]可选的，所述根据对账指令分别获取第一系统的第一账单数据和第二系统的第二账单数据，包括：
[0009]根据所述对账指令获取所述第一系统在第一预设时间段内的所述第一账单数据；
[0010]对所述第一预设时间段的两个时间端点进行扩充后得到与所述第一预设时间段对应的第二预设时间段；
[0011]获取所述第二系统在所述第二预设时间段内的所述第二账单数据。
[0012]可选的，所述对所述第一账单数据和所述第二账单数据进行预处理后存储至预设数据库，包括：
[0013]根据账单数据的文件格式分别对所述第一账单数据和所述第二账单数据对应文件进行程序解析；
[0014]分别对解析后的所述第一账单数据和所述第二账单数据进行标准化处理后存储至所述预设数据库。
[0015]可选的，所述分别对解析后的所述第一账单数据和所述第二账单数据进行标准化处理后存储至所述预设数据库，包括：
[0016]根据预设规则分别从所述第一账单数据和所述第二账单数据中提取出预设字段的数据，并将提取出的数据以新的数据表形式存储至MYSQL数据库。
[0017]可选的，所述将所述预设数据库中的预处理后的所述第一账单数据和所述第二账单数据同步至Hive数据仓库，并利用所述Hive数据仓库中的调度程序启动对账任务以对所述第一账单数据和所述第二账单数据进行对账计算，包括：
[0018]将所述预设数据库中的预处理后的所述第一账单数据和所述第二账单数据分批次同步至所述Hive数据仓库；
[0019]对同步至所述Hive数据仓库中的所述第一账单数据和所述第二账单数据中具有相同对账ID的记录行中的账单数据进行对账计算。
[0020]可选的，所述利用所述Hive数据仓库中的调度程序启动对账任务以对所述第一账单数据和所述第二账单数据进行对账计算之后，还包括：
[0021]按照预设模板生成统一的对账结果并将所述对账结果同步至所述预设数据库。
[0022]可选的，所述按照预设模板生成统一的对账结果之后，还包括：
[0023]按照预设告警方式将所述对账结果发送至相关主体以对所述对账结果进行告警。
[0024]本申请的第二方面提供了一种账单数据处理装置，包括：
[0025]获取存储模块，用于根据对账指令分别获取第一系统的第一账单数据和第二系统的第二账单数据，并对所述第一账单数据和所述第二账单数据进行预处理后存储至预设数据库；
[0026]同步对账模块，用于将所述预设数据库中的预处理后的所述第一账单数据和所述第二账单数据同步至Hive数据仓库，并利用所述Hive数据仓库中的调度程序启动对账任务以对所述第一账单数据和所述第二账单数据进行对账计算。
[0027]本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述账单数据处理方法。
[0028]本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述账单数据处理方法。
[0029]本申请中，先根据对账指令分别获取第一系统的第一账单数据和第二系统的第二账单数据，并对所述第一账单数据和所述第二账单数据进行预处理后存储至预设数据库；然后将所述预设数据库中的预处理后的所述第一账单数据和所述第二账单数据同步至Hive数据仓库，并利用所述Hive数据仓库中的调度程序启动对账任务以对所述第一账单数据和所述第二账单数据进行对账计算。可见，本申请在获取到不同对账系统的账单数据后分别对其进行预处理，然后存储至预设数据库，使得对账流程具有较高通用性和可扩展性。同时在预设数据的基础上引入Hive数据仓库对对预处理后的账单数据进行对账计算以完成数据规模的计算升级，不仅适用于局部小数据量的对账场景更适用于大数据对账场景，
提高对账计算效率。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0031]图1为本申请提供的一种账单数据处理方法流程图；
[0032]图2为本申请提供的一种具体的账单数据处理方法示意图；
[0033]图3为本申请提供的一种具体的账单数据解析入库过程示意图；
[0034]图4为本申请提供的一种具体的账单数据抓取窗口示意图；
[0035]图5为本申请提供的一种具体的基于Hive数据仓库对账计算过程示意图；
[0036]图6为本申请提供的一种账单数据处理装置结构示意图；
[0037]图7为本申请提供的一种账单数据处理电子设备结构图。
具体实施方式
[0038]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种账单数据处理方法，其特征在于，包括：根据对账指令分别获取第一系统的第一账单数据和第二系统的第二账单数据，并对所述第一账单数据和所述第二账单数据进行预处理后存储至预设数据库；将所述预设数据库中的预处理后的所述第一账单数据和所述第二账单数据同步至Hive数据仓库，并利用所述Hive数据仓库中的调度程序启动对账任务以对所述第一账单数据和所述第二账单数据进行对账计算。2.根据权利要求1所述的账单数据处理方法，其特征在于，所述根据对账指令分别获取第一系统的第一账单数据和第二系统的第二账单数据，包括：根据所述对账指令获取所述第一系统在第一预设时间段内的所述第一账单数据；对所述第一预设时间段的两个时间端点进行扩充后得到与所述第一预设时间段对应的第二预设时间段；获取所述第二系统在所述第二预设时间段内的所述第二账单数据。3.根据权利要求1所述的账单数据处理方法，其特征在于，所述对所述第一账单数据和所述第二账单数据进行预处理后存储至预设数据库，包括：根据账单数据的文件格式分别对所述第一账单数据和所述第二账单数据对应文件进行程序解析；分别对解析后的所述第一账单数据和所述第二账单数据进行标准化处理后存储至所述预设数据库。4.根据权利要求2所述的账单数据处理方法，其特征在于，所述分别对解析后的所述第一账单数据和所述第二账单数据进行标准化处理后存储至所述预设数据库，包括：根据预设规则分别从所述第一账单数据和所述第二账单数据中提取出预设字段的数据，并将提取出的数据以新的数据表形式存储至MYSQL数据库。5.根据权利要求1所述的账单数据处理方法，其特征在于，所述将所述预设数据库中的预处理后的所述第一账单数据和所述第二账单数据同步至Hive数据仓库，并利用所述Hive数据仓库中的调度程...

【专利技术属性】
技术研发人员：曹丹，
申请(专利权)人：上海途虎信息技术有限公司，
类型：发明
国别省市：