基于流程编排的分布式异构金融数据处理方法及装置制造方法及图纸

本发明专利技术可用于大数据技术领域，本发明专利技术提供了一种基于流程编排的分布式异构金融数据处理方法及装置，基于流程编排的分布式异构金融数据处理方法包括：接收第一金融数据以及第二金融数据；按照映射表的方式，分别根据第一金融数据以及第二金融数据，确定第一金融数据的键值、值以及第二金融数据的键值、值；根据第一金融数据的键值、值以及第二金融数据的键值、值，对第一金融数据与第二金融数据进行对比。本发明专利技术一方面通过引入流程编排，实行了串行处理的并行化，可以有效提高处理速度和效率，减少处理的耗时，另一方面引入分布式技术，充分利用分布式技术优势，化整为零，对单台设备的硬件要求大大降低的同时，也对处理时效做进一步提升。步提升。步提升。

【技术实现步骤摘要】
基于流程编排的分布式异构金融数据处理方法及装置


[0001]本专利技术属于大数据
，具体涉及一种基于流程编排的分布式异构金融数据处理方法及装置。

技术介绍

[0002]现有技术中，针对异构数据资金对账，为了避免对账功能对其他业务功能的影响，通常都是采用批量机单独处理对账，其处理流程大致如图1所示。具体地：对账服务器定时扫描双方文件抵达情况，只有两个文件到齐了才会开始执行对账；对账时，两个文件一起处理，处理时一般将整个文件读入内存或者写入数据库后，通过内存数据比对或数据表数据比对来完成对账；需要整个文件处理完，才生成对账结果。
[0003]现有的对账方法在业务数据量比较少、数据文件比较小的情况下，可以很好地满足需求，但是随着业务量的增长、数据文件增大，就需要投入比较大的硬件成本(磁盘、内存、CPU)才能勉强满足需求。比如XXX省医保一天的对账流水可能是几G甚至10几G的数据文件，这种情况下，对账服务器的磁盘、内存和CPU需求都比较高，不然容易出现磁盘空间不足或者内存溢出的风险。
[0004]此外，现有的对账方法通常是串行化的，处理时效性和性能是一大瓶颈，当数据文件大小达到10G甚至更大时，可能需要耗时数小时才能完成对账。

技术实现思路

[0005]本专利技术属于大数据
，其所提供的基于流程编排的分布式异构金融数据处理方法及装置，一方面通过引入流程编排，实行了串行处理的并行化，可以有效提高处理速度和效率，减少处理的耗时(业务创新点)，另一方面引入分布式技术，充分利用分布式技术优势，化整为零，对单台设备的硬件要求大大降低的同时，也对处理时效做进一步提升。
[0006]为解决上述技术问题，本专利技术提供以下技术方案：
[0007]第一方面，本专利技术提供一种基于流程编排的分布式异构金融数据处理方法，包括：
[0008]接收第一金融数据以及第二金融数据；
[0009]按照映射表的方式，分别根据所述第一金融数据以及第二金融数据，确定所述第一金融数据的键值、值以及第二金融数据的键值、值；
[0010]根据所述第一金融数据的键值、值以及第二金融数据的键值、值，对所述第一金融数据与第二金融数据进行对比。
[0011]一实施例中，所述按照映射表的方式，分别根据所述第一金融数据以及第二金融数据，确定所述第一金融数据的键值、值以及第二金融数据的键值、值，包括：
[0012]利用map方法，确定所述第一金融数据以及第二金融数据的唯一识别码，以确定所述第一金融数据的键值以及所述第二金融数据的键值；
[0013]利用map方法，确定所述第一金融数据的值以及第二金融数据的值；
[0014]所述键值与其对应的值为一一对应关系。
[0015]一实施例中，基于流程编排的分布式异构金融数据处理方法还包括：
[0016]根据所述第一金融数据的属性值以及所述第二金融数据的属性值，对所述第一金融数据以及所述第二金融数据进行拆分，以生成拆分结果；
[0017]所述拆分结果中，所述第一金融数据的拆分数与所述第二金融数据的拆分数一致。
[0018]一实施例中，所述根据所述第一金融数据的键值、值以及第二金融数据的键值、值，对所述第一金融数据与第二金融数据进行对比，包括：
[0019]利用分隔符且按照拆分顺序，根据所述拆分结果分别生成所述第一金融数据的拆分结果对应的第一字符串，以及所述第二金融数据的拆分结果对应的第二字符串；
[0020]根据所述第一字符串、所述第二字符串，所述键值以及所述值，对所述第一金融数据与第二金融数据进行对比。
[0021]第二方面，本专利技术提供一种基于流程编排的分布式异构金融数据处理装置，包括：
[0022]数据接收模块，用于接收第一金融数据以及第二金融数据
[0023]键值对确定模块，用于按照映射表的方式，分别根据所述第一金融数据以及第二金融数据，确定所述第一金融数据的键值、值以及第二金融数据的键值、值；
[0024]数据比对模块，用于根据所述第一金融数据的键值、值以及第二金融数据的键值、值，对所述第一金融数据与第二金融数据进行对比。
[0025]一实施例中，所述键值对确定模块包括：
[0026]键值确定单元，用于利用map方法，确定所述第一金融数据以及第二金融数据的唯一识别码，以确定所述第一金融数据的键值以及所述第二金融数据的键值；
[0027]值确定单元，用于利用map方法，确定所述第一金融数据的值以及第二金融数据的值；
[0028]所述键值与其对应的值为一一对应关系。
[0029]一实施例中，基于流程编排的分布式异构金融数据处理装置还包括：
[0030]数据拆分模块，用于根据所述第一金融数据的属性值以及所述第二金融数据的属性值，对所述第一金融数据以及所述第二金融数据进行拆分，以生成拆分结果；
[0031]所述拆分结果中，所述第一金融数据的拆分数与所述第二金融数据的拆分数一致。
[0032]一实施例中，所述数据比对模块包括：
[0033]字符串生成单元，用于利用分隔符且按照拆分顺序，根据所述拆分结果分别生成所述第一金融数据的拆分结果对应的第一字符串，以及所述第二金融数据的拆分结果对应的第二字符串；
[0034]数据比对单元，用于根据所述第一字符串、所述第二字符串，所述键值以及所述值，对所述第一金融数据与第二金融数据进行对比。
[0035]第三方面，本专利技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现基于流程编排的分布式异构金融数据处理方法的步骤。
[0036]第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现基于流程编排的分布式异构金融数据处理方法的步骤。
[0037]从上述描述可知，本专利技术实施例提供的基于流程编排的分布式异构金融数据处理方法及装置，首先接收第一金融数据以及第二金融数据；接着，按照映射表的方式，分别根据第一金融数据以及第二金融数据，确定第一金融数据的键值、值以及第二金融数据的键值、值；最后根据第一金融数据的键值、值以及第二金融数据的键值、值，对第一金融数据与第二金融数据进行对比。本专利技术通过引入流程编排，实现在支付资金对账上，能够充分利用分布式技术优势，将串行处理并行化、分布式化，降低单台设备硬件要求的同时，又可有效提升处理效率和速度。进一步地，本专利技术一方面通过引入流程编排，实行了串行处理的并行化，可以有效提高处理速度和效率，减少处理的耗时(业务创新点)，另一方面引入分布式技术，充分利用分布式技术优势，化整为零，对单台设备的硬件要求大大降低的同时，也对处理时效做进一步提升。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流程编排的分布式异构金融数据处理方法，其特征在于，包括：接收第一金融数据以及第二金融数据；按照映射表的方式，分别根据所述第一金融数据以及第二金融数据，确定所述第一金融数据的键值、值以及第二金融数据的键值、值；根据所述第一金融数据的键值、值以及第二金融数据的键值、值，对所述第一金融数据与第二金融数据进行对比。2.根据权利要求1所述的分布式异构金融数据处理方法，其特征在于，所述按照映射表的方式，分别根据所述第一金融数据以及第二金融数据，确定所述第一金融数据的键值、值以及第二金融数据的键值、值，包括：利用map方法，确定所述第一金融数据以及第二金融数据的唯一识别码，以确定所述第一金融数据的键值以及所述第二金融数据的键值；利用map方法，确定所述第一金融数据的值以及第二金融数据的值；所述键值与其对应的值为一一对应关系。3.根据权利要求1所述的分布式异构金融数据处理方法，其特征在于，还包括：根据所述第一金融数据的属性值以及所述第二金融数据的属性值，对所述第一金融数据以及所述第二金融数据进行拆分，以生成拆分结果；所述拆分结果中，所述第一金融数据的拆分数与所述第二金融数据的拆分数一致。4.根据权利要求3所述的分布式异构金融数据处理方法，其特征在于，所述根据所述第一金融数据的键值、值以及第二金融数据的键值、值，对所述第一金融数据与第二金融数据进行对比，包括：利用分隔符且按照拆分顺序，根据所述拆分结果分别生成所述第一金融数据的拆分结果对应的第一字符串，以及所述第二金融数据的拆分结果对应的第二字符串；根据所述第一字符串、所述第二字符串，所述键值以及所述值，对所述第一金融数据与第二金融数据进行对比。5.一种基于流程编排的分布式异构金融数据处理装置，其特征在于，包括：数据接收模块，用于接收第一金融数据以及第二金融数据键值对确定模块，用于按照映射表的方式，分别根据所述第...

【专利技术属性】
技术研发人员：刘双生，张宏，康永乐，叶冬花，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：