一种第三方支付监管系统分布式数据流处理方法及系统技术方案

本发明专利技术公开了一种第三方支付监管系统分布式数据流处理方法，包括：解析用户需求，针对第三方支付监管系统的存管、报表模式分别建立业务处理模型；基于建立的业务处理模型梳理出热点流程，建立数据控制模型进行热点流程处理；进行数据处理流程依赖任务划分；基于划分的任务建立子任务调度数据库模型。本发明专利技术能够提高系统资源的利用率。本发明专利技术还公开了一种第三方支付监管系统分布式数据流处理系统。

【技术实现步骤摘要】
一种第三方支付监管系统分布式数据流处理方法及系统
本专利技术涉及银行管理
，尤其涉及一种第三方支付监管系统分布式数据流处理方法及系统。
技术介绍
目前，在对复杂数据流处理任务进行处理时，使用自上而下的全流程串行处理方法。为一个处理请求申请一个用户，建立一套线程，对复杂的处理请求进行自上而下的串行加工。现有技术中采用的方法无法满足大量数据量、短时间的处理需求。系统同时面对多用户请求时，通过对资源加锁，建立排队机制，将所有客户请求串行处理。这样导致的可能结果是：客户轮候时间长，系统所有资源需要按照数据量最大的响应请求进行评估和准备，大多数时候处于闲置状态对系统资源造成巨大浪费。因此，如何最大程度的提高系统资源的利用率是一项亟待解决的问题。
技术实现思路
本专利技术提供了一种第三方支付监管系统分布式数据流处理方法，能够提高系统资源的利用率。本专利技术提供了一种第三方支付监管系统分布式数据流处理方法，包括：解析用户需求，针对第三方支付监管系统的存管、报表模式分别建立业务处理模型；基于所述建立的业务处理模型梳理出热点流程，建立数据控制模型进行热点流程处理；进行数据处理流程依赖任务划分；基于划分的任务建立子任务调度数据库模型。优选地，所述解析用户需求，针对第三方支付监管系统的存管、报表模式分别建立业务处理模型包括：通过业务流程通道合并，得到数据处理基本流程模型，划分出数据处理的热点和瓶颈环节。优选地，所述通过业务流程通道合并，得到数据处理基本流程模型，划分出数据处理的热点和瓶颈环包括：接收并解析大数据量的明细数据，对明细数据进行预备处理；针对明细模式下预处理后的明细或报表模式下接收的报表数据进行数据勾稽及解析。优选地，所述基于所述建立的业务处理模型梳理出热点流程，建立数据控制模型进行热点流程处理包括：对客户信息通过哈希算法对不同客户账号进行切分，并建立向数据库分库存储的映射关系，建立数据模型。优选地，所述对客户信息通过哈希算法对不同客户账号进行切分，并建立想数据库分库存储的映射关系，建立数据模型包括：为客户系统建立统一规则的编号，将监管对象账号挂载在客户编号下；基于客户明细对于账号基本平均分布的前提，通过哈希算法对客户编号和账号生成哈希结果；对数据库数据量取摩尔值后将客户账号的明细数据存入数据库对应编号的同构分库中，完成数据库均衡负载。一种第三方支付监管系统分布式数据流处理系统，包括：第一建立模块，用于解析用户需求，针对第三方支付监管系统的存管、报表模式分别建立业务处理模型；第二建立模块，用于基于所述建立的业务处理模型梳理出热点流程，建立数据控制模型进行热点流程处理；数据处理模块，用于进行数据处理流程依赖任务划分；第三建立模块，用于基于划分的任务建立子任务调度数据库模型。优选地，所述第一建立模块包括：划分单元，用于通过业务流程通道合并，得到数据处理基本流程模型，划分出数据处理的热点和瓶颈环节。优选地，所述划分单元包括：预备处理子单元，用于接收并解析大数据量的明细数据，对明细数据进行预备处理；数据处理子单元，用于针对明细模式下预处理后的明细或报表模式下接收的报表数据进行数据勾稽及解析。优选地，所述第二建立模块包括：建立子单元，用于对客户信息通过哈希算法对不同客户账号进行切分，并建立向数据库分库存储的映射关系，建立数据模型。优选地，所述建立子单元包括：挂载子单元，用于为客户系统建立统一规则的编号，将监管对象账号挂载在客户编号下；生成子单元，用于基于客户明细对于账号基本平均分布的前提，通过哈希算法对客户编号和账号生成哈希结果；存入子单元，用于对数据库数据量取摩尔值后将客户账号的明细数据存入数据库对应编号的同构分库中，完成数据库均衡负载。由上述方案可知，本专利技术提供的一种第三方支付监管系统分布式数据流处理方法，当需要对第三方支付监管系统分布式数据流进行处理时，首先解析用户需求，针对第三方支付监管系统的存管、报表模式分别建立业务处理模型；然后基于建立的业务处理模型梳理出热点流程，建立数据控制模型进行热点流程处理；然后进行数据处理流程依赖任务划分；然后基于划分的任务建立子任务调度数据库模型。针对客户信息建立了一套完整独立的任务模型，在客户之间实现了并行处理，在一套客户处理申请中通过划分任务依赖关系建立到数据库的分库映射，进行任务依赖任务串行、非依赖任务并行处理流程，节约了处理时间，最大程度的利用了系统资源。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术公开的一种第三方支付监管系统分布式数据流处理方法实施例1的流程图；图2为本专利技术公开的一种第三方支付监管系统分布式数据流处理方法实施例2的流程图；图3为本专利技术公开的一种第三方支付监管系统分布式数据流处理方法实施例3的流程图；图4为本专利技术公开的一种第三方支付监管系统分布式数据流处理方法实施例4的流程图；图5为本专利技术公开的一种第三方支付监管系统分布式数据流处理方法实施例5的流程图；图6为本专利技术公开的一种第三方支付监管系统分布式数据流处理系统实施例1的结构示意图；图7为本专利技术公开的一种第三方支付监管系统分布式数据流处理系统实施例2的结构示意图；图8为本专利技术公开的一种第三方支付监管系统分布式数据流处理系统实施例3的结构示意图；图9为本专利技术公开的一种第三方支付监管系统分布式数据流处理系统实施例4的结构示意图；图10为本专利技术公开的一种第三方支付监管系统分布式数据流处理系统实施例5的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，为本专利技术公开的一种第三方支付监管系统分布式数据流处理方法实施例1的流程图，该方法包括以下步骤：S101、解析用户需求，针对第三方支付监管系统的存管、报表模式分别建立业务处理模型；当需要对第三方支付监管系统分布式数据流进行处理时，首先对用户的需求进行解析，根据用户的需求针对第三方支付监管系统的存管和报表模式分别建立业务处理模型。S102、基于建立的业务处理模型梳理出热点流程，建立数据控制模型进行热点流程处理；通过已经建立的业务处理模型梳理出热点流程后，进而建立数据控制模型进行热点流程处理。S103、进行数据处理流程依赖任务划分；在接收到服务请求后，获取文件并解压预处理校验预约自助任务返回结果，然后登记自助任务，开始基础数据处理，校验合约信息解析上送报表，校验报表及单元格合法性数据入库，登记第三方支付批量任务，登记第三方支付批量任务数据入库，登记第三方支付批量任务，轮询起任务加工数据，将数据入库，生成其他报表，生成勾稽校验结果。S104、基于划分的任务建立子任务调度数据库模型。对任务建立数据库模型，每一位客户建立一个唯一绑定客户编号的识别信息，根据任务划分模型建立主任务，并在主任务下挂载子任务，通过任本文档来自技高网...

【技术保护点】
一种第三方支付监管系统分布式数据流处理方法，其特征在于，包括：解析用户需求，针对第三方支付监管系统的存管、报表模式分别建立业务处理模型；基于所述建立的业务处理模型梳理出热点流程，建立数据控制模型进行热点流程处理；进行数据处理流程依赖任务划分；基于划分的任务建立子任务调度数据库模型。

【技术特征摘要】
1.一种第三方支付监管系统分布式数据流处理方法，其特征在于，包括：解析用户需求，针对第三方支付监管系统的存管、报表模式分别建立业务处理模型；基于所述建立的业务处理模型梳理出热点流程，建立数据控制模型进行热点流程处理；进行数据处理流程依赖任务划分；基于划分的任务建立子任务调度数据库模型。2.根据权利要求1所述的方法，其特征在于，所述解析用户需求，针对第三方支付监管系统的存管、报表模式分别建立业务处理模型包括：通过业务流程通道合并，得到数据处理基本流程模型，划分出数据处理的热点和瓶颈环节。3.根据权利要求2所述的方法，其特征在于，所述通过业务流程通道合并，得到数据处理基本流程模型，划分出数据处理的热点和瓶颈环包括：接收并解析大数据量的明细数据，对明细数据进行预备处理；针对明细模式下预处理后的明细或报表模式下接收的报表数据进行数据勾稽及解析。4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述基于所述建立的业务处理模型梳理出热点流程，建立数据控制模型进行热点流程处理包括：对客户信息通过哈希算法对不同客户账号进行切分，并建立向数据库分库存储的映射关系，建立数据模型。5.根据权利要求4所述的方法，其特征在于，所述对客户信息通过哈希算法对不同客户账号进行切分，并建立想数据库分库存储的映射关系，建立数据模型包括：为客户系统建立统一规则的编号，将监管对象账号挂载在客户编号下；基于客户明细对于账号基本平均分布的前提，通过哈希算法对客户编号和账号生成哈希结果；对数据库数据量取摩尔值后将客户账号的明细数据存入数据库对...

【专利技术属性】
技术研发人员：贺琦，张佩，王笑楠，孙玉琳，林雪华，刘春雷，张纪宇，夏海涛，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京,11