本发明专利技术公开了一种数据处理方法、装置、设备和存储介质，针对目前预付款系统接口采用HTTP同步接口，接口完全公开，系统压力大，易造成接口超时、资源被占满崩溃的问题，通过实时获取交易数据，识别交易数据的交易类型；按实时到账及离线结算，对交易类型进行分类；对实时到账的交易类型，采用同步数据传输方式，进行数据处理；对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；从而缓解预付款系统的接口压力，提高预付款系统的数据处理效率。款系统的数据处理效率。款系统的数据处理效率。
【技术实现步骤摘要】
数据处理方法、装置、设备和存储介质
[0001]本专利技术属于数据处理的
，尤其涉及一种用于预付款系统的数据处理方法、装置、设备和存储介质。
技术介绍
[0002]目前，预付款接口采用HTTP同步接口，接口完全公开，系统压力大。该接口覆盖了多种业务场景，包括充值、提款、扣款、退款、冲销、转账等，同时为68个上游系统(各业务系统)提供发送预付款服务，日交易量为21W笔。
[0003]基于庞大并日益增长的业务体系，当业务高峰高并发访问预付款接口时，易造成接口超时、资源被占满崩溃，甚至出现服务器宕机的情况，从而导致数据的存储不完整，数据更新异常等问题。
技术实现思路
[0004]本专利技术的目的是提供一种数据处理方法、装置、设备和存储介质，搭建预付款前置服务，为预付款系统减压，保障预付款系统稳定性，提供多维度白名单配置，通过灵活配置，为高峰期预付款系统减压，数据校验前置，减轻预付款系统逻辑复杂性，提高接口时效，减轻上游系统因原预付款接口异常进行重发的压力，保障预付款核心功能。
[0005]为解决上述问题，本专利技术的技术方案为：
[0006]一种数据处理方法，用于预付款系统，包括：
[0007]实时获取交易数据，识别交易数据的交易类型；
[0008]按实时到账及离线结算，对交易类型进行分类；
[0009]对实时到账的交易类型，采用同步数据传输方式，进行数据处理；
[0010]对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；以缓解预付款系统的接口压力，提高预付款系统的数据处理效率。
[0011]根据本专利技术一实施例，所述实时获取交易数据，识别交易数据的交易类型进一步包括：
[0012]对获取的交易数据进行标准化字符过滤操作，得到目标交易数据；
[0013]对所述目标交易数据进行客体识别操作，得到交易客体；
[0014]调用预设交易类型识别模型对所述目标交易数据中的所述交易客体的交易数据进行处理，得到所述交易客体的交易类型。
[0015]根据本专利技术一实施例，所述按实时到账及离线结算，对交易类型进行分类进一步包括：
[0016]将交易类型为充值、提款或转账的交易数据，标记为实时到账，并传输至第一数据处理通道进行实时处理；
[0017]将交易类型为扣款、退款或冲销的交易数据，标记为离线结算，并传输至第二数据处理通道中的消息队列中等待处理。
[0018]根据本专利技术一实施例，所述对实时到账的交易类型，采用同步数据传输方式，进行数据处理进一步包括：
[0019]将预付款系统作为服务端，提供HTTP接口服务，发布接口API；
[0020]服务端接收客户端按照接口API发送数据后，进行多重数据的有效性校验，生成交易记录，并返回预付款结果。
[0021]根据本专利技术一实施例，所述对离线结算的交易类型，采用异步数据传输方式进行数据处理进一步包括：
[0022]搭建预付款前置服务；
[0023]根据交易类型，设置预付款白名单；
[0024]预付款前置服务接收客户端以kafka方式发送的预付款数据，并进行数据有效性校验；
[0025]预付款前置服务将校验通过后的数据发送至预付款系统。
[0026]根据本专利技术一实施例，所述对离线结算的交易类型，采用文件数据传输方式进行数据处理进一步包括：
[0027]搭建预付款前置服务；
[0028]根据交易类型，设置预付款白名单，灵活配置预付款发送状态，为预付款系统高峰期减压；
[0029]通过数据库加载CSV文件并进行数据加工，所述CSV文件为预先根据预付款数据生成的文件；将加工好的数据，再次生成CSV文件并上传至指定路径下；
[0030]预付款前置服务加载指定路径下的CSV文件，并进行数据有效性校验；
[0031]预付款前置服务将校验通过的数据，按照收费部门、收费项目、发送预付款时间维度进行数据汇总；
[0032]预付款前置服务将汇总后的数据发送至预付款系统。
[0033]一种数据处理装置，用于预付款系统，包括：
[0034]数据识别模块，用于实时获取交易数据，识别交易数据的交易类型；
[0035]数据分类模块，用于按实时到账及离线结算，对交易类型进行分类；
[0036]第一数据处理模块，用于对实时到账的交易类型，采用同步数据传输方式，进行数据处理；
[0037]第二数据处理模块，用于对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；以缓解预付款系统的接口压力，提高预付款系统的数据处理效率。
[0038]根据本专利技术一实施例，所述数据识别模块进一步包括：
[0039]数据过滤单元，用于对获取的交易数据进行标准化字符过滤操作，得到目标交易数据；
[0040]客体识别单元，用于对所述目标交易数据进行客体识别操作，得到交易客体；
[0041]数据处理单元，用于调用预设交易类型识别模型对所述目标交易数据中的所述交易客体的交易数据进行处理，得到所述交易客体的交易类型。
[0042]一种数据处理设备，包括：存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本专利技术一实施例中的
数据处理方法中的步骤。
[0043]一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本专利技术一实施例中的数据处理方法中的步骤。
[0044]本专利技术由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
[0045]本专利技术一实施例中的数据处理方法，针对目前预付款系统接口采用HTTP同步接口，接口完全公开，系统压力大，易造成接口超时、资源被占满崩溃的问题，通过实时获取交易数据，识别交易数据的交易类型；按实时到账及离线结算，对交易类型进行分类；对实时到账的交易类型，采用同步数据传输方式，进行数据处理；对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；从而缓解预付款系统的接口压力，提高预付款系统的数据处理效率。
附图说明
[0046]图1为本专利技术一实施例中的数据处理方法流图；
[0047]图2为本专利技术一实施例中的数据处理装置框图；
[0048]图3为本专利技术一实施例中的数据处理设备示意图。
具体实施方式
[0049]以下结合附图和具体实施例对本专利技术提出的一种数据处理方法、装置、设备和存储介质作进一步详细说明。根据下面说明和权利要求书，本专利技术的优点和特征将更清楚。
[0050]实施例一
[0051]本实施例针对目前预付款系统接口采用HTTP同步接口，接口完全公开，系统压力大，易造成接口超时、资源被占满崩溃的问题，提供了一种数据处理方法，通过搭建预付款前置服务，为预付款系统减压，保障预付款系统稳本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，用于预付款系统，其特征在于，包括：实时获取交易数据，识别交易数据的交易类型；按实时到账及离线结算，对交易类型进行分类；对实时到账的交易类型，采用同步数据传输方式，进行数据处理；对离线结算的交易类型，采用异步数据传输方式或文件数据传输方式，进行数据处理；以缓解预付款系统的接口压力，提高预付款系统的数据处理效率。2.如权利要求1所述的数据处理方法，其特征在于，所述实时获取交易数据，识别交易数据的交易类型进一步包括：对获取的交易数据进行标准化字符过滤操作，得到目标交易数据；对所述目标交易数据进行客体识别操作，得到交易客体；调用预设交易类型识别模型对所述目标交易数据中的所述交易客体的交易数据进行处理，得到所述交易客体的交易类型。3.如权利要求1所述的数据处理方法，其特征在于，所述按实时到账及离线结算，对交易类型进行分类进一步包括：将交易类型为充值、提款或转账的交易数据，标记为实时到账，并传输至第一数据处理通道进行实时处理；将交易类型为扣款、退款或冲销的交易数据，标记为离线结算，并传输至第二数据处理通道中的消息队列中等待处理。4.如权利要求1所述的数据处理方法，其特征在于，所述对实时到账的交易类型，采用同步数据传输方式，进行数据处理进一步包括：将预付款系统作为服务端，提供HTTP接口服务，发布接口API；服务端接收客户端按照接口API发送数据后，进行多重数据的有效性校验，生成交易记录，并返回预付款结果。5.如权利要求1所述的数据处理方法，其特征在于，所述对离线结算的交易类型，采用异步数据传输方式进行数据处理进一步包括：搭建预付款前置服务；根据交易类型，设置预付款白名单；预付款前置服务接收客户端以kafka方式发送的预付款数据，并进行数据有效性校验；预付款前置服务将校验通过后的数据发送至预付款系统。6.如权利要求1所述的数据处理方法，其特征在于，所述对离线结算的交易类型，采用文件数据传输...
【专利技术属性】
技术研发人员：高书增，倪尉添，姚倩，赵玉龙，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。