一种数据处理方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、设备和存储介质，该方法应用于数据处理系统，包括：根据待处理数据所属的上游系统，为数据处理系统配置对应的数据处理方式，数据处理方式包括补全方式、校验方式和映射方式；基于补全方式对待处理数据进行数据补全处理，并在补全成功时得到目标数据；基于校验方式对目标数据进行数据校验；如果目标数据通过数据校验，则根据待处理数据对应的下游系统以及映射方式将目标数据映射为已处理数据。上述技术方案，通过为数据处理系统配置数据处理方式，可以实现根据待处理数据所属的上游系统快速更改数据处理方式，进而实现快速处理待处理数据。据。据。

【技术实现步骤摘要】
一种数据处理方法、装置、设备和存储介质


[0001]本专利技术实施例涉及数据处理技术，尤其涉及一种数据处理方法、装置、设备和存储介质。

技术介绍

[0002]随着经济的发展和信息技术的进步，越来越多的行业正大步迈向现代化。在这其中，企业的财务相关数据直接与人们利益息息相关，因此，对于获取企业财务相关数据的准确性和及时性要求很高。当然，随着计算机技术的快速发展，财务相关数据也可以通过计算机来处理。
[0003]现有技术中，可以通过接口/消息接收上游系统发送的待处理数据，并通过编码处理待处理数据后，将待处理数据发送至计费系统，计算待处理数据对应的财务相关数据。
[0004]在实现本专利技术的过程中，发现现有技术中至少存在以下技术问题：
[0005]1、待处理数据的数量越来越大，处理待处理数据的代码越来越臃肿，且如果待处理数据的处理方式发生变化，则需要重新进行编码、测试和上线，无法实现快速响应处理方式的变化；
[0006]2、长期项目中处理待处理数据的代码经过多次编码，逻辑混乱，不利于项目的长期发展。

技术实现思路

[0007]本专利技术提供一种数据处理方法、装置、设备和存储介质，以实现对待处理数据的快速处理。
[0008]第一方面，本专利技术实施例提供了一种数据处理方法，应用于数据处理系统，所述方法包括：
[0009]根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；
[0010]基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；
[0011]基于所述校验方式对所述目标数据进行数据校验；
[0012]如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。
[0013]第二方面，本专利技术实施例还提供了一种数据处理装置，包括：
[0014]配置模块，用于根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；
[0015]补全模块，用于基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；
[0016]校验模块，用于基于所述校验方式对所述目标数据进行数据校验；
[0017]映射模块，用于如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。
[0018]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如第一方面中任一所述的数据处理方法。
[0019]第四方面，本专利技术实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的数据处理方法。
[0020]上述专利技术中的实施例具有如下优点或有益效果：
[0021]本专利技术实施例提供一种数据处理方法，应用于数据处理系统，所述方法包括：根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；基于所述校验方式对所述目标数据进行数据校验；如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。上述技术方案，可以根据待处理数据所属的上游系统，为数据处理系统配置对应的数据处理方式，使得数据处理系统与业务逻辑解耦，数据处理系统只负责定义，通过配置规则引擎脚本接入实现数据接入。进而可以基于数据处理方式对待处理数据进行数据处理，以得到已处理数据。通过少量的配置加入快速实现新业务的接入，少量的配置变更快速实现业务需求变更，进而可以实现根据待处理数据所属的上游系统快速更改数据处理方式，实现快速处理待处理数据。当然，配置即改即生效，可以在线灵活配置，实现新业务快速试错。并且大大提升人效，缩短需求的接入时间。
附图说明
[0022]图1为本专利技术实施例提供的一种数据处理系统示意图；
[0023]图2为本专利技术实施例一提供的一种数据处理方法的流程图；
[0024]图3为本专利技术实施例二提供的一种数据处理方法的流程图；
[0025]图4为本专利技术实施例二提供的一种数据处理方法中S350的流程图；
[0026]图5为本专利技术实施例二提供的一种数据处理方法的实现流程图；
[0027]图6为本专利技术实施例三提供的一种数据处理装置的结构示意图；
[0028]图7为本专利技术实施例四提供的一种计算机设备的结构示意图。
具体实施方式
[0029]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0030]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所
述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0031]图1为本专利技术实施例提供的一种数据处理系统示意图，本专利技术各实施例所提供的数据处理方法可以应用于该数据处理系统，如图1所示，该系统可以设置在适配层中，适配层可以包括上游适配模块、规则引擎模块、数据存储模块以及下游适配模块，适配层可以通过上游适配模块以及数据接口与消息队列、JSF接口、大数据推送和补数推送至少之一通信连接，以接收来自消息队列、JSF接口、大数据推送和补数推送至少之一的待处理数据。
[0032]上游适配模块可以包括接数适配器，该接数适配器可以使得从数据接口获取到的待处理数据与数据处理系统相适配；规则引擎模块可以通过配置的数据处理方式对待处理数据进行处理得到已处理数据。另外，规则引擎模块还可以对数据处理系统进行权限控制，设置可以访问数据处理系统的账号信息；数据存储模块可以对已处理数据进行暂存，并且在下游系统需要时，通过下游适配模块将已处理数据发送至对应的下游系统；下游适配模块可以包括下游适配器，该下游适配器可以使得已处理数据与下游系统相适配。该数据处理系统只有功能代码，没有业务逻辑代码，减少频繁上线可能引发的各种系统问题。
[0033]当然，该数据处理系统还可以包括记录模块和统计模块，记录模块可以用于记录数据处理过程，统计模块可以用于数据处理的数量。...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括：根据待处理数据所属的上游系统，为所述数据处理系统配置对应的数据处理方式，所述数据处理方式包括补全方式、校验方式和映射方式；基于所述补全方式对所述待处理数据进行数据补全处理，并在补全成功时得到目标数据；基于所述校验方式对所述目标数据进行数据校验；如果所述目标数据通过数据校验，则根据所述待处理数据对应的下游系统以及所述映射方式将所述目标数据映射为已处理数据。2.根据权利要求1所述的数据处理方法，其特征在于，在根据所述待处理数据所属上游系统，为所述数据处理系统配置对应的数据处理方式之前，还包括：基于各数据接口接收所述待处理数据，并根据各所述数据接口，确定所述待处理数据所属的上游系统。3.根据权利要求1所述的数据处理方法，其特征在于，基于所述补全方式对所述待处理数据进行数据补全处理，包括：基于所述上游系统和所述补全方式为所述待处理数据补全所述下游系统所需的计算数据；基于所述下游系统和所述补全方式对所述待处理数据进行单位转换和字段转换。4.根据权利要求3所述的数据处理方法，其特征在于，所述计算数据包括：固定数据和计费数据。5.根据权利要求4所述的数据处理方法，其特征在于，基于所述上游系统和所述补全方式，为所述待处理数据补全所述下游系统所需的计算数据，包括：从所述上游系统获取上游标准数据，并对所述上游标准数据进行拆解，得到各字段的所述上游标准数据，各字段的所述上游标准数据包括所述固定数据和所述计费数据；将所述固定数据和所述计费数据补全至所述待处理数据。6.根据权利要求1所述的数据处理方法，其特征在于，基于所述补全方式对所述待处理数据进行数据补全处理，还包括：根据所述上游系统和所述补全方式为所述待处理数据中的预设字段进行赋值；根据所述下游系统和所述补全方式将所述待处理数据中的时间信息转换为所述下游系统所需的预设时间格式。7.根据权利要求1所述的数据处理方法，其特征在于，基于所述校验方式对所述目标数据进行数据校验，包括：基于所述校验方式对所述目标数据进行类型校验、非空校验、范围校验、长度校验、枚举校验、字符校验...

【专利技术属性】
技术研发人员：吴尚卿，臧义林，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：