【技术实现步骤摘要】
本专利技术实施例涉及大数据，尤其涉及一种数据处理方法、装置、设备及介质。
技术介绍
1、随着大数据技术的发展，系统之间的数据对接形式也呈多样性发展，例如，消息对接、数据库之间数据对接、数据文件对接等等。
2、目前，系统之间的数据对接方式，通常采用的是针对于每种数据对接类型，分别部署一套处理装置，或消息处理，或文件处理，存在数据处理成本高，通用性差的问题。
技术实现思路
1、本专利技术实施例提供一种数据处理方法、装置、设备及介质，以实现在降低数据处理成本的同时，支持多种对接类型的数据处理，提高数据对接的通用性。
2、第一方面，本专利技术实施例提供了一种数据处理方法，该方法包括：
3、在从源系统中获取待处理数据时，确定所述待处理数据所对应的目标对接类型；
4、确定与所述目标对接类型相对应的目标运行环境，并加载所述目标运行环境；
5、在所述目标运行环境下，基于前置校验规则对所述待处理数据初步校验，并在校验结果与预设校验结果相一致的条件下，将所述待处理数据存储至临时数据表中；
6、在满足数据后置校验的条件时，从所述临时数据表中调取所述待处理数据，并依据与所述待处理数据相对应的后置校验规则后置校验处理，得到目标校验结果；
7、在所述目标校验结果与所述预设校验结果相一致时，将所述待处理数据存储至目标缓存位置，并将所述待处理数据从所述临时数据表中移除。
8、第二方面，本专利技术实施例还提供了一种数据处
9、目标对接类型确定模块，用于在从源系统中获取待处理数据时，确定所述待处理数据所对应的目标对接类型；
10、目标运行环境确定模块，用于确定与所述目标对接类型相对应的目标运行环境，并加载所述目标运行环境；
11、前置校验模块，用于在所述目标运行环境下，基于前置校验规则对所述待处理数据初步校验，并在校验结果与预设校验结果相一致的条件下，将所述待处理数据存储至临时数据表中；
12、后置校验模块，用于在满足数据后置校验的条件时，从所述临时数据表中调取所述待处理数据，并依据与所述待处理数据相对应的后置校验规则后置校验处理，得到目标校验结果；
13、数据处理模块，用于在所述目标校验结果与所述预设校验结果相一致时，将所述待处理数据存储至目标缓存位置，并将所述待处理数据从所述临时数据表中移除。
14、第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的数据处理方法。
15、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的数据处理方法。
16、第五方面，本专利技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本专利技术实施例中任一所述的数据处理方法。
17、本专利技术实施例中，通过在从源系统中获取待处理数据时，确定待处理数据所对应的目标对接类型；确定与目标对接类型相对应的目标运行环境，并加载目标运行环境；在目标运行环境下，基于前置校验规则对待处理数据初步校验，并在校验结果与预设校验结果相一致的条件下，将待处理数据存储至临时数据表中；在满足数据后置校验的条件时，从临时数据表中调取待处理数据，并依据与待处理数据相对应的后置校验规则后置校验处理，得到目标校验结果；在目标校验结果与预设校验结果相一致时，将待处理数据存储至目标缓存位置，并将待处理数据从临时数据表中移除，解决了现有技术中针对于每种数据对接类型分别部署一套处理装置进行数据处理，导致数据处理成本高，通用性差的问题，实现了通过从源系统获取的待处理数据所对应的目标对接类型，自动适配与目标对接类型相对应的目标运行环境，将待处理数据分发至目标运行环境，实现通过一套系统支持多种对接类型的数据处理，提高数据处理通用性的同时，降低了数据处理成本。进一步的，在目标运行环境下，使用前置校验规则对待处理数据初步校验，确保在数据处理之前，待处理数据的完整性和准确性，在前置校验通过后，将待处理数据进行临时存储，进而，依据与待处理数据相对应的后置校验规则对待处理数据进行后置校验处理，确保在数据处理之后，待处理数据的完整性和准确性，在后置校验通过后，将待处理数据存储至目标缓存位置，保证了数据质量，并将待处理数据从临时数据表中移除，降低了系统资源压力。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，所述确定至少一种数据源以及所述数据源所对应的关联信息，包括：
4.根据权利要求2所述的方法，其特征在于，还包括：
5.根据权利要求1所述的方法，其特征在于，所述确定所述待处理数据所对应的目标对接类型，包括：
6.根据权利要求1所述的方法，其特征在于，所述确定与所述目标对接类型相对应的目标运行环境，并加载所述目标运行环境，包括：
7.根据权利要求1所述的方法，其特征在于，所述基于前置校验规则对所述待处理数据初步校验，并在校验结果与预设校验结果相一致的条件下，将所述待处理数据存储至临时数据表中，包括：
8.根据权利要求7所述的方法，其特征在于，还包括：
9.根据权利要求1所述的方法，其特征在于，所述在满足数据后置校验的条件时，从所述临时数据表中调取所述待处理数据，并依据与所述待处理数据相对应的后置校验规则后置校验处理，得到目标校验结果，包括：
11.根据权利要求1所述的方法，其特征在于，还包括：
12.一种数据处理装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-11中任一项所述的数据处理方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的数据处理方法。
15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-11中任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求2所述的方法，其特征在于，所述确定至少一种数据源以及所述数据源所对应的关联信息，包括：
4.根据权利要求2所述的方法，其特征在于，还包括：
5.根据权利要求1所述的方法，其特征在于，所述确定所述待处理数据所对应的目标对接类型，包括：
6.根据权利要求1所述的方法，其特征在于，所述确定与所述目标对接类型相对应的目标运行环境，并加载所述目标运行环境，包括：
7.根据权利要求1所述的方法，其特征在于，所述基于前置校验规则对所述待处理数据初步校验，并在校验结果与预设校验结果相一致的条件下，将所述待处理数据存储至临时数据表中，包括：
8.根据权利要求7所述的方法，其特征在于，还包括：
9.根据权利要求1所述的方法，其特征在于，所...
【专利技术属性】
技术研发人员：王德宗，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。