本申请涉及一种数据处理方法、装置、计算机设备及存储介质，应用于计算机技术领域，可用于金融科技领域或其他相关领域。方法包括：获取数据处理节点对应的各数据库，并确定各数据库对应的数据源；将各数据源加载至动态数据源配置程序中，并将各数据库与各数据源之间的对应关系，添加至动态数据源配置程序的配置文件中，其中，动态数据源配置程序用于在数据库调用动态数据源配置程序时，根据配置文件确定数据库对应的目标数据源，并将目标数据源设置为动态数据源配置程序的当前数据源；向各数据库下发作业执行指令，以使得各数据库通过调用动态数据源配置程序，从当前数据源中读取数据。采用本方法能够节省数据处理节点资源。
【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种数据处理方法、装置、计算机设备及存储介质。
技术介绍
1、随着it技术的飞速发展，分布式数据存储方式成为分布式体系下的主流数据存储方式。但数据库上游应用可能并未使用分布式体系，导致上游应用向分布式数据库输送的是未经分片的批量数据文件。
2、现有技术中，通常为每一个分布式数据库设置一个用于导入数据的数据处理节点，数据处理节点根据分片规则确定本节点对应的数据库需要储存的子文件，将子文件导入至数据处理节点对应的数据库中。
3、然而，这种方式存在设置数据处理节点过多，导致资源浪费的问题。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种数据处理方法、装置、计算机设备及存储介质。
2、第一方面，本申请提供了一种数据处理方法，其特征在于，应用于数据处理节点，所述方法包括：
3、获取所述数据处理节点对应的各数据库，并确定各所述数据库对应的数据源；
4、将各所述数据源加载至动态数据源配置程序中，并将各所述数据库与各所述数据源之间的对应关系，添加至所述动态数据源配置程序的配置文件中，其中，所述动态数据源配置程序用于在所述数据库调用所述动态数据源配置程序时，根据所述配置文件确定所述数据库对应的目标数据源，并将所述目标数据源设置为所述动态数据源配置程序的当前数据源；
5、向各所述数据库下发作业执行指令，以使得各所述数据库通过调用所述动态数据源配置程序，从所述当前数据源中读取数据。
>6、在其中一个实施例中，所述将各所述数据库与各所述数据源之间的对应关系，添加至所述动态数据源配置程序的配置文件中，包括：7、分别建立各所述数据库对应的并行线程，并将各所述并行线程与各所述数据源之间的对应关系，添加至所述动态数据源配置程序的配置文件中，以使得所述数据库通过所述并行线程调用所述动态数据源配置程序，所述动态数据源配置程序根据调用所述动态数据源配置程序的并行分配线程确定当前数据源。
8、在其中一个实施例中，所述向各所述数据库下发作业执行指令之前，所述方法还包括：
9、分别在各所述数据库中插入作业执行日志，以使得各所述数据库分别在从所述目标数据源中读取数据后，在所述作业执行日志中更新数据读取结果；
10、读取各所述数据库中的作业执行日志，并根据各所述数据库的所述数据读取结果执行目标操作。
11、在其中一个实施例中，所述根据各所述数据库的所述数据读取结果执行目标操作，包括：
12、在存在所述数据读取结果为异常结果的第一目标数据库的情况下，重新向所述第一目标数据库下发作业执行指令；或者，
13、在全部所述数据读取结果为正常结果的情况下，清空所述动态数据源配置程序中加载的各所述数据源、及清空所述配置文件中各所述数据库与各所述数据源之间的对应关系。
14、在其中一个实施例中，所述数据处理节点对应的各数据库是控制节点根据所述数据处理节点的位置、所述数据处理节点的负载、所述数据处理节点的网络参数中的至少一项确定的。
15、在其中一个实施例中，所述方法还包括：
16、在各所述数据库从所述当前数据源中读取数据的过程中，检测各所述数据库对所述数据处理节点造成的目标负载，及各所述数据库与所述数据处理节点通信时的目标网络参数；
17、根据所述目标负载及所述目标网络参数，从各所述数据库中确定第二目标数据库；
18、将所述第二目标数据库上报至所述控制节点，以使得所述控制节点根据所述第二目标数据库，对所述数据处理节点对应的各数据库进行调整处理。
19、在其中一个实施例中，所述根据所述目标负载及所述目标网络参数，从各所述数据库中确定第二目标数据库，包括：
20、针对任一所述数据库，在所述数据库对应的目标负载大于负载阈值，和/或所述数据库对应的目标网络参数大于目标网络参数阈值的情况下，将所述数据库作为第二目标数据库。
21、在其中一个实施例中，所述根据所述目标负载及所述目标网络参数，从各所述数据库中确定第二目标数据库，包括：
22、针对任一所述数据库，根据所述数据库对应的目标网络参数，确定所述数据库对应的网络参数质量值；
23、对各所述数据库按照所述网络参数质量值从低到高进行排序，得到数据库队列，遍历所述数据库队列，将当前遍历到的数据库作为第二目标数据库，并将所述数据处理节点的当前负载与所述当前遍历到的数据库的所述目标负载的差，作为更新后的当前负载，直至更新后的当前负载小于或者等于负载阈值为止。
24、第二方面，本申请还提供了一种数据处理装置，应用于数据处理节点。所述装置包括：
25、获取模块，用于获取所述数据处理节点对应的各数据库，并确定各所述数据库对应的数据源；
26、加载模块，用于将各所述数据源加载至动态数据源配置程序中，并将各所述数据库与各所述数据源之间的对应关系，添加至所述动态数据源配置程序的配置文件中，其中，所述动态数据源配置程序用于在所述数据库调用所述动态数据源配置程序时，根据所述配置文件确定所述数据库对应的目标数据源，并将所述目标数据源设置为所述动态数据源配置程序的当前数据源；
27、下发模块，用于向各所述数据库下发作业执行指令，以使得各所述数据库通过调用所述动态数据源配置程序，从所述当前数据源中读取数据。
28、在其中一个实施例中，所述加载模块，还用于：
29、分别建立各所述数据库对应的并行线程，并将各所述并行线程与各所述数据源之间的对应关系，添加至所述动态数据源配置程序的配置文件中，以使得所述数据库通过所述并行线程调用所述动态数据源配置程序，所述动态数据源配置程序根据调用所述动态数据源配置程序的并行分配线程确定当前数据源。
30、在其中一个实施例中，所述装置还包括：
31、插入模块，用于分别在各所述数据库中插入作业执行日志，以使得各所述数据库分别在从所述目标数据源中读取数据后，在所述作业执行日志中更新数据读取结果；
32、读取模块，用于读取各所述数据库中的作业执行日志，并根据各所述数据库的所述数据读取结果执行目标操作。
33、在其中一个实施例中，所述读取模块，还用于：
34、在存在所述数据读取结果为异常结果的第一目标数据库的情况下，重新向所述第一目标数据库下发作业执行指令；或者，
35、在全部所述数据读取结果为正常结果的情况下，清空所述动态数据源配置程序中加载的各所述数据源、及清空所述配置文件中各所述数据库与各所述数据源之间的对应关系。
36、在其中一个实施例中，所述数据处理节点对应的各数据库是控制节点根据所述数据处理节点的位置、所述数据处理节点的负载、所述数据处理节点的网络参数中的至少一项确定的。
37、在其中一个实施例中，所述装置还包括：
38、检测模块本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据处理节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将各所述数据库与各所述数据源之间的对应关系，添加至所述动态数据源配置程序的配置文件中，包括：
3.根据权利要求1所述的方法，其特征在于，所述向各所述数据库下发作业执行指令之前，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述根据各所述数据库的所述数据读取结果执行目标操作，包括：
5.根据权利要求1所述的方法，其特征在于，所述数据处理节点对应的各数据库是控制节点根据所述数据处理节点的位置、所述数据处理节点的负载、所述数据处理节点的网络参数中的至少一项确定的。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标负载及所述目标网络参数，从各所述数据库中确定第二目标数据库，包括：
8.根据权利要求6所述的方法，其特征在于，所述根据所述目标负载及所述目标网络参数，从各所述数据库中确定第二目标数据库，包括：
>
9.一种数据处理装置，其特征在于，应用于数据处理节点，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
...
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将各所述数据库与各所述数据源之间的对应关系，添加至所述动态数据源配置程序的配置文件中，包括：
3.根据权利要求1所述的方法，其特征在于，所述向各所述数据库下发作业执行指令之前，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述根据各所述数据库的所述数据读取结果执行目标操作，包括：
5.根据权利要求1所述的方法，其特征在于，所述数据处理节点对应的各数据库是控制节点根据所述数据处理节点的位置、所述数据处理节点的负载、所述数据处理节点的网络参数中的至少一项确定的。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在...
【专利技术属性】
技术研发人员：李秋爽，张宏根，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。