数据传输方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种数据传输方法、装置、计算机设备和存储介质。本申请涉及人工智能技术领域。方法包括：获取目标数据库、传输任务、以及传输任务对应的各业务数据信息；将各业务数据信息划分为多个待传输数据组，并将传输任务划分为多个子传输任务；分别调取每个待传输数据组中的业务数据的数据库标识对应的源数据库的业务数据，并将各业务数据传输至目标数据库；在满足预设条件的情况下，调整各待传输数据组中的业务数据信息，并返回上述步骤，直到所有业务数据均传输至目标数据库。采用本方法能够提升多个源数据库中进行跨源传输的效率。能够提升多个源数据库中进行跨源传输的效率。能够提升多个源数据库中进行跨源传输的效率。

【技术实现步骤摘要】
数据传输方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能
，特别是涉及一种数据传输方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着银行金融业务的快速发展，金融业务数据也日益剧增，而对于银行业来说，金融业务数据已经是银行的重要资产之一，为了支持多类业务场景的不同需求，银行往往会将金融业务数据按照每个金融业务场景的调用金融业务数据的方式(批量、联机)、以及数据量大小(大规模数据、小规模数据)分别存储至不同类型的数据库内(数据库的类型按照数据库单位存储数据的大小、数据存储方式、数据对应的调用场景进行划分得到的类别)。但是，由于银行业务的复杂性，分类存储无法完全满足金融业务的调用金融业务数据的需求，所以金融业务为调取不同的金融业务数据时，需要进行跨源数据调度(即跨数据库来源进行金融业数据调度)。
[0003]传统跨源传输方式是通过串行方式直接读取源数据库内的业务数据，并逐个读取每个源数据库内的业务数据，从而得到多个源数据库的业务数据。但是这种数据调度方式为串行执行，传输速率较慢，影响整个调用金融业务数据链路的时效，从而导致跨源传输金融业务数据效率较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种数据传输方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种数据传输方法。所述方法包括：
[0006]获取目标数据库、传输任务、以及所述传输任务对应的各业务数据信息；所述业务数据信息包括业务数据的数据库标识、以及业务数据的调度信息；
[0007]基于每个业务数据的数据库标识对应的源数据库，将各所述业务数据信息划分为多个待传输数据组，并基于每个待传输数据组中的业务数据信息，将所述传输任务划分为多个子传输任务；
[0008]基于每个源数据库的表索引信息，通过每个待传输数据组对应的子传输任务，分别调取每个待传输数据组中的业务数据的数据库标识对应的源数据库的业务数据，并将各所述业务数据传输至所述目标数据库；
[0009]在满足预设条件的情况下，获取各所述待传输数据组的数据传输进展信息，并基于所述数据传输进展信息调整各所述待传输数据组中的业务数据信息，并返回执行将各所述业务数据传输至所述目标数据库步骤，直到所有业务数据均传输至所述目标数据库。
[0010]可选的，所述获取目标数据库、传输任务、以及所述传输任务对应的各业务数据信息之后，还包括：
[0011]针对每个业务数据的调度信息中的源数据库标识，查询所述业务数据的源数据库
标识对应的源数据库；
[0012]调取所述源数据库的表结构信息，并判断所述源数据库是否存在表索引信息；
[0013]在所述源数据库不存在表索引信息的情况下，基于所述源数据库包含的各业务数据、以及所述表结构信息，建立所述源数据库的表索引信息；
[0014]根据所有源数据库的表结构信息、以及所有源数据库的表索引信息，建立所述目标数据库的目标表结构信息。
[0015]可选的，所述基于每个业务数据的数据库标识对应的源数据库，将各所述业务数据信息划分为多个待传输数据组，包括：
[0016]基于每个业务数据的数据库标识对应的源数据库，对各所述业务数据进行分类处理，得到各源数据库对应的初始待传输数据组；
[0017]将满足所有初始待传输数据组中包含的业务数据信息的数量平均值区间的目标初始待传输数据组，作为待传输数据组。
[0018]可选的，所述方法还包括：
[0019]在所有初始待传输数据组中，筛选包含的业务数据信息的数量不属于目标数值区间的目标初始待传输数据组；
[0020]基于所述目标数值区间，在各所述目标初始待传输数据中确定待调整的目标传输数据，并根据对各所述目标初始待传输数据中的目标传输数据，对所述各目标初始待传输数据组进行数据均衡处理，得到待传输数据组。
[0021]可选的，所述基于每个待传输数据组中的业务数据信息，将所述传输任务划分为多个子传输任务，包括：
[0022]针对每个待传输数据组，查询所述待传输数据组中相同源数据库的业务数据信息的数量；
[0023]将所述传输任务中，所述待传输数据组包含的所有业务数据信息对应的单位传输任务，作为所述待传输数据组的初始子传输任务；
[0024]将所述初始子传输任务，按照所述待传输数据组中的同源数据库的业务数据信息的数量从大到小的顺序，对每个单位传输任务的执行顺序进行排序，得到子传输任务。
[0025]可选的，所述在满足预设条件的情况下，获取各所述待传输数据组的数据传输进展信息，并基于所述数据传输进展信息调整各所述待传输数据组中的业务数据，包括：
[0026]在满足预设时段的情况下，分别查询每个待传输数据组对应的未传输的业务数据的数量、每个待传输数据组对应的未传输的业务数据对应的源数据库、以及每个待传输数据组满足预设传输负荷上限时对应的业务数据信息的最大数量，并针对每个待传输数据组，判断所述待传输数据组是否达到预设传输负荷上限；
[0027]在各所述待传输数据组中，筛选达到预设传输负荷上限的目标待传输数据组，并将所述目标待传输数据组中的业务数据信息，按照源数据库的类别进行划分，得到各子目标待传输数据组；
[0028]针对每个目标待传输数据组，按照所述目标待传输数据组的预设传输负荷上限对应的业务数据信息的最大数量，在所述目标待传输数据组的各子目标待传输数据组中，筛选所述目标待传输数据组的第一子目标待传输数据组，并将所述目标待传输数据组的第一子目标待传输数据组，添加至未满足预设传输负荷上限的待传输数据组。
[0029]可选的，所述业务数据的调度信息包括所述业务数据的标识信息，所述方法还包括：
[0030]将已传输的各业务数据的标识信息填充至所述目标数据库的目标表结构信息中，得到目标数据清单；
[0031]基于所述目标数据清单，建立所述目标数据清单与各所述业务数据的索引关系，得到所述目标数据库的表索引信息。
[0032]第二方面，本申请还提供了一种数据传输装置。所述装置包括：
[0033]获取模块，用于获取目标数据库、传输任务、以及所述传输任务对应的各业务数据信息；所述业务数据信息包括业务数据的数据库标识、以及业务数据的调度信息；
[0034]划分模块，用于基于每个业务数据的数据库标识对应的源数据库，将各所述业务数据信息划分为多个待传输数据组，并基于每个待传输数据组中的业务数据信息，将所述传输任务划分为多个子传输任务；
[0035]传输模块，用于基于每个源数据库的表索引信息，通过每个待传输数据组对应的子传输任务，分别调取每个待传输数据组中的业务数据的数据库标识对应的源数据库的业务数据，并将各所述业务数据传输至所述目标数据库；
[0036]调整模块，用于在满足预设条件的情况下，获取各所述待传输数据组的数据传输进展信息，并基于所述数据传输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，所述方法包括：获取目标数据库、传输任务、以及所述传输任务对应的各业务数据信息；所述业务数据信息包括业务数据的数据库标识、以及业务数据的调度信息；基于每个业务数据的数据库标识对应的源数据库，将各所述业务数据信息划分为多个待传输数据组，并基于每个待传输数据组中的业务数据信息，将所述传输任务划分为多个子传输任务；基于每个源数据库的表索引信息，通过每个待传输数据组对应的子传输任务，分别调取每个待传输数据组中的业务数据的数据库标识对应的源数据库的业务数据，并将各所述业务数据传输至所述目标数据库；在满足预设条件的情况下，获取各所述待传输数据组的数据传输进展信息，并基于所述数据传输进展信息调整各所述待传输数据组中的业务数据信息，并返回执行将各所述业务数据传输至所述目标数据库步骤，直到所有业务数据均传输至所述目标数据库。2.根据权利要求1所述的方法，其特征在于，所述获取目标数据库、传输任务、以及所述传输任务对应的各业务数据信息之后，还包括：针对每个业务数据的调度信息中的源数据库标识，查询所述业务数据的源数据库标识对应的源数据库；调取所述源数据库的表结构信息，并判断所述源数据库是否存在表索引信息；在所述源数据库不存在表索引信息的情况下，基于所述源数据库包含的各业务数据、以及所述表结构信息，建立所述源数据库的表索引信息；根据所有源数据库的表结构信息、以及所有源数据库的表索引信息，建立所述目标数据库的目标表结构信息。3.根据权利要求1所述的方法，其特征在于，所述基于每个业务数据的数据库标识对应的源数据库，将各所述业务数据信息划分为多个待传输数据组，包括：基于每个业务数据的数据库标识对应的源数据库，对各所述业务数据进行分类处理，得到各源数据库对应的初始待传输数据组；将满足所有初始待传输数据组中包含的业务数据信息的数量平均值区间的目标初始待传输数据组，作为待传输数据组。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在所有初始待传输数据组中，筛选包含的业务数据信息的数量不属于目标数值区间的目标初始待传输数据组；基于所述目标数值区间，在各所述目标初始待传输数据中确定待调整的目标传输数据，并根据对各所述目标初始待传输数据中的目标传输数据，对所述各目标初始待传输数据组进行数据均衡处理，得到待传输数据组。5.根据权利要求1所述的方法，其特征在于，所述基于每个待传输数据组中的业务数据信息，将所述传输任务划分为多个子传输任务，包括：针对每个待传输数据组，查询所述待传输数据组中相同源数据库的业务数据信息的数量；将所述传输任务中，所述待传输数据组包含的所有业务数据信息对应的单位传输任务，作为所述待传输数据组的初始子传输任务；
将所述初始子传输任务，按照所述待传输数据组中的同源数据库的业务数据信息的数量从大到小的顺序，对每个单位传输任务的执行顺序进行排序，得到子传输任务。6.根据权利...

【专利技术属性】
技术研发人员：钱璞昕，单升起，黄萌，杨济银，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：