本申请公开了一种数据传输方法、装置、存储介质以及电子设备。涉及大数据领域。该方法包括：确定目标系统的待传输数据的初始传输时长；确定目标数据库集群中用于接收待传输数据的接收端口以及数量；确定待传输数据的目标数据量，设置每个接收端口的初始接收数据量，根据初始接收数据量进行待传输数据的传输，记录数据传输时长；在数据传输时长达到预设时长的情况下，获取每个接收端口的未接收数据量，对每个接收端口的未接收数据量进行调整；根据调整后数据量继续传输待传输数据中的剩余数据，更新数据传输时长，直至每个接收端口均不存在未接收数据。通过本申请，解决了相关技术中将数据导入数据库系统时的数据导入速度较低的问题。问题。问题。
【技术实现步骤摘要】
数据传输方法、装置、存储介质以及电子设备
[0001]本申请涉及大数据领域，具体而言，涉及一种数据传输方法、装置、存储介质以及电子设备。
技术介绍
[0002]近年来，Clickhouse(一个用于联机分析的列式数据库管理系统)以其卓越的分析能力、极好的线性扩容能力和丰富的功能，成为近年来实时分析数据库领域的常用数据管理系统。除了列式存储、分布式架构等基础特性外，Clickhouse基于向量化执行引擎与多线程并行处理，使其查询性能较传统数据库提升明显。
[0003]然而，Clickhouse的优势在于数据的实时查询，不适合大规模批量计算与数据更新，使用时需要将已经加工完成的数据从其他数据库中导入后使用。当前在导入数据的时候，例如，在HIVE完成大宽表的离线加工，然后将表数据导入Clickhouse时，会由于大宽表字段比较多，数据量比较大，导致单并发直接导入数据操作耗时较长，影响业务进行时的数据使用，进而影响业务进程。
[0004]针对相关技术中将数据导入数据库系统时的数据导入速度较低的问题，目前尚未提出有效的解决方案。
技术实现思路
[0005]本申请提供一种数据传输方法、装置、存储介质以及电子设备，以解决相关技术中将数据导入数据库系统时的数据导入速度较低的问题。
[0006]根据本申请的一个方面，提供了一种数据传输方法。该方法包括：确定目标系统中的待传输数据，并确定待传输数据的初始传输时长；确定目标数据库集群中的数据库节点数量，确定在初始传输时长内传输待传输数据所需的数据库节点数量，得到第一节点数量，并根据第一节点数量确定用于接收待传输数据的接收端口，得到P个接收端口，其中，每个数据库节点设置有接收端口，第一节点数量小于等于目标数据库集群中的数据库节点数量；确定待传输数据的数据量，得到目标数据量，根据目标数据量设置每个接收端口的初始接收数据量，得到P个初始接收数据量，根据P个初始接收数据量进行待传输数据的传输，并记录数据传输时长；在数据传输时长达到预设时长的情况下，获取每个接收端口的未接收数据量，得到P个未接收数据量，对每个接收端口的未接收数据量进行调整，得到P个调整后数据量，其中，未接收数据量小于等于初始接收数据量；根据P个调整后数据量继续传输待传输数据中的剩余数据，并更新数据传输时长，直至每个接收端口均不存在未接收数据。
[0007]可选地，确定在初始传输时长内传输待传输数据所需的数据库节点数量，得到第一节点数量，并根据第一节点数量确定用于接收待传输数据的接收端口，得到P个接收端口包括：根据初始传输时长在预设表中确定对应的数据库节点数量，得到第一节点数量，其中，预设表中包括多个初始传输时长，以及每个初始传输时长对应的数据库节点数量，初始传输时长和数据库节点数量成正比例关系；判断数据库节点数量是否大于第一节点数量；
在数据库节点数量小于等于第一节点数量的情况下，获取目标数据库集群中的所有数据库节点的接收端口，得到P个接收端口；在数据库节点数量大于第一节点数量的情况下，从目标数据库集群中任意选取第一节点数量的数据库节点，并获取每个数据库节点所属的接收端口，得到P个接收端口。
[0008]可选地，在判断数据库节点数量是否大于第一节点数量之后，该方法还包括：在数据库节点数量大于第一节点数量的情况下，将第一节点数量确定为接收端口的数量P，并确定目标数据库集群中的每个数据库节点的数据接收速率，得到多个数据接收速率；在多个数据接收速率中由大至小选取P个速率值，并确定每个速率值对应的数据库节点，得到P个目标数据库；获取每个目标数据库的接收端口，得到P个接收端口。
[0009]可选地，根据目标数据量设置每个接收端口的初始接收数据量包括：获取每个接收端口所属的数据库节点的数据接收速率，得到多个接收速率；计算相邻接收端口之间的接收速率比值；根据接收速率比值和目标数据量确定每个接收端口的初始接收数据量，其中，初始接收数据量和接收速率成正比。
[0010]可选地，在获取每个接收端口的未接收数据量，得到P个未接收数据量之后，该方法还包括：根据每个接收端口的未接收数据量、初始接收数据量和预设时长确定数据接收时长，得到P个数据接收时长；根据初始传输时长和预设时长确定剩余传输时长；判断P个数据接收时长是否全部小于剩余传输时长；在P个数据接收时长全部小于等于剩余传输时长的情况下，执行根据P个调整后数据量继续传输待传输数据中的剩余数据，并更新数据传输时长的步骤；在P个数据接收时长中存在大于剩余传输时长的情况下，执行对每个接收端口的未接收数据量进行调整，得到P个调整后数据量的步骤。
[0011]可选地，根据每个接收端口的未接收数据量、初始接收数据量和预设时长确定数据接收时长，得到P个数据接收时长包括：根据每个接收端口的未接收数据量和初始接收数据量计算已接收数据量；根据每个接收端口的已接收数据量和预设时长计算当前传输速率；根据每个接收端口的当前传输速率和未接收数据量计算每个接收端口的数据接收时长，得到P个数据接收时长。
[0012]可选地，对每个接收端口的未接收数据量进行调整，得到P个调整后数据量包括：将P个未接收数据量相加，得到第一数据接收量；获取每个接收端口所属的数据库节点的数据接收速率，得到多个接收速率；计算相邻接收端口之间的接收速率比值；根据接收速率比值和第一数据接收量确定每个接收端口的调整后数据量，其中，调整后数据量和接收速率成正比。
[0013]根据本申请的另一方面，提供了一种数据传输装置。该装置包括：第一确定单元，用于确定目标系统中的待传输数据，并确定待传输数据的初始传输时长；第二确定单元，用于确定目标数据库集群中的数据库节点数量，确定在初始传输时长内传输待传输数据所需的数据库节点数量，得到第一节点数量，并根据第一节点数量确定用于接收待传输数据的接收端口，得到P个接收端口，其中，每个数据库节点设置有接收端口，第一节点数量小于等于目标数据库集群中的数据库节点数量；设置单元，用于确定待传输数据的数据量，得到目标数据量，根据目标数据量设置每个接收端口的初始接收数据量，得到P个初始接收数据量，根据P个初始接收数据量进行待传输数据的传输，并记录数据传输时长；调整单元，用于在数据传输时长达到预设时长的情况下，获取每个接收端口的未接收数据量，得到P个未接
收数据量，对每个接收端口的未接收数据量进行调整，得到P个调整后数据量，其中，未接收数据量小于等于初始接收数据量；传输单元，用于根据P个调整后数据量继续传输待传输数据中的剩余数据，并更新数据传输时长，直至每个接收端口均不存在未接收数据。
[0014]根据本专利技术的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种数据传输方法。
[0015]根据本专利技术的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种数据传输方法。
[0016]通过本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：确定目标系统中的待传输数据，并确定所述待传输数据的初始传输时长；确定目标数据库集群中的数据库节点数量，确定在所述初始传输时长内传输所述待传输数据所需的数据库节点数量，得到第一节点数量，并根据所述第一节点数量确定用于接收所述待传输数据的接收端口，得到P个接收端口，其中，每个数据库节点设置有接收端口，所述第一节点数量小于等于所述目标数据库集群中的数据库节点数量；确定所述待传输数据的数据量，得到目标数据量，根据所述目标数据量设置每个接收端口的初始接收数据量，得到P个初始接收数据量，根据所述P个初始接收数据量进行待传输数据的传输，并记录数据传输时长；在所述数据传输时长达到预设时长的情况下，获取每个接收端口的未接收数据量，得到P个未接收数据量，对每个接收端口的未接收数据量进行调整，得到P个调整后数据量，其中，所述未接收数据量小于等于所述初始接收数据量；根据所述P个调整后数据量继续传输所述待传输数据中的剩余数据，并更新数据传输时长，直至每个接收端口均不存在未接收数据。2.根据权利要求1所述的方法，其特征在于，确定在所述初始传输时长内传输所述待传输数据所需的数据库节点数量，得到第一节点数量，并根据所述第一节点数量确定用于接收所述待传输数据的接收端口，得到P个接收端口包括：根据所述初始传输时长在预设表中确定对应的数据库节点数量，得到第一节点数量，其中，所述预设表中包括多个初始传输时长，以及每个初始传输时长对应的数据库节点数量，所述初始传输时长和所述数据库节点数量成正比例关系；判断所述数据库节点数量是否大于所述第一节点数量；在所述数据库节点数量小于等于所述第一节点数量的情况下，获取所述目标数据库集群中的所有数据库节点的接收端口，得到P个接收端口；在所述数据库节点数量大于所述第一节点数量的情况下，从所述目标数据库集群中任意选取第一节点数量的数据库节点，并获取每个数据库节点所属的接收端口，得到P个接收端口。3.根据权利要求2所述的方法，其特征在于，在判断所述数据库节点数量是否大于所述第一节点数量之后，所述方法还包括：在所述数据库节点数量大于所述第一节点数量的情况下，将所述第一节点数量确定为所述接收端口的数量P，并确定所述目标数据库集群中的每个数据库节点的数据接收速率，得到多个数据接收速率；在所述多个数据接收速率中由大至小选取P个速率值，并确定每个速率值对应的数据库节点，得到P个目标数据库；获取每个目标数据库的接收端口，得到P个接收端口。4.根据权利要求1所述的方法，其特征在于，根据所述目标数据量设置每个接收端口的初始接收数据量包括：获取每个接收端口所属的数据库节点的数据接收速率，得到多个接收速率；计算相邻接收端口之间的接收速率比值；根据所述接收速率比值和所述目标数据量确定每个接收端口的初始接收数据量，其
中，所述初始接收数据量和所述接收速率成正比。5.根据权利要求1所述的方法，其特征在于，在获取每个接收端口的未接收数据量，得到P个未接收数据量之后，所述方法还包括：根据每个接收端口的未接收数据量、初始接收数据量...
【专利技术属性】
技术研发人员：侯义福，聂冬琴，赵喆，王备，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。