一种数据传输的控制方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据传输的控制方法、装置、设备及存储介质。其中，该方法包括：实时获取数据采集系统发送的话单文件，确定所述话单文件中的话单行数量；根据所述话单行数量，确定在预设数据传输周期内话单行的平均输入速率；根据所述平均输入速率将所述话单行输出至KAFKA集群。根据话单行的输入速率控制话单行的输出，解决单个时间段内数据量抖动大的问题，避免数据丢失，实现数据量的平滑波动，提高数据传输的效率和精度。高数据传输的效率和精度。高数据传输的效率和精度。

【技术实现步骤摘要】
一种数据传输的控制方法、装置、设备及存储介质


[0001]本专利技术实施例涉及通信
，尤其涉及一种数据传输的控制方法、装置、设备及存储介质。

技术介绍

[0002]在电信采集系统中，xDR(x Detail Record，详细记录)话单是各层系统之间数据传递的关键数据。底层的数据采集层通常使用文件作为xDR话单的承载方式，而上层应用层通常使用KAFKA(卡夫卡)作为高性能消息队列。因此需要存在KAFKA生产者提供转发服务，将xDR文件内容逐条转发到KAFKA集群中。
[0003]现有技术中，在获取到话单文件时，可以集中算力对话单文件进行处理，KAFKA生产者会尽快将全部文件输出。但是这种方法会将数据压力直接推到上层应用，对于KAFKA集群或KAFKA消费者来说，这种突发的峰值是集群面临的难题。
[0004]还可以将KAFKA生产者的数据输出速度设定为预设数值，但是在采集层话单文件增加的情况下，会存在数据积压，造成业务数据的延迟和丢失，影响数据传输的效率和精度。

技术实现思路

[0005]本专利技术实施例提供了一种数据传输的控制方法、装置、设备及存储介质，以提高数据传输的效率和精度。
[0006]根据本专利技术的一方面，提供了一种数据传输的控制方法，该方法由卡夫卡KAFKA生产者执行，包括：
[0007]实时获取数据采集系统发送的话单文件，确定所述话单文件中的话单行数量；
[0008]根据所述话单行数量，确定在预设数据传输周期内话单行的平均输入速率；
>[0009]根据所述平均输入速率将所述话单行输出至KAFKA集群。
[0010]根据本专利技术的另一方面，提供了一种数据传输的控制装置，该装置配置于KAFKA生产者上，包括：
[0011]话单行数量确定模块，用于实时获取数据采集系统发送的话单文件，确定所述话单文件中的话单行数量；
[0012]平均输入速率确定模块，用于根据所述话单行数量，确定在预设数据传输周期内话单行的平均输入速率；
[0013]话单行输出模块，用于根据所述平均输入速率将所述话单行输出至KAFKA集群。
[0014]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的
数据传输的控制方法。
[0018]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据传输的控制方法。
[0019]本专利技术实施例的技术方案，通过获取预设数据传输周期内的话单文件，确定数据传输周期内输入的话单行数量，得到话单行的平均输入速率。根据平均输入速率控制话单行的输出速率，使话单行可以以平滑的输出速度由KAFKA生产者推送给KAFKA集群。通过确定平均输入速率调整话单行的输出速率，保证输出速率维持在相对稳定的状态。即使在话单文件突然增加或突然减少的情况下，也能以平均输入速率进行输出，减小上层应用的压力。若平均输入速率发生变化，则可以自适应改变输出速率，解决话单文件增加造成数据积压的问题，避免业务数据的延迟和丢失，提高数据传输的效率和精度。
[0020]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0021]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是根据本专利技术实施例一提供的一种数据传输的控制方法的流程示意图；
[0023]图2是根据本专利技术实施例二提供的一种数据传输的控制方法的流程示意图；
[0024]图3是根据本专利技术实施例三提供的一种数据传输的控制装置的结构示意图；
[0025]图4是实现本专利技术实施例的数据传输的控制方法的电子设备的结构示意图。
具体实施方式
[0026]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0027]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“当前”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0028]实施例一
[0029]图1为本专利技术实施例一提供的一种数据传输的控制方法的流程示意图，本实施例
可适用于将底层采集的话单数据传输给上层应用的情况，该方法可以由一种数据传输的控制装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于KAFKA生产者中。如图1所示，该方法包括：
[0030]S110、实时获取数据采集系统发送的话单文件，确定话单文件中的话单行数量。
[0031]其中，数据采集系统是电信平台中位于底层的采集层，可以采集用户的话单文件等通信数据。话单文件可以是xDR话单文件，xDR话单文件中可以包括通信方的身份、地点和网络情况等信息。一个话单文件中可以包括一条或多条话单行，KAFKA生产者可以将话单文件中的每条话单行发送给KAFKA消费者，KAFKA消费者也可以是KAFKA集群。数据采集系统可以实时获取到话单文件，例如，一秒内可以采集到多个话单文件。KAFKA生产者可以实时获取数据采集系统发送来的话单文件。在得到话单文件后，可以解析话单文件，确定话单文件中话单行的数量。
[0032]本实施例中，可选的，实时获取数据采集系统发送的话单文件，包括：实时读取数据采集系统硬盘上的话单文件；将话单文件传输至预设的监控磁盘目录中，并对监控磁盘目录中的话单文件进行内存加载操作。
[0033]具体的，KAFKA生产者可以实时获取到话单文件。数据采集系统将采集到的话单文件存放在硬盘上，KAFKA生产者实时读取数据采集系统中硬本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输的控制方法，其特征在于，所述方法由卡夫卡KAFKA生产者执行，所述方法包括：实时获取数据采集系统发送的话单文件，确定所述话单文件中的话单行数量；根据所述话单行数量，确定在预设数据传输周期内话单行的平均输入速率；根据所述平均输入速率将所述话单行输出至KAFKA集群。2.根据权利要求1所述的方法，其特征在于，实时获取数据采集系统发送的话单文件，包括：实时读取数据采集系统硬盘上的话单文件；将所述话单文件传输至预设的监控磁盘目录中，并对所述监控磁盘目录中的话单文件进行内存加载操作。3.根据权利要求2所述的方法，其特征在于，确定所述话单文件中的话单行数量，包括：对内存中的话单文件进行解码处理，根据预设的话单格式解码出话单文件中的每行话单，得到话单行数量。4.根据权利要求1所述的方法，其特征在于，根据所述平均输入速率将所述话单行输出至KAFKA集群，包括：将所述平均输入速率确定为话单行的输出速率阈值；根据预设的限速算法，确定在当前数据传输周期下的当前话单行输出速率，判断所述当前话单行输出速率是否小于所述输出速率阈值；若是，则将所述话单行输出至KAFKA集群。5.根据权利要求4所述的方法，其特征在于，在判断所述当前话单行输出速率是否小于所述输出速率阈值之后，还包括：若所述当前话单行输出速率等于或大于所述输出速率阈值，则将所述话单行存放在预设的话单行缓冲队列中。6.根据权利要求5所述的方法，其特征在于，在将所述话单行存放在预设的话单行缓冲队列中之前，还包括：获取所述话单行缓冲队列的当前长度，判断...

【专利技术属性】
技术研发人员：孟鑫，田野，梁彧，傅强，王杰，杨满智，金红，陈晓光，
申请(专利权)人：北京恒安嘉新安全技术有限公司，
类型：发明
国别省市：