一种数据处理方法、装置及电子设备制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置及电子设备，所述方法包括：基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集；基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。通过本方法，可以提高数据分发和装载时的数据处理效率。高数据分发和装载时的数据处理效率。高数据分发和装载时的数据处理效率。

【技术实现步骤摘要】
一种数据处理方法、装置及电子设备


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置及电子设备。

技术介绍

[0002]随着计算机技术的不断发展，移动通信业务的用户数量急剧增长，如何满足较大数据量的移动通信业务数据的时候计算需求(如实时计算、离线计算等)成为运营商关注的焦点。
[0003]目前，可以通过日志服务器的基于链表的双端阻塞队列，进行多路数据流的分发，即通过日志服务器将移动通信业务数据推送至消息发布系统(如Kafka)，并同时通过日志服务器还可以将移动通信业务数据装载到分布式文件系统(Hadoop Distributed File System，HDFS)。
[0004]但是，由于基于链表的双端阻塞队列是基于独占锁的方式实现数据的进队和出队，所以，通过上述方式进行移动通信数据的分发和装载，会导致由于线程等待解除加锁而发生延迟执行等情况，另外，由于待处理的移动通信数据的数据量较大，而日志服务器的数据分发方式，存在分发速度慢的情况，导致数据处理的时效性差，数据处理效率低。

技术实现思路

[0005]本专利技术实施例的目的是提供一种数据处理方法、装置及电子设备，以解决现有技术中在进行数据分发和装载时，存在的数据处理效率低的问题。
[0006]为解决上述技术问题，本专利技术实施例是这样实现的：
[0007]第一方面，本专利技术实施例提供的一种数据处理方法，所述方法包括基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；基于所述无锁队列；基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。
[0008]第二方面，本专利技术实施例提供了一种数据处理装置，所述装置包括：数据采集模块，用于基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；数据放入模块，用于将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；数据集获取模块，基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；数据处理模块，用于基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分
布式文件系统。
[0009]第三方面，本专利技术实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述实施例提供的数据处理方法的步骤。
[0010]第四方面，本专利技术实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述实施例提供的数据处理方法的步骤。
[0011]由以上本专利技术实施例提供的技术方案可见，本专利技术实施例基于预设数据接口，采集针对目标业务的目标数据，目标数据包括针对目标业务的信令数据和/或用户面数据，将目标数据放入预设无锁队列，并基于预设分类规则和目标数据的数据特征，对目标数据进行分类，得到多个分类数据集，基于无锁队列，获取分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集，无锁队列为基于环形数组构建的、且不需要进行加锁的队列，基于无锁队列，将第一数据集中的目标数据分发至预设消息发布系统，并将第二数据集中的目标数据装载至预设分布式文件系统。这样，通过无锁队列的架构设计，可以充分利用环形数组无锁无阻塞的特点，将采集到的目标数据中满足预设计算需求的第一数据集中的目标数据分发至预设消息发布系统，并将满足预设装载需求的第二数据集中的目标数据装载至预设分布式文件系统，可以提高目标数据的采集、处理、分发和装载效率，降低数据时延，减少资源消耗，提高数据在分发和装载时的数据处理效率。
附图说明
[0012]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0013]图1为本专利技术一种数据处理方法的流程示意图；
[0014]图2为本专利技术另一种数据处理方法的流程示意图；
[0015]图3为本专利技术一种数据处理装置的结构示意图；
[0016]图4为本专利技术一种电子设备的结构示意图。
具体实施方式
[0017]本专利技术实施例提供一种数据处理方法、装置及电子设备。
[0018]为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0019]实施例一
[0020]如图1所示，本专利技术实施例提供一种数据处理方法，该方法的执行主体可以为服务器，该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群。该方法具体
可以包括以下步骤：
[0021]在S102中，基于预设数据接口，采集针对目标业务的目标数据。
[0022]其中，目标业务可以是任意移动通信业务，目标数据可以包括针对目标业务的信令数据和/或用户面数据，预设数据接口可以是任意能够获取到目标数据的数据接口，例如，预设数据接口可以包括Kafka数据接口、预设文件传输协议(File Transfer Protocol，FTP)接口、WebService接口等。
[0023]其中，终端电子设备可以是现场工作人员所持有的，用于采集目标基站的基站参数的任意电子设备，如终端电子设备可以是手机、平板电脑等任意移动终端电子设备，目标基站可以是任意待开通的，用于为用户提供移动通信服务的基站，基站参数可以是用于描述目标基站的基本情况的参数，例如，基站参数可以是板件序列号、板件型号、目标基站的位置信息、目标基站的网络制式等参数。
[0024]在实施中，随着计算机技术的不断发展，移动通信业务的用户数量急剧增长，如何满足较大数据量的移动通信业务数据的时候计算需求(如实时计算、离线计算等)成为运营商关注的焦点。
[0025]目前，可以通过日志服务器的基于链表的双端阻塞队列，进行多路数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：基于预设数据接口，采集针对目标业务的目标数据，所述目标数据包括针对所述目标业务的信令数据和/或用户面数据；将所述目标数据放入预设无锁队列，并基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，所述无锁队列为基于环形数组构建的、且不需要进行加锁的队列；基于所述无锁队列，获取所述分类数据集中满足预设计算需求的第一数据集，以及满足预设装载需求的第二数据集；基于所述无锁队列，将所述第一数据集中的目标数据分发至预设消息发布系统，并将所述第二数据集中的目标数据装载至预设分布式文件系统。2.根据权利要求1所述的方法，其特征在于，所述基于预设分类规则和所述目标数据的数据特征，对所述目标数据进行分类，得到多个分类数据集，包括：基于预设清洗规则，对所述无锁队列中的目标数据进行数据清洗处理，并基于预设分类规则和清洗处理后的目标数据的数据特征，对所述清洗处理后的目标数据进行分类，得到多个分类数据集。3.根据权利要求2所述的方法，其特征在于，在所述基于预设清洗规则，对所述无锁队列中的目标数据进行数据清洗处理之前，还包括：获取所述目标数据的数据信息；基于所述数据信息，确定所述预设清洗规则。4.根据权利要求1所述的方法，其特征在于，所述将所述第二数据集中的目标数据装载至预设分布式文件系统，包括：基于异步装载的方式，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。5.根据权利要求4所述的方法，其特征在于，所述将所述第二数据集中的目标数据装载至所述预设分布式文件系统，包括：基于预设装载周期和预设装载量，将所述第二数据集中的目标数据装载至所述预设分布式文件系统。6.根据权利要求1...

【专利技术属性】
技术研发人员：张晓川，谭丽丽，张湛梅，肖文彬，谢梦，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：