本发明专利技术涉及通信技术领域，公开了一种通信大数据平台的数据缺失主动发现方法及装置。本发明专利技术针对通信大数据平台中各原因复杂且常见的数据缺失场景提出了相应的解决策略，其中针对网元配置信息变化导致的各解析设备不能解析相应数据包的复杂场景，本发明专利技术通过对该数据包进行自动解析来获取网元配置信息，并由汇聚分流设备发送至相应的解析设备以完善解析参数，能够使得解析设备实现对该类数据包的解析，避免丢弃数据而造成数据缺失。本发明专利技术提升了数据缺失的自动检测率，有益于提高大数据通信平台的数据完整性。信平台的数据完整性。信平台的数据完整性。
【技术实现步骤摘要】
一种通信大数据平台的数据缺失主动发现方法及装置
[0001]本专利技术涉及通信
，尤其涉及一种通信大数据平台的数据缺失主动发现方法及装置。
技术介绍
[0002]现有的运营商数据复接采集系统在进行数据采集和传输时，通常将需要采集的各运营商现网的网元接口数据进行复接，并由相应的前端汇聚设备将各复接点的数据进行汇聚，进而通过汇聚链路传输至汇聚分流设备。该汇聚分流设备根据预置解析规则将数据分发到不同的解析设备进行解析，由解析设备将解析后的数据传送至通信大数据平台进行分析。
[0003]数据分析的准确性与所采集数据的完整性息息相关。为保障通信大数据平台所采集数据的完整性，各运营商的网元链路或配置的任何变化都需要反馈给通信大数据平台。由于网元链路或配置的变化所涉及的环节及人员较为复杂，导致对应的变化反馈信息难以及时同步至通信大数据平台，使得通信大数据平台出现数据缺失的问题。
[0004]申请人对各种数据缺失情况进行分析，总结得到由于网元链路及配置变化导致数据缺失的情况主要分为以下几种：
[0005](1)由于网元链路变动、割接等原因导致相应的网元配置信息(主要指IP地址信息)发生改变，改变后的网元配置信息没有及时同步至汇聚分流设备，使得解析设备无法解析对应的网元接口数据；
[0006](2)运营商现网增加了新的网元，而该新的网元的相关链路没有接入汇聚链路，从而造成新网元链路数据缺失；
[0007](3)运营商现网中已有网元存在链路扩容，新增加的链路数据没有及时同步至通信大数据平台，从而造成新增链路的数据缺失；
[0008](4)由于汇聚链路或解析链路数据源流量大于传输带宽导致的数据缺失；
[0009](5)由于汇聚链路物理故障等不确定因素造成的丢包。
[0010]上述数据缺失情况中，前述三项数据缺失情况较为常见，是导致数据缺失的重要组成部分，但由于数据缺失原因复杂，难以依靠简单的检测手段发现缺失的数据。现有针对该大数据通信平台的数据缺失检测系统仅能实现例如第(4)和(5)项数据缺失情况的简单检测，对原因复杂而时常出现的场景无法实现主动检测。
技术实现思路
[0011]本专利技术提供了一种通信大数据平台的数据缺失主动发现方法及装置，解决了现有针对大数据通信平台的数据缺失检测方法不能实现对原因复杂且时常出现的数据缺失场景的主动检测的技术问题，以尽可能地提高大数据通信平台数据采集的完整性。
[0012]本专利技术第一方面提供一种通信大数据平台的数据缺失主动发现方法，所述通信大数据平台包括汇聚分流设备以及与所述汇聚分流设备连接的各解析设备，所述方法包括：
[0013]获取所述汇聚分流设备不能解析的网元接口数据包；
[0014]对所述网元接口数据包进行解析，得到对应的网元配置信息，所述网元配置信息包括IP地址信息；
[0015]将所述网元配置信息发送至所述汇聚分流设备，以使得所述汇聚分流设备在分发所述不能解析的网元接口数据包时，预先或者同步将对应的网元配置信息传输至对应的解析设备。
[0016]根据本专利技术第一方面的一种能够实现的方式，所述获取所述汇聚分流设备不能解析的网元接口数据包，包括：
[0017]接收所述汇聚分流设备发送的网元接口数据包，所述网元接口数据包由所述汇聚分流设备在其五元组与预置的标准五元组不匹配时进行发送；
[0018]将所述汇聚分流设备发送的网元接口数据包作为所述不能解析的网元接口数据包。
[0019]根据本专利技术第一方面的一种能够实现的方式，所述方法还包括：
[0020]获取运营商现网的全局信令数据，所述全局信令数据包括所述运营商现网中各网元的标识信息；
[0021]根据所述各网元的标识信息在所述汇聚分流设备中查找对应的数据业务；
[0022]若所述各网元中存在查找不到对应数据业务的网元，将所述查找不到对应数据业务的网元作为缺失网元；
[0023]向对应运营商发送用于提示进行网元接入的信息，所述信息包括所述缺失网元的标识。
[0024]根据本专利技术第一方面的一种能够实现的方式，所述方法还包括：
[0025]确定各所述解析设备的数据解析率；
[0026]若所述解析设备的数据解析率低于预置数据解析率阈值，获取与所述数据解析率关联的链路IP地址；
[0027]将所述链路IP地址作为未接入汇聚链路的扩容链路的IP地址，向对应的运维终端发送包括所述链路IP地址的运维指示信息。
[0028]本专利技术第二方面提供一种通信大数据平台的数据缺失主动发现装置，所述通信大数据平台包括汇聚分流设备以及与所述汇聚分流设备连接的各解析设备，所述装置包括：
[0029]第一获取模块，用于获取所述汇聚分流设备不能解析的网元接口数据包；
[0030]解析模块，用于对所述网元接口数据包进行解析，得到对应的网元配置信息，所述网元配置信息包括IP地址信息；
[0031]第一发送模块，用于将所述网元配置信息发送至所述汇聚分流设备，以使得所述汇聚分流设备在分发所述不能解析的网元接口数据包时，预先或者同步将对应的网元配置信息传输至对应的解析设备。
[0032]根据本专利技术第二方面的一种能够实现的方式，所述第一获取模块具体用于：
[0033]接收所述汇聚分流设备发送的网元接口数据包，所述网元接口数据包由所述汇聚分流设备在其五元组与预置的标准五元组不匹配时进行发送；
[0034]将所述汇聚分流设备发送的网元接口数据包作为所述不能解析的网元接口数据包。
[0035]根据本专利技术第二方面的一种能够实现的方式，所述装置还包括：
[0036]第二获取模块，用于获取运营商现网的全局信令数据，所述全局信令数据包括所述运营商现网中各网元的标识信息；
[0037]查找模块，用于根据所述各网元的标识信息在所述汇聚分流设备中查找对应的数据业务；
[0038]缺失网元确定模块，用于在所述各网元中存在查找不到对应数据业务的网元时，将所述查找不到对应数据业务的网元作为缺失网元；
[0039]第二发送模块，用于向对应运营商发送用于提示进行网元接入的信息，所述信息包括所述缺失网元的标识。
[0040]根据本专利技术第二方面的一种能够实现的方式，所述装置还包括：
[0041]检测模块，用于确定各所述解析设备的数据解析率；
[0042]第三获取模块，用于在所述解析设备的数据解析率低于预置数据解析率阈值时，获取与所述数据解析率关联的链路IP地址；
[0043]第三发送模块，用于将所述链路IP地址作为未接入汇聚链路的扩容链路的IP地址，向对应的运维终端发送包括所述链路IP地址的运维指示信息。
[0044]本专利技术第三方面提供了一种通信大数据平台的数据缺失主动发现装置，包括：
[0045]存储器，用于存储指令；其中，所述指令为可实现如上任意一项能够实现的方式所述的通信大数据平台的数据缺失主动发现方法的指令；...
【技术保护点】
【技术特征摘要】
1.一种通信大数据平台的数据缺失主动发现方法，所述通信大数据平台包括汇聚分流设备以及与所述汇聚分流设备连接的各解析设备，其特征在于，所述方法包括：获取所述汇聚分流设备不能解析的网元接口数据包；对所述网元接口数据包进行解析，得到对应的网元配置信息，所述网元配置信息包括IP地址信息；将所述网元配置信息发送至所述汇聚分流设备，以使得所述汇聚分流设备在分发所述不能解析的网元接口数据包时，预先或者同步将对应的网元配置信息传输至对应的解析设备。2.根据权利要求1所述的通信大数据平台的数据缺失主动发现方法，其特征在于，所述获取所述汇聚分流设备不能解析的网元接口数据包，包括：接收所述汇聚分流设备发送的网元接口数据包，所述网元接口数据包由所述汇聚分流设备在其五元组与预置的标准五元组不匹配时进行发送；将所述汇聚分流设备发送的网元接口数据包作为所述不能解析的网元接口数据包。3.根据权利要求1所述的通信大数据平台的数据缺失主动发现方法，其特征在于，所述方法还包括：获取运营商现网的全局信令数据，所述全局信令数据包括所述运营商现网中各网元的标识信息；根据所述各网元的标识信息在所述汇聚分流设备中查找对应的数据业务；若所述各网元中存在查找不到对应数据业务的网元，将所述查找不到对应数据业务的网元作为缺失网元；向对应运营商发送用于提示进行网元接入的信息，所述信息包括所述缺失网元的标识。4.根据权利要求1所述的通信大数据平台的数据缺失主动发现方法，其特征在于，所述方法还包括：确定各所述解析设备的数据解析率；若所述解析设备的数据解析率低于预置数据解析率阈值，获取与所述数据解析率关联的链路IP地址；将所述链路IP地址作为未接入汇聚链路的扩容链路的IP地址，向对应的运维终端发送包括所述链路IP地址的运维指示信息。5.一种通信大数据平台的数据缺失主动发现装置，所述通信大数据平台包括汇聚分流设备以及与所述汇聚分流设备连接的各解析设备，其特征在于，所述装置包括：第一获取模块，用于获取所述汇聚分流设备不能解析的网元接口数据包；解析模块，用于对所述网元接口数据包进行解析，得到对应的网元配置信息，所述网元配置信息包括IP地址信息；第一...
【专利技术属性】
技术研发人员：王斌，刘校矢，黄伟，饶兵望，梁任科，王俊，林美玉，毕然，
申请(专利权)人：广州汇智通信技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。