基于大数据和物联网通信的数据处理方法及系统技术方案

本发明专利技术涉及数据处理技术，揭露了一种基于大数据和物联网通信的数据处理方法及系统，包括：接收通信数据，根据通信数据对通信服务终端进行通信行为过滤，得到过滤数据；获取物联网配置信息并将其转换为结构化配置信息；对结构化配置信息进行分段，得到结构化元素，利用语言处理算法对结构化元素进行识别，得到节点分布信息；对节点分布信息进行解析，得到解析信息，根据解析信息确定访问协议分布信息及访问节点分布信息；根据访问协议分布信息及过滤数据对协议过滤状态进行配置，得到状态数据，根据访问节点分布信息对状态数据进行配置，得到配置数据。本发明专利技术可以减少在进行物联网通信时的数据偏差，从而提高通信设备性能的稳定性。性。性。

【技术实现步骤摘要】
基于大数据和物联网通信的数据处理方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种基于大数据和物联网通信的数据处理方法及系统。

技术介绍

[0002]随着通信技术的发展，网络规模日益扩大，网络结构日趋复杂，网络设备种类繁多，在通信服务终端的通信过程中，存在海量资源数据需要维护管理，通常会通过历史大数据分析来确定可能存在问题，以便于提高通信过程中的安全性。然而，对通信数据进行处理时，会由于实际环境中存在的各种非理想因素的影响，导致通信数据出现偏差，从而影响通信设备的性能，所以需要提供一种物联网通信设备的配置方案来保证通信设备的性能保持稳定。综上所述，现存技术中存在进行物联网通信时存在数据偏差导致通信设备性能不稳定的问题。

技术实现思路

[0003]本专利技术提供一种基于大数据和物联网通信的数据处理方法及系统，其主要目的在于解决数据整合效率低的问题。
[0004]为实现上述目的，本专利技术提供的一种基于大数据和物联网通信的数据处理方法，包括：
[0005]接收多个通信服务终端的通信数据，根据所述通信数据对所述通信服务终端进行通信行为过滤，得到过滤数据；
[0006]获取与每个所述通信服务终端连接的物联网配置信息，将所述物联网配置信息转换为结构化配置信息；
[0007]对所述结构化配置信息进行分段，得到结构化元素，利用预设的语言处理算法对所述结构化元素进行识别，得到节点分布信息；
[0008]对所述节点分布信息进行解析，得到解析信息，根据所述解析信息确定访问协议分布信息及访问节点分布信息；
[0009]根据所述访问协议分布信息及所述过滤数据对所述通信服务终端的协议过滤状态进行配置，得到状态数据，根据所述访问节点分布信息对所述状态数据进行配置，得到配置数据。
[0010]可选地，所述根据所述通信数据对所述通信服务终端进行通信行为过滤，得到过滤数据，包括：
[0011]根据所述通信服务终端的通信行为提取对应的通信行为特征；
[0012]利用预设的骚扰源识别模型判断所述通信行为特征是否为骚扰源；
[0013]在所述通信行为特征为骚扰源时，提取所述通信行为对应的通信信息；
[0014]将所述通信数据中大于所述通信信息中的目标通信数据移除，得到过滤数据。
[0015]可选地，所述将所述物联网配置信息转换为结构化配置信息，包括：
[0016]将所述物联网配置信息替换为预设的统一格式，得到中间配置信息；
[0017]解析所述中间配置信息的数据结构及语法结构；
[0018]根据所述数据结构及所述语法结构生成结构化配置信息。
[0019]可选地，所述利用预设的语言处理算法对所述结构化元素进行识别，得到节点分布信息，包括：
[0020]利用所述语言处理算法将所述结构化元素转化为词向量；
[0021]根据所述词向量，在预设的节点数据库中查找与所述词向量相同的目标节点；
[0022]根据所述目标节点以及所述词向量进行计算，得到所述节点数据库中的节点分布信息；
[0023]利用下述公式对所述目标节点以及所述词向量进行计算：
[0024]C＝argmin‖X
i
‑
μ‖2[0025]其中，C表示所述节点分布信息，X
i
表示第i个词向量，μ表示所述目标节点。
[0026]可选地，所述对所述节点分布信息进行解析，得到解析信息，包括：
[0027]获取所述节点分布信息的访问协议重定向序列，对所述访问协议重定向序列进行分解，得到分解序列；
[0028]对所述分解序列进行聚类计算，得到访问协议聚类信息；
[0029]根据所述访问协议聚类信息对所述节点分布信息进行更新，得到更新节点分布信息；
[0030]将所述更新节点分布信息进行协议功能层级划分，得到协议功能层级；
[0031]获取所述协议功能层级的协议特征分量，根据所述协议特征分量构建协议特征分量图谱；
[0032]根据所述协议特征分量图谱确定所述节点分布信息对应的访问协议分布信息，并将所述访问协议分布信息作为解析信息。
[0033]可选地，所述对所述分解序列进行聚类计算，得到访问协议聚类信息，包括：
[0034]利用下式对所述分解序列进行聚类计算：
[0035][0036]其中，E表示所述访问协议聚类信息，I
t
表示第t个分解序列，F
tj
表示第t个分解序列的第j个分解信息，K表示所述分解信息的数量，D表示所述分解序列的数量。
[0037]可选地，所述根据所述访问协议分布信息及所述过滤数据对所述通信服务终端的协议过滤状态进行配置，得到状态数据，包括：
[0038]从所述访问协议分布信息中获取所述过滤数据对应的协议元素调用信息，并获取所述协议元素调用信息关联的协议调用节点信息以及过往调动节点信息；
[0039]对所述协议调用节点信息以及所述过往调动节点信息进行特征提取，得到第一特征向量及第二特征向量；
[0040]计算所述第一特征向量及所述第二特征向量之间的共同向量分段，得到目标向量分段，根据所述目标向量分段计算所述过往调动节点信息对应的依赖度；
[0041]根据所述依赖度对所述过往调动节点信息进行过滤，得到可过滤元素配置信息；
[0042]根据所述可过滤元素配置信息提取过滤特征信息，并根据所述过滤特征信息对所述通信服务终端的协议过滤状态进行更新，得到更新数据，将所述更新数据作为状态数据。
[0043]可选地，所述计算所述第一特征向量及所述第二特征向量之间的共同向量分段，得到目标向量分段，包括：
[0044]利用下述公式对所述第一特征向量及所述第二特征向量之间的共同向量分段进行计算：
[0045][0046]其中，所述R表示目标向量分段，A
y
表示第y个第一特征向量，B
y
表示第y个第二特征向量(y＝1，2，
…
，n)，n表示共同向量分段的总数。
[0047]可选地，所述根据所述访问节点分布信息对所述状态数据进行配置，得到配置数据，包括：
[0048]根据所述访问节点分布信息获取所述状态数据在预设的时间段的访问节点调度状态；
[0049]将所述访问节点调度状态在所述时间段设置为未激活状态，并判断所述未激活状态与所述状态数据对应的访问节点的受访问状态是否一致；
[0050]当所述未激活状态与所述受访问状态一致时，对所述状态数据进行分解，得到可用配置标识及可用配置信息；
[0051]将所述可用配置标识与对应的所述可用配置信息进行拼接，得到配置项，将所述配置项作为配置数据。
[0052]为了解决上述问题，本专利技术还提供一种基于大数据和物联网通信的数据处理系统，所述系统包括：
[0053]过滤数据生成模块，用于接收多个通信服务终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据和物联网通信的数据处理方法，其特征在于，所述方法包括：接收多个通信服务终端的通信数据，根据所述通信数据对所述通信服务终端进行通信行为过滤，得到过滤数据；获取与每个所述通信服务终端连接的物联网配置信息，将所述物联网配置信息转换为结构化配置信息；对所述结构化配置信息进行分段，得到结构化元素，利用预设的语言处理算法对所述结构化元素进行识别，得到节点分布信息；对所述节点分布信息进行解析，得到解析信息，根据所述解析信息确定访问协议分布信息及访问节点分布信息；根据所述访问协议分布信息及所述过滤数据对所述通信服务终端的协议过滤状态进行配置，得到状态数据，根据所述访问节点分布信息对所述状态数据进行配置，得到配置数据。2.如权利要求1所述的基于大数据和物联网通信的数据处理方法，其特征在于，所述根据所述通信数据对所述通信服务终端进行通信行为过滤，得到过滤数据，包括：根据所述通信服务终端的通信行为提取对应的通信行为特征；利用预设的骚扰源识别模型判断所述通信行为特征是否为骚扰源；在所述通信行为特征为骚扰源时，提取所述通信行为对应的通信信息；将所述通信数据中大于所述通信信息中的目标通信数据移除，得到过滤数据。3.如权利要求1所述的基于大数据和物联网通信的数据处理方法，其特征在于，所述将所述物联网配置信息转换为结构化配置信息，包括：将所述物联网配置信息替换为预设的统一格式，得到中间配置信息；解析所述中间配置信息的数据结构及语法结构；根据所述数据结构及所述语法结构生成结构化配置信息。4.如权利要求1所述的基于大数据和物联网通信的数据处理方法，其特征在于，所述利用预设的语言处理算法对所述结构化元素进行识别，得到节点分布信息，包括：利用所述语言处理算法将所述结构化元素转化为词向量；根据所述词向量，在预设的节点数据库中查找与所述词向量相同的目标节点；根据所述目标节点以及所述词向量进行计算，得到所述节点数据库中的节点分布信息；利用下述公式对所述目标节点以及所述词向量进行计算：C＝argmin‖X
i
‑
μ‖2其中，C表示所述节点分布信息，X
i
表示第i个词向量，μ表示所述目标节点。5.如权利要求1所述的基于大数据和物联网通信的数据处理方法，其特征在于，所述对所述节点分布信息进行解析，得到解析信息，包括：获取所述节点分布信息的访问协议重定向序列，对所述访问协议重定向序列进行分解，得到分解序列；对所述分解序列进行聚类计算，得到访问协议聚类信息；根据所述访问协议聚类信息对所述节点分布信息进行更新，得到更新节点分布信息；将所述更新节点分布信息进行协议功能层级划分，得到协议功能层级；
获取所述协议功能层级的协议特征分量，根据所述协议特征分量构建协议特征分量图谱；根据所述协议特征分量图谱确定所述节点分布信息对应的访问协议分布信息，并将所述访问协议分布信息作为解析信息。6.如权利要求5所述的基于大数据和物联网通信的数据处理方法，其特征在于，所述对所述分解序列进行聚类计算，得到访问协议聚类信息，包括：利用下式对所述分解序列进行聚类计算：其中，E表示所述访问协议聚类信息，I
t

【专利技术属性】
技术研发人员：周文慧，陈美娇，
申请(专利权)人：广州懿豪科技有限公司，
类型：发明
国别省市：