一种基于深度置信网络的光纤网络链路缺陷数据检测方法技术

本发明专利技术提供了一种基于深度置信网络的光纤网络链路缺陷数据检测方法，包括以下步骤：步骤1，光纤网络链路数据采集；步骤2，对光纤网络链路缺陷数据进行去噪处理；步骤3，进行数据插值处理；步骤4，对进行数据均衡处理；步骤5，对数据进行尺度处理；步骤6，将长序列离散化，切分为固定大小的段；步骤7，提取统计特征、信号特征及物理特征；步骤8，进行缺陷数据识别，完成数据检测。应用本技术方案能够有效检测由于各种原因出现数据缺陷的情况。于各种原因出现数据缺陷的情况。于各种原因出现数据缺陷的情况。

A data detection method of optical fiber network link defects based on deep confidence network

【技术实现步骤摘要】
一种基于深度置信网络的光纤网络链路缺陷数据检测方法


[0001]本专利技术涉及光纤网络数据
，特别是一种基于深度置信网络的光纤网络链路缺陷数据检测方法。

技术介绍

[0002]随着国网对数据资产越来越重视，最近两年，福建省电力公司信息网络建设的进度进一步加快，需要进行监控的业务源端系统、数据传输量也日益增长。这对网络链路监控、运行可靠性、链路异常数据及时预警提出了更高的要求，现省公司信息综合网管系统已出现了光纤链路异常数据难以准确性、及时性的发现与预警。
[0003]光纤网络链路在实际工作中，常常由于光缆过长、光纤受压或断裂、弯曲过度、接头污染、接头抛光接头接触不良等原因，出现故障问题，影响了通信传输质量。因此，为了能够确保网管系统及时、高效的进行数据采集、分析及异常数据预警，需要及时排除光纤网络链路由于上述问题引发的故障，恢复正常网络通信，有必要结合大数据分析技术，实时检测和发现光纤网络链路缺陷数据，提高省公司综合网管系统的安全性，健硕性，提升监控质量。
[0004]现有技术数据在采集、传输过程中，由于各种原因难免会出现缺失值。一旦数据不平衡，数据失值检测结果就会受到严重影响，检测准确性也会随之明显降低。另外现有技术依据源节点与所述源节点之间的IP地址之间相互响应报文，只能判断数据链路是否中断，对因外部环境等噪声干扰的异常数据，无法进行无损检测，难以保证数据的完整性和准确性。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于深度置信网络的光纤网络链路缺陷数据检测方法，有效检测由于各种原因出现数据缺陷的情况。
[0006]为实现上述目的，本专利技术采用如下技术方案：一种基于深度置信网络的光纤网络链路缺陷数据检测方法，其特征在于包括以下步骤：
[0007]步骤1，光纤网络链路数据采集，按照电力公司的光纤网络链路，将光纤光栅传感器布局在中心机和各前端机和链路之间的位置，然后进行光纤网络链路数据采集；
[0008]步骤2，采用小波阈值去噪法对光纤网络链路缺陷数据进行去噪处理，定义光纤网络链路数据为：
[0009]f(t)＝s(t)+n(t)
[0010]其中s(t)为链路上真实数据；m(t)是方差为α2的Gaussian白噪声，服从N(0，α2)分布，因此对含噪链路数据进行小波变换，得到一组小波系数，通过对系数的阈值处理，再进行小波重构，从而完成去噪处理；
[0011]步骤3，通过计算数据的均值和协方差，用均值替换数据中的缺失值，并采用回归方程估计缺失值，回归方程收敛后，最后一次回归的估计值作为缺失值，进行数据插值处
理；
[0012]步骤4，采用SMOTE算法进行数据均衡处理，采样最邻近算法，计算出每个少数类样本的K个近邻；从K个近邻中随机挑选N个样本进行随机线性插值；构造新的少数类样本；将新样本与原数据合成，产生新的训练集；
[0013]步骤5，采用Min
‑
Max和Z
‑
score标准化方法对数据进行尺度处理，使数据尺度保持一致，这是因为采集到的光纤网络链路缺陷数据由于自身的数据特性，量纲可能不一致，具体公式如下；
[0014]Min
‑
Max标准化：
[0015]Z
‑
score标准化：
[0016]其中，x^'规范化后数据，x为原始数据，max、min为样本数据的最大、小值，a为对应特征均值，b为标准差；
[0017]步骤6，采用Matlab中的TSSA时间序列分割方法将长序列离散化，以固定步长L移动对原始光纤网络链路缺陷数据时间序列进行分割，最后得到等间隔的时间序列片段；
[0018]步骤7，通过滑动窗口平均方法，用迭代的方法产生特征序列，从中提取统计特征、信号特征及物理特征，然后将这些特征封装成特征合集，供后续分类器使用；
[0019]步骤8，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型当中，利用该模型进行缺陷数据识别，完成数据检测。
[0020]在一较佳的实施例中，所述模型具体为深度置信网络(DBN)分析模型，待检测光纤网络链路缺陷数据样本作为输入值通过深度置信网络进行前向传播，得到特征值，然后再将其输入到支持向量描述异常检测判断模型(SVDD)当中，利用该模型进行缺陷数据识别，完成数据检测。
[0021]与现有技术相比，本专利技术具有以下有益效果：
[0022]本专利技术提出了一种基于深度置信网络的光纤网络链路缺陷数据检测方法，结合公司链路数据不平衡的情况，实现光纤网络链路缺陷数据检测。可以在充分考虑面对不平衡链路数据，数据在网络链路采集、传输过程中，能有效检测由于各种原因出现数据缺陷的情况。
附图说明
[0023]图1为本专利技术优选实施例中一种基于深度置信网络的光纤网络链路缺陷数据检测方法的方法流程图。
具体实施方式
[0024]下面结合附图及实施例对本专利技术做进一步说明。
[0025]应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0026]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0027]一种基于深度置信网络的光纤网络链路缺陷数据检测方法，包括以下步骤：
[0028]步骤1，光纤网络链路数据采集，按照电力公司的光纤网络链路，将光纤光栅传感器布局在中心机和各前端机和链路之间的位置，然后进行光纤网络链路数据采集。
[0029]为保证采集到的光纤网络链路缺陷数据符合后续深度学习算法的处理规范，需要对数据进行预处理，包括去噪处理、插值、均衡处理、尺度处理和时长处理。
[0030]步骤2，由于光纤网络链路数据在采集过程中，会受到噪声的影响，将有用数据覆盖住，干扰后面数据检测的准确性，所以采用小波阈值去噪法对光纤网络链路缺陷数据进行去噪处理。定义光纤网络链路数据为：
[0031]f(t)＝s(t)+n(t)
[0032]其中s(t)为链路上真实数据；n(t)是方差为α2的Gaussian白噪声，服从N(0，α2)分布，因此对含噪链路数据进行小波变换，得到一组小波系数，通过对系数的阈值处理，再进行小波重构，从而完成去噪处理。
[0033]步骤3，数据在采集过程中，由于各种原因难免会出现缺失值，而时间序列数据分析最重要的要求就是保证数据的完整性，因此，通过计算数据的均值和协方差，用均值替换数据中的缺失值，并采用回归方程估计缺失值，回归方程收敛后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度置信网络的光纤网络链路缺陷数据检测方法，其特征在于包括以下步骤：步骤1，光纤网络链路数据采集，按照电力公司的光纤网络链路，将光纤光栅传感器布局在中心机和各前端机和链路之间的位置，然后进行光纤网络链路数据采集；步骤2，采用小波阈值去噪法对光纤网络链路缺陷数据进行去噪处理，定义光纤网络链路数据为：f(t)＝s(t)+n(t)其中s(t)为链路上真实数据；n(t)是方差为α2的Gaussian白噪声，服从N(0，α2)分布，因此对含噪链路数据进行小波变换，得到一组小波系数，通过对系数的阈值处理，再进行小波重构，从而完成去噪处理；步骤3，通过计算数据的均值和协方差，用均值替换数据中的缺失值，并采用回归方程估计缺失值，回归方程收敛后，最后一次回归的估计值作为缺失值，进行数据插值处理；步骤4，采用SMOTE算法进行数据均衡处理，采样最邻近算法，计算出每个少数类样本的K个近邻；从K个近邻中随机挑选N个样本进行随机线性插值；构造新的少数类样本；将新样本与原数据合成，产生新的训练集；步骤5，采用Min
‑
Max和Z
‑
score标准化方法对数据进行尺度处理，使数据尺度保持一致，这是因为采集到的光纤网络链路缺陷数...

【专利技术属性】
技术研发人员：张楷涵，陈功伯，周晓东，林烨婷，陈少钦，张良嵩，
申请(专利权)人：国网福建省电力有限公司信息通信分公司，
类型：发明
国别省市：