检测柔性测斜仪监测数据异常值的方法技术

本发明专利技术提供一种检测柔性测斜仪监测数据异常值的方法，即：S1、获取柔性测斜仪运行期间监测的时序数据，对其进行归一化处理，设定采样频率进行采样；建立训练样本数据集和测试样本数据集；S2、基于训练样本数据集A，通过计算训练样本数据集A切割后切割点属性值量化指标，搜索切割点C；S3、基于孤立森林算法构建柔性测斜仪监测数据异常检测模型；S4、将测试样本数据集B代入构建的柔性测斜仪监测数据异常检测模型，获取每个待检测时序数据的异常分数；通过设定异常分数阈值判定待检测时序数据中的正常样本数据和异常样本数据，进行标记。本发明专利技术可实现对柔性测斜仪监测数据的实时检测、识别异常值，检测效率高，检测精度高。检测精度高。检测精度高。

【技术实现步骤摘要】
检测柔性测斜仪监测数据异常值的方法


[0001]本专利技术涉及一种检测柔性测斜仪监测数据异常值的方法，本专利技术属于位移监测和数据处理


技术介绍

[0002]柔性测斜仪作为一种高精度、自动化监测仪器，被广泛地应用在混凝土大坝监测、边坡监测、地基沉降监测等场景。柔性测斜仪是一种准分布式、纯加速度计组合的静态倾斜测量仪器，它包括带状或柱状测控单元，在带状或柱状测控单元内分布有嵌入的加速度传感器和处理器，加速度传感器感受测控单元的三轴重力加速度分量，加速度传感器通过数据线连接至处理器，处理器通过有线或无线方式将测量的三轴重力加速度分量、位移值传递给监测系统。
[0003]在使用柔性测斜仪进行位移、三轴重力加速度分量监测时，因柔性测斜仪精度高，对现场复杂环境的抗干扰能力较低，导致在实时监测时，常出现大量的偏离真实加速度和位移值的数据，甚至有时还会出现空白值的情况。为防止异常数据干扰柔性测斜仪对监测对象的测量，实现柔性测斜仪对监测对象的准确测量和监测对象真实性状的判断，故需要对柔性测斜仪监测的数据进行实时监测，剔除异常数据。
[0004]传统的检测柔性测斜仪监测数据异常值的方法有：基于统计、邻近度、密度、聚类的检测异常值方法。由于柔性测斜仪监测的加速度值或位移值数据量大、数据多样、异常数据类型复杂，导致传统的检测柔性测斜仪监测数据异常值的方法仍然存在以下问题：1、检测监测数据异常值的效率低下，对系统资源占用率高。传统的检测数据异常值的方法处理对象单一，处理的监测数据量较大时，无法有效识别其中的异常值，会出现过处理或处理不足的问题，检测监测数据异常值的效率低下，对系统资源占用率高。2、检测精度低，易产生全局误差。由于传统的检测柔性测斜仪监测数据异常值方法中用到的切割点的选择是随机的，易产生局部最优解，导致全局误差，对于长周期的检测，造成异常值检测的波动范围变大。

技术实现思路

[0005]鉴于上述原因，本专利技术的目的在于提供一种检测柔性测斜仪监测数据异常值的方法。该方法对柔性测斜仪监测数据异常值的检测效率高，检测精度高，可实现对柔性测斜仪监测数据的实时检测、识别异常值，提高监测数据的准确性。
[0006]为实现上述目的，本专利技术采用以下技术方法：一种检测柔性测斜仪监测数据异常值的方法，它包括以下步骤：
[0007]S1、获取柔性测斜仪运行期间监测的时序数据；对采集到的待检测时序数据进行归一化处理；基于需求频率，设定采样频率，对归一化处理后的待检测时序数据进行采样；建立训练样本数据集和测试样本数据集，并分别对两个数据集进行重新编号，得到重新编号后的训练样本数据集A和测试样本数据集B；
[0008]S2、基于训练样本数据集A，第一次在中位数x
mid
处对其进行切割，计算切割后的训练样本数据集切割点属性值量化指标，搜索切割点C；
[0009]S3、基于孤立森林算法(iForest)构建柔性测斜仪监测数据异常检测模型，将训练样本数据集A和切割点C带入构建的柔性测斜仪监测数据异常检测模型，完成模型的构建；
[0010]S4、将测试样本数据集B代入构建的柔性测斜仪监测数据异常检测模型，获取每个待检测时序数据的异常分数；通过设定异常分数阈值判定待检测时序数据中的正常样本数据和异常样本数据，并对检测出的异常数据进行标记。
附图说明
[0011]图1是本专利技术检测柔性测斜仪监测数据异常值的方法流程图；
[0012]图2是本专利技术中选择切割点C的方法流程图；
[0013]图3是本专利技术改进的孤立森林算法流程图；
[0014]图4是本专利技术实施例中待检测的柔性测斜仪监测的位移时间时序数据；
[0015]图5是本专利技术实施例中对柔性测斜仪监测的数据进行异常检测的结果；
[0016]图6是本专利技术实施例中剔除异常数据后的柔性测斜仪监测数据。
具体实施方式
[0017]下面结合附图和实施例对本专利技术的结构及特征进行详细说明。需要说明的是，可以对此处公开的实施例做出各种修改，因此，说明书中公开的实施例不应该视为对本专利技术的限制，而仅是作为实施例的范例，其目的是使本专利技术的特征显而易见。
[0018]本专利技术提出的检测柔性测斜仪监测数据异常值的方法，包括以下步骤：
[0019]S1、获取柔性测斜仪运行期间监测的时序数据即含有异常值的待检测时序数据；对采集到的待检测时序数据进行归一化处理；基于需求频率即一小时内需要采集多少个时序数据，设定采样频率，对归一化处理后的待检测时序数据进行采样；建立训练样本数据集和测试样本数据集，并分别对两个数据集进行重新编号，具体方法如下：
[0020]S1.1、参见图4，通过柔性测斜仪的数据采集系统获取监测对象包含有异常值的待检测时序数据X(t)：
[0021]X(t)＝[x(t)，x(2t)，......，x(nt)]ꢀꢀꢀ
(1)
[0022]式中：X(t)表示待检测时序数据，t为监测时间间隔；n表示时序数据的个数；nt表示第n个时序数据对应的时间；x(nt)表示第n个时序数据对应的时序数据；
[0023]S1.2、对待检测时序数据X(t)采用下式(2)进行归一化处理：
[0024][0025]式中：X
z
(t)为归一化后的待检测时序数据，μ为待检测时序数据的均值，σ为待检测时序数据的标准差。
[0026]S1.3、基于需求频率f，设置采样率i和j，对归一化后的待检测时序数据进行采样，建立训练样本数据集A0和测试样本数据集B0：
[0027]A0＝[x(t)，x(ft)，......，x(jft)]ꢀꢀꢀ
(3)
[0028]B0＝[x(jft)，x((j+1)ft)，......，x(ift)]ꢀꢀꢀ
(4)
[0029]式中，f为需求频率，j为训练样本数据集采用频率，i为测试样本数据集采用频率，j和i为常数，j＜i＜n/f。
[0030]S1.4、对训练样本数据集A0和测试样本数据集B0进行重新标号，得到重新标号后的训练样本数据集A和测试样本数据集B，表达式如下：
[0031]A＝[x(1)，x(2)，......，x(l)]ꢀꢀꢀ
(5)
[0032]B＝[x(l+1)，x(l+2)，......，x(m)]ꢀꢀꢀ
(6)
[0033]式中，l表示需求频率f训练样本数据集A的长度，m表示需求频率f下测试样本数据集B的长度。
[0034]S2、基于训练样本数据集A，第一次在中位数x
mid
处对其进行切割，通过计算样本切割后的训练样本子数据集的属性值量化指标，搜索切割点(Cpoint)C。
[0035]通常，本领域技术人员是训练样本数据集的最大值和最小值之间选择一点作为切割点C，故，传统的检测监测异常值方法易产生局部最优解而非全局最优解。而，本专利技术通过计算样本切割后的训练样本子数据集的属性值量化指标，搜索切割点(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测柔性测斜仪监测数据异常值的方法，它包括以下步骤：S1、获取柔性测斜仪运行期间监测的时序数据；对采集到的待检测时序数据进行归一化处理；基于需求频率，设定采样频率，对归一化处理后的待检测时序数据进行采样；建立训练样本数据集和测试样本数据集，并分别对两个数据集进行重新编号，得到重新编号后的训练样本数据集A和测试样本数据集B；S2、基于训练样本数据集A，第一次在中位数x
mid
处对其进行切割，计算切割后的训练样本数据集切割点属性值量化指标，搜索切割点C；具体方法如下：S2.1、调取训练样本数据集A中的时序数据，数据量大小为if；S2.2、设定调取的训练样本数据集x
left
和x
right
的初始位置，确认调取的训练样本数据集x
left
至x
right
的中位数x
mid
，计算切割点属性指标CP(A，x
mid
)，其中，切割点属性指标CP(A，x
mid
)的表达式如下：式中，A为训练样本数据集，x
mid
为训练样本数据集的中位数，EC(A，x
mid
)为训练样本数据集的均值量化指标，DC(A，x
mid
)为训练样本数据集的离散量化指标，表达式如下：EC(A，x
mid
)＝|E(x|x∈A，x＜x
mid
)
‑
E(x|x∈A，x＞x
mid
)|DC(A，x
mid
)＝D(x|x∈A，x＜x
mid
)+D(x|x∈A，x＞x
mid
)式中，E(x)为均值函数，D(x)为方差函数；S2.3、计算训练样本数据集中x(1)＝x
left
到x
mid
的中位数x
left
′
，训练样本数据集中x
mid
到x(l)＝x
right
的中位数x
right
′
，计算切割点属性指标CP(A，x
left
′
)和CP(A，x
right
′
)；S2.4、比较CP(A，x
left
′
)和CP(A，x
right
′
)的大小；若CP(A，x
left
′
)＞CP(A，x
right
′
)，则令x
right
′
＝x
mid
，否则，令x
left
′
＝x
mid
；S2.5、重复S2.3
‑
S2.4，至满足以下条件之一：x
left
′
＝x
right
′
，或CP(A，x
left
′
)＜CP(A，x
mid
)and CP(A，x
right
′
)＜CP(A，x
mid
)则输出切割点C＝x
mid
；S3、基于孤立森林算法(iForest)构建柔性测斜仪监测数据异常检测模型，将训练样本数据集A和切割点C带入构建的柔性测斜仪监测数据异常检测模型，完成模型的构建；具体方法如下：S3.1、从训练样本数据集A中随机选择m个点作为子样本集合A1；S3.2、依据步骤S2的方法，在子样本集合A1中搜索切割点C1；S3.3、此切割点C1的选取将当前子样本集合A1切分为2个子样本集：把当前所选维度下小于...

【专利技术属性】
技术研发人员：张磊，刘强，郑磊，曾乾礼，张国新，郑顺祥，谭妮，魏永新，姜云辉，朱岳钢，金鑫鑫，王文学，朱振泱，赵凯，辛建达，赵恒，
申请(专利权)人：中国水利水电科学研究院华电金沙江上游水电开发有限公司，
类型：发明
国别省市：