一种拱坝变形监测有效信息提取方法技术

本发明专利技术公开一种拱坝变形监测有效信息提取方法，包括如下步骤：(1)通过对变形监测数据散点图进行高斯模糊和二值化处理，初步获取数据的连续点集合；(2)运用优化方法对有效连续点集合进行筛选，识别出最优的变形监测数据主趋势线；(3)运用卷积神经网络对连续性数据细节特征的提取能力，完善对局部连续性数据的识别；(4)从监测数据整体趋势线中获得完整序列的变形数据，基于原始数据的跳动特征判别并剔除数据异常值，并基于原始数据的统计特征对缺失值进行插补。本发明专利技术方法通过模仿人工视觉机制对主趋势线进行提取，进而对数据异常值进行有效判别与插补，能够适用于包含各种复杂特征的监测数据，具有较高的数据处理效率和准确度。度。度。

【技术实现步骤摘要】
一种拱坝变形监测有效信息提取方法

：
[0001]本专利技术涉及大坝安全监测领域，尤其涉及一种拱坝变形监测有效信息提取方法。
技术背景：
[0002]对拱坝变形监测资料进行分析，对于评价坝体运行性态，保障结构长效安全具有重要意义。拱坝运行条件复杂，受外在环境和荷载的影响以及仪器故障等诸多因素的干扰，采集的变形监测信息往往存在残缺、误差、重复、冗余、错误等问题。因此，进行坝体变形特性分析前，通常需要对变形监测信息中的异常值和缺失值进行处理，提取出其中的有效信息。
[0003]现有的异常值处理方法主要有基于数据变幅阈值的概率识别法、准则评判法、小波去噪等方法。这些方法对于突跳明显的数据异常值识别及处理效果令人满意，但当异常值较多且数据结构较复杂时，难以有效识别出数据中的全部异常值，仍旧需要通过人工识别方法来保证异常值辨识的准确度。人工识别方法首先需要识别出变形监测数据主趋势线，然后将偏离主趋势线的数据判别为异常值，主趋势线附近的数据即为有效数据。人工识别方法有效应用的前提是：在水压和变温等因素影响下，拱坝变形监测数据具有明显连续的变化趋势，这种变化趋势可由变形监测数据的主趋势线来反映；相应地，变形监测有效信息应分布在数据主趋势线附近，通过识别数据主趋势线即可判别监测数据中的异常值与有效信息。由于人工识别方法需要大量的人为判断工作，因此存在耗时耗力、效率较低、主观性强、难于量化以及难以实时处理数据等不足。
[0004]针对目前拱坝变形监测资料异常值处理方法无法实现复杂数据结构下的高效处理等不足，提出了一种拱坝变形监测有效信息提取方法。通过模拟人类视觉机制，实现拱坝变形监测数据主趋势线的自动化识别，在此基础上提出异常值处理与缺失值插补方法，由此实现对变形监测有效信息的提取。

技术实现思路
：
[0005]本专利技术的主要目的在于解决现有技术的不足，提供一种拱坝变形监测有效信息提取方法，通过模拟人类视觉机制进行监测数据主趋势线的识别及异常值的处理，实现拱坝变形监测数据有效信息的高效提取。
[0006]技术方案：本专利技术所述的拱坝变形监测有效信息提取方法，包括如下步骤：
[0007](1)变形监测数据连续点集合识别
[0008]绘制变形监测数据的散点图，对散点图进行高斯模糊和二值化处理；逐步调整数据散点图的纵坐标范围和连续性指标，对监测数据异常值点进行初步的识别和剔除，得到若干连续点集合。为得到更好的连续性数据识别效果，需要对散点样式、高斯模糊半径、图像二值化阈值参数进行优化。
[0009](2)变形监测数据主趋势线识别
[0010]根据连续点集合的属性参数，运用优化方法对上一步得到的若干连续点集合进行
有效集合的筛选，连接形成整体范围内有效长度最长、时间覆盖范围最广和突跳最少的主趋势线，进而判别出在整体范围内孤立的异常值点。
[0011](3)变形监测数据局部连续性数据识别
[0012]针对监测数据中局部异常值和连续性数据存在的误判问题，通过卷积神经网络提取散点图中连续性数据分布的细节特征，对散点图中的变形局部连续性监测数据进行有效识别，得到更为完整的连续性监测数据主趋势线。
[0013](4)变形监测数据异常值与缺失值处理
[0014]从连续性变形监测数据主趋势线中得到完整序列的变形数据，通过对比其与原始监测数据跳动特征的差异性，对原始监测数据中的异常值进行判别和剔除；基于原始数据的统计特征，对剔除后的缺失数据进行插补，以提取监测数据的有效信息。异常值剔除后，需对缺失数据的离散程度和数量占比两项指标进行检验，在满足一定条件的情况下方可对缺失的监测数据进行有效的数据插补。
[0015]本专利技术与现有技术相比，其有益效果在于：本专利技术方法通过模仿人工视觉机制对主趋势线进行识别，并结合图像识别和优化算法对数据异常值进行有效识别与插补，相比常规的数据处理方法能够适用于包含各种复杂特征的监测数据；相比人工方法，本方法简化了数据识别过程，极大提升了数据处理的效率和准确度。
附图说明：
[0016]图1是本专利技术方法的流程图；
[0017]图2是对散点图进行高斯模糊和二值化处理的效果图；
[0018]图3是对散点图异常值点初步识别的示意图；
[0019]图4是对散点图异常值点初步识别的流程图；
[0020]图5是若干连续点集合识别效果图；
[0021]图6是连续点集合属性参数示意图；
[0022]图7是搜索有效连续点集合的流程图；
[0023]图8是识别局部连续性数据的流程图；
[0024]图9是局部散点图的神经网络训练数据集示意图；
[0025]图10是通过局部连续性数据填补主趋势线的效果图；
[0026]图11是通过整体趋势线进行异常值和缺失值处理的流程图；
[0027]图12是对异常值和缺失值处理的效果图。
具体实施方式：
[0028]以下结合附图详细叙述本专利技术专利的具体实施方式，本专利技术专利的保护范围并不仅仅局限于本实施方式的描述。
[0029]本专利技术所述的拱坝变形监测有效信息提取方法，其实现过程如图1所示，包括如下步骤：
[0030](1)变形监测数据连续点集合识别
[0031]第一步，运用图像处理技术对变形监测数据进行连续点集合的识别，包括如下过程：
[0032]1.以某种散点样式绘制变形监测数据散点图；
[0033]2.对散点图进行高斯模糊处理，将图像中某点及该点周围像素值按高斯分布的权重求加权平均，得到不同点处退化后的像素值。
[0034]3.对高斯模糊散点图进行图像二值化处理，设定合适的阈值，将灰度小于阈值的像素灰度值设为0，大于或等于阈值的像素灰度值设置为255。
[0035]进行图像处理时，为得到更好的连续性数据识别效果，需要对各参数进行优化。经多种方案对比，将高斯模糊半径设定为2，图像二值化阈值设定为150，散点样式为9像素点的
“×”
状散点，以上几步操作示意图如图2所示，图2(a)、图2(b)和图2(c)分别为原始散点图、高斯模糊和二值化处理的效果图。
[0036]下一步，模仿人类视觉机制，对数据散点图进行异常值点的识别和剔除，该环节包括两个基本操作：调整数据散点图的纵坐标范围，使得数据点中连续点与异常值点表现出足够的区分度；调整连续性指标，对异常值点进行判别，当相邻两点的距离小于连续性指标时，判定两点连续，反之不连续。对异常值识别过程的示意图如图3所示，图3(a)和图3(b)分别为初次和再次进行连续点集合识别与纵坐标范围的调整。如图4所示，该环节的流程如下：
[0037]1.得到数据散点图的纵坐标范围(y
0min
，y
0max
)；
[0038]2.计算变形监测数据连续性指标：Δδ＝α(y
0max
‑
y
0min
)；
[0039]3.根据数据点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种拱坝变形监测有效信息提取方法，其特征在于包括如下步骤：(1)变形监测数据连续点集合识别：绘制变形监测数据的散点图，对散点图进行高斯模糊和二值化处理；逐步调整数据散点图的纵坐标范围和连续性指标，对监测数据异常值点进行初步的识别和剔除，得到若干连续点集合。(2)变形监测数据主趋势线识别：根据连续点集合的属性参数，运用优化方法对上一步得到的若干连续点集合进行有效集合的筛选，连接形成整体范围内有效长度最长、时间覆盖范围最广和突跳最少的主趋势线。(3)变形监测数据局部连续性数据识别：针对监测数据中局部异常值和连续性数据存在的误判问题，通过卷积神经网络提取散点图中连续性数据分布的细节特征，对散点图中的变形局部连续性监测数据进行有效识别，得到更为完整的连续性监测...

【专利技术属性】
技术研发人员：郑森，顾冲时，邵晨飞，
申请(专利权)人：河海大学，
类型：发明
国别省市：