一种基于卷积神经网络的图像变化检测方法、系统技术方案

本发明专利技术公开一种基于卷积神经网络的图像变化检测方法、系统，包括如下步骤：获取至少两帧的待对比图像并进行预处理；获取神经网络模型；神经网络模型对待对比图像的特征进行提取；神经网络模型利用提取的特征对待对比图像的差异进行检测；对差异检测结果进行计算提取出差异点；其中，对差异检测结果进行计算具体为：做非最大值抑制计算，提取概率超过阈值的存在差异的网格并计算坐标范围。可利用固定摄像头获取实时连续图像，使用基于卷积神经网络的区域相似度对比模型对一定间隔的两帧图像进行实时差异检测，从而找到图像中缺陷存在的位置。位置。位置。

【技术实现步骤摘要】
一种基于卷积神经网络的图像变化检测方法、系统


[0001]本专利技术应用于图像变化检测领域，具体是一种基于卷积神经网络的图像变化检测方法、系统。

技术介绍

[0002]水电站高边坡主要分布水电站两侧山体，山体主要结构为土和密度较小的石块组成，常年覆盖植被较密集，环境较复杂。日常巡检采用人工方式，巡检内容包括：查看坡体的是否塌方、滑坡和泥石流的隐患；查看设置主动网和被动网的现状情况，是否破损，是否存在落石等。要想实现这些缺陷自动检测，核心是先要找出连续图像的差异区域，然后再使用分类算法对差异区域的缺陷做分类。
[0003]传统的差异检测方法一般直接通过计算图像间的差值获取差异性。但这种方法受光照及突然出现的阴影影响很大，而我们的场景部署在水库边坡，受到风、水流流动、日照阴影的影响，直接计算图像差值的方法并不实用。
[0004]现有方法主要为：
[0005]1)找到两幅图像的特征像素点，根据特征像素点对两幅待比较图像进行平移和坐标对齐，然后计算图像差值，根据差值图像提取出差异部分的轮廓并生成掩码，根据掩码用传统的CV方法做连通处理，从而获得最终的差异部分。
[0006]2)匹配两幅图像的特征点，将两幅图像分割成MxN个小块，对MxN个小图使用SSIM结构相似度算法计算其相似度，得到相似度图。
[0007]3)确定一个检测方向，在这个方向上计算两幅图像的区域结构相似度，结构相似度达到阈值时，说明同一区域，更新待比较区域，确定检测方向进行相似度计算；若相似度未达到阈值，并且多个检测方向都未达到相似度，说明该区域是差异区域，进行具体的差异识别。
[0008]申请号为201810983018.6的专利技术专利说明书公开了一种识别图像差异的方法及装置，该方法主要用于医疗影像上的差异对比。方法是找到两幅图像的特征点集合，然后根据特征点像素做特征匹配进行坐标平移对齐。对齐后对两幅图像计算差值提取轮廓。然后将轮廓输入卷积神经网络做分割，获取图像的掩码，利用传统的CV方法对掩码做连通处理，获取最后的差异区域。该方法比较适合医疗影像上光照比较固定的情况，针对我们这种户外，受阴影、风、光照强度的影响，同时树叶和水流流动存在实时变化的情况，若采用提取轮廓的方式，可能会采集到大面积的差异，而这些差异并不是实际缺陷，因此该方法存在不足。
[0009]申请号为201910556110.9的专利技术专利说明书公开了基于图像相似度的无人机航拍图像差异分析方法，该专利技术先对同一地区不同时段的两幅图像做高斯模糊变化，然后检测并匹配经过高斯模糊变化后的图像特征点以获得同一视角的图像，然后将两幅图像分割成MxN个小图，采用SSIM结构化算法对小图一一进行像素级对比，获得相似图，判断差异部分。
[0010]该专利技术主要缺点是将图像固定分割成MxN个小图，只能检测出这些小图的相似度图，并不能得到具体差异部分的位置及轮廓，这样对后续量化判断，比如计算具体位移多少就无法进行量化。

技术实现思路

[0011]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于卷积神经网络的图像变化检测方法、系统。
[0012]为解决上述技术问题，本专利技术的一种基于卷积神经网络的图像变化检测方法，包括如下步骤：
[0013]获取至少两帧的待对比图像并进行预处理；
[0014]获取神经网络模型；
[0015]神经网络模型对待对比图像的特征进行提取；
[0016]神经网络模型利用提取的特征对待对比图像的差异进行检测；
[0017]对差异检测结果进行计算提取出差异点；
[0018]其中，对差异检测结果进行计算具体为：做非最大值抑制计算，提取概率超过阈值的存在差异的网格并计算坐标范围。
[0019]作为一种可能的实施方式，进一步的，所述获取至少两帧的待对比图像并进行预处理步骤具体为：采用滑动窗口对待对比图像进行采集获取再将图像尺寸修改为神经网络模型需要的输入尺寸完成预处理。
[0020]作为一种可能的实施方式，进一步的，所述神经网络模型需要的输入尺寸为416*416*3。
[0021]作为一种可能的实施方式，进一步的，所述神经网络模型对待对比图像的特征进行提取步骤具体为：
[0022]利用预训练的resnet50v2作为骨干网络对待对比图像至少进行四次卷积；
[0023]将resnet50v2卷积的结果利用yolov3算法的DBL模块进行两次处理提取出第一尺度特征；
[0024]将resnet50v2卷积的结果直接与利用yolov3算法的DBL模块进行第一次处理再经过反卷积上采样模块提取的结果进行拼接后再利用DBL模块进行两次处理提取出第二尺度特征；
[0025]其中，待对比图像的处理过程均共享权重。
[0026]作为一种可能的实施方式，进一步的，所述第一尺度特征和所述第二尺度特征的特征尺寸分别是13*13*1024和26*26*512。
[0027]作为一种可能的实施方式，进一步的，所述神经网络模型利用提取的特征对待对比图像的差异进行检测步骤具体为：
[0028]分别将不同尺度下网格像素深度方向的特征向量相减并取绝对值；
[0029]对处理后的特征向量差值的绝对值做卷积运算生成每个网格像素存在差异的概率；
[0030]再回归出差异部分的坐标范围。
[0031]作为一种可能的实施方式，进一步的，所述卷积运算为二维卷积，其卷积核的数量
为5个。
[0032]一种基于卷积神经网络的图像变化检测系统，包括：
[0033]预处理模块，用于对待对比图像进行预处理将图像尺寸变化成需要的输入尺寸；
[0034]多尺度特征提取网络，用于对待对比图像的特征进行提取；
[0035]多尺度差异区域检测网络，用于通过提取的特征对待对比图像的差异进行检测；
[0036]差异检测结果计算模块，用于对差异检测结果做非最大值抑制计算，提取概率超过阈值的存在差异的网格并计算坐标范围。
[0037]作为一种可能的实施方式，进一步的，所述多尺度特征提取网络包括：
[0038]resnet50v2骨干网络，用于对待对比图像进行卷积操作；
[0039]DBL模块，用于对resnet50v2骨干网络处理后的待对比图像进行连续的卷积、批标准化和Leakyrelu计算；
[0040]反卷积上采样模块，用于对待对比图像进行特征的提取；
[0041]Concat拼接模块，用于拼接resnet50v2卷积的结果与利用yolov3算法的DBL模块进行第一次处理再经过反卷积上采样模块提取的结果。
[0042]作为一种可能的实施方式，进一步的，所述多尺度差异区域检测网络包括：
[0043]差值计算模块，用于将不同尺度下网格像素深度方向的特征向量相减求值；
[0044]Abs模块，用于将差值计算模块得出的差值取绝对值；
[0045]Conv模块，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的图像变化检测方法，其特征在于，包括如下步骤：获取至少两帧的待对比图像并进行预处理；获取神经网络模型；神经网络模型对待对比图像的特征进行提取；神经网络模型利用提取的特征对待对比图像的差异进行检测；对差异检测结果进行计算提取出差异点；其中，对差异检测结果进行计算具体为：做非最大值抑制计算，提取概率超过阈值的存在差异的网格并计算坐标范围。2.根据权利要求1所述的一种基于卷积神经网络的图像变化检测方法，其特征在于：所述获取至少两帧的待对比图像并进行预处理步骤具体为：采用滑动窗口对待对比图像进行采集获取再将图像尺寸修改为神经网络模型需要的输入尺寸完成预处理。3.根据权利要求2所述的一种基于卷积神经网络的图像变化检测方法，其特征在于：所述神经网络模型需要的输入尺寸为416*416*3。4.根据权利要求1所述的一种基于卷积神经网络的图像变化检测方法，其特征在于：所述神经网络模型对待对比图像的特征进行提取步骤具体为：利用预训练的resnet50v2作为骨干网络对待对比图像至少进行四次卷积；将resnet50v2卷积的结果利用yolov3算法的DBL模块进行两次处理提取出第一尺度特征；将resnet50v2卷积的结果直接与利用yolov3算法的DBL模块进行第一次处理再经过反卷积上采样模块提取的结果进行拼接后再利用DBL模块进行两次处理提取出第二尺度特征；其中，待对比图像的处理过程均共享权重。5.根据权利要求4所述的一种基于卷积神经网络的图像变化检测方法，其特征在于：所述第一尺度特征和所述第二尺度特征的特征尺寸分别是13*13*1024和26*26*512。6.根据权利要求1所述的一种基于卷积神经网络的图像变化检测方法，其特征在于：所述神经网络模型利用提取的特征对待对比图像的差异进...

【专利技术属性】
技术研发人员：杨胜仪，李业全，张栋林，林志伟，刘志佳，陈静，
申请(专利权)人：福建华电福瑞能源发展有限公司池潭水力发电厂，
类型：发明
国别省市：