本发明专利技术公开了一种基于对抗学习的两阶段图像变化检测方法；步骤如下；（1）图像配准；（2）多尺度切割；（3）基于多尺度卷积特征融合的变化判别；（4）基于U形神经网络的变化检测；（5）基于对抗学习的网络训练与调优；（6）基于概率阈值的图像拼接；（7）输出最终结果。本发明专利技术基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本发明专利技术在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。提升变化检测效果。提升变化检测效果。
【技术实现步骤摘要】
一种基于对抗学习的两阶段图像变化检测方法
[0001]本专利技术涉及图像变化检测领域，具体来讲涉及的是一种基于对抗学习的两阶段图像变化检测方法。
技术介绍
[0002]变化检测是对不同时间获取的同一位置的图像中检测其变化区域和类型的技术。变化检测技术被广泛应用于现实场景的各种场景理解任务中。在遥感影像分析领域，变化检测技术通过分析多时相的高分辨率遥感影像，可以直观地获取地面特征的变化，在自然灾害评估、城市建设分析、植被变化检测以及战场军事情报收集等多种应用中起着至关重要的作用。在医学图像处理领域，图像变化检测技术可以通过处理电子计算机断层扫描（CT，Computed Tomography）、磁共振成像（MRI，Magnetic Resonance Imaging）图像、皮肤图像等，用于检测患者解剖结构的功能属性变化。医学图像中的变化可能是由于肿瘤的生长、皮肤慢性炎症等造成的，也可能与其他种类的病变相关联，通过医学图像变化检测，能够做到对疾病的检测、变化监测、筛选以及副主诊断等。
[0003]现有的变化检测技术通常分为两类：传统方法的变化检测方法和基于深度学习的变化检测方法。传统的变化检测方法根据选取对象的粒度可划分为像素级和对象级检测方法。基于像素的变化检测方法通常只考虑单个像素点的分类而忽略了图像中的语义信息，并且计算量较大。而基于对象的变化检测方法需要先将图像分割为互不相交的同种对象，然后再进行变化检测，检测的效果直接依赖于对象分割的效果，因此精度相对较差。
[0004]随着人工智能技术的发展，深度学习的方法在图像变化检测领域取得了进展。目前广泛使用的基于图像语义分割的端到端的变化检测模型可以直接生成变化检测结果，大大提升了检测效率，但是这些算法都存在一些共同的缺陷：1、不能很好的处理小目标的变化区域；2、不能解决变化区域与未变化区域之间的样本不均衡问题；3、对拍摄角度、光照强度等噪声敏感。
[0005]与本专利技术相关的现有技术：2018年，Qing Wang等人在《Change detection based on Faster R-CNN for high-resolution remote sensing images》中提出使用FasterR-CNN结构应用于高分辨率遥感图像检测上。Daudt等人在《High Resolution Semantic Change Detection》中采用了基于UNet的FCN体系结构，该体系结构利用公开的变化检测数据集，并且采用端到端的训练方式来完成变化检测。次年，Daudt等人又在《Fully convolutional siamese networks for change detection》首次提出了两种具有跳跃连接的全卷积孪生神经网络结构。Lebedev等人使用基于GANs的端到端变换检测方法检测高分辨率卫星图像中的变化。此外，Enqiang Guo等人在孪生神经网络的基础上提出改进，使用高维的特征取代低维的特征进行融合，提升了孪生神经网络在变化检测中的效果。
[0006]现有变化检测技术的缺点：现有的基于深度学习的变化检测技术大多基于语义分割网络UNet或孪生神经网络完成，虽然该类神经网络在图像处理领域应用广泛、有较高的
使用度，但是直接用于变化检测任务上却不能达到理想的效果，体现在以下几个方面：1.对于图像中不同尺寸的目标检测效果差异明显，尤其是对小目标检测效果很差。这是由于神经网络通过卷积降低分辨率来提取特征，如果卷积深度不够无法提取高维语义信息，而卷积深度过深则会在降低分辨率的过程中不断丢失图像信息。为解决该问题，本方法提出多尺度切割方法，保证了不同大小的目标在不同分辨率下都保有图像信息。2.数据不平衡给神经网络训练带来较大影响，该问题主要出现在高分辨率的图像变化检测中，每幅图像中变化区域的面积占比不超过10%，大量的无关区域会严重影响神经网络的训练使之无法达到预取结果，本方法提出的两阶段检测技术过滤掉大量无变化区域图像对，从而平衡了输入到变化检测网络的数据3.无法处理图像噪声带来的虚假变化问题，通常变化检测的标准为目标数量、位置、形状发生变化，而由于拍摄环境带来的颜色、阴影、季节性变化不应该作为变化，现有的技术方案通常没有考虑到不同天气、气候、光照等复杂场景中的处理手段，在本方法中使用基于对抗学习的网络训练和调优方法来解决此问题。
[0007]
技术实现思路
[0008]因此，为了解决上述不足，本专利技术在此提供一种基于对抗学习的两阶段图像变化检测方法；本专利技术基于深度神经网络的方法，根据上文所描述的当前方法的局限性，主要解决3个问题：1、不同大小的目标变化检测效果差异明显；2、变化区域在整幅图像中占比过少导致的样本不平衡问题；3、由拍摄角度、照明强度等不同成像条件带来的噪声问题。本专利技术在同用的变化检测方法上，分别从图像预处理、变化检测模型设计和模型训练与调优阶段分别提出创新方法，提升变化检测效果。
[0009]本专利技术是这样实现的，构造一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤如下；（1）图像配准；（2）多尺度切割；（3）基于多尺度卷积特征融合的变化判别；（4）基于U形神经网络的变化检测；（5）基于对抗学习的网络训练与调优；（6）基于概率阈值的图像拼接；（7）输出最终结果。
[0010]根据本专利技术所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤1图像配准是变换原图的直方图为目标图像规定的某种形式的直方图，从而使两幅图像具有类似的色调和反差，减小图像风格差异带来的负面影响；对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以此均匀直方图为媒介，再对参考图像做均衡化的逆运算。
[0011]根据本专利技术所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤2多尺度的图像切割是对原始图像进行预处理，缩小输入到神经网络的图像的分辨率以减少计算资源，其次根据目标图像的原始分辨率和图像中目标的对应尺度，将每一对待检测图像以不同的分辨率进行多次切割，这样可以兼顾不同大小的目标，尤其是小目标的检测效果得到提升。
[0012]根据本专利技术所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤3基于多尺度特征融合的变化判别是将切割后的图像对进行变化判别，判断该对图像是否存在变化区域，如果存在变化区域则由变化检测模型进行检测，否则不进行下一步检测，这是两阶段变化检测方法的第一阶段；该阶段可以在一定程度上过滤掉不存在变化区域的图像对，平衡了进入变化检测模型的数据分布，提升了整个检测方法的鲁棒性；具体为；步骤3.1生成变化判别数据集：基于步骤1切割后的不同尺度图像，生成变化判别数据样本。依据原图像像素级标签，生成对应区域的图像级标签标示给定区域目标变化是否达到阈值，如果达到阈值则进入变化检测网络模型，否则不做处理；步骤3.2 训练变化判别神经网络：使用步骤3.1生成的变化判别数据集训练用作变化判别的分类神经网络；在数据集中按照1：1的比例挑选若干对无变化图像对和有变化图像对进行训练，保证选取本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤如下；（1）图像配准；（2）多尺度切割；（3）基于多尺度卷积特征融合的变化判别；（4）基于U形神经网络的变化检测；（5）基于对抗学习的网络训练与调优；（6）基于概率阈值的图像拼接；（7）输出最终结果。2.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤1图像配准是变换原图的直方图为目标图像规定的某种形式的直方图，从而使两幅图像具有类似的色调和反差，减小图像风格差异带来的负面影响；对两个直方图都做均衡化，变成相同的归一化的均匀直方图，以此均匀直方图为媒介，再对参考图像做均衡化的逆运算。3.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤2多尺度的图像切割是对原始图像进行预处理，缩小输入到神经网络的图像的分辨率以减少计算资源，其次根据目标图像的原始分辨率和图像中目标的对应尺度，将每一对待检测图像以不同的分辨率进行多次切割，这样可以兼顾不同大小的目标，尤其是小目标的检测效果得到提升。4.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤3基于多尺度特征融合的变化判别是将切割后的图像对进行变化判别，判断该对图像是否存在变化区域，如果存在变化区域则由变化检测模型进行检测，否则不进行下一步检测，这是两阶段变化检测方法的第一阶段；该阶段可以在一定程度上过滤掉不存在变化区域的图像对，平衡了进入变化检测模型的数据分布，提升了整个检测方法的鲁棒性；具体为；步骤3.1生成变化判别数据集：基于步骤1切割后的不同尺度图像，生成变化判别数据样本；依据原图像像素级标签，生成对应区域的图像级标签标示给定区域目标变化是否达到阈值，如果达到阈值则进入变化检测网络模型，否则不做处理；步骤3.2 训练变化判别神经网络：使用步骤3.1生成的变化判别数据集训练用作变化判别的分类神经网络；在数据集中按照1：1的比例挑选若干对无变化图像对和有变化图像对进行训练，保证选取图像对覆盖原图像所有区域并且满足数据平衡的要求。5.根据权利要求1所述一种基于对抗学习的两阶段图像变化检测方法，其特征在于；步骤4基于U形神经网络进行变化检测是使用U形神经网络对输入的图像对进行变化检测；采用UNet++神经网络进行...
【专利技术属性】
技术研发人员：周川，陈雷霆，郭睿，席烁，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。