光学图像跨域对抗生成SAR图像的方法技术

本发明专利技术公开的光学图像跨域对抗生成SAR图像的方法，能够有效提升特定图像分析任务的准确性。本发明专利技术通过下述技术方案实现：源域到目标域的图像跨域生成器生成目标域SAR图像，目标域判别器鉴别生成的SAR图像的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；同理，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络结构，并对该模型进行训练，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。域对抗网络增强SAR图像的结果。域对抗网络增强SAR图像的结果。

【技术实现步骤摘要】
光学图像跨域对抗生成SAR图像的方法


[0001]本专利技术涉及人工智能领域的数据增强，具体涉及小样本图像数据智能增强技术，尤其是光学图像跨域对抗生成SAR图像的方法。

技术介绍

[0002]合成孔径雷达(Synthetic Aperture Radar,SAR)图像是一种通过SAR传感器主动发射微波并接收回波而产生的二维图像。接收其回波的高分辨率相干成像系统,能够全天时,全天候地进行数据的采集工作。该系统发射的电磁波的波长较长,这使其能克服光学图像易受云层和雾霾等其他气象条件影响的缺点。然而,由于SAR图像的特殊成像方式,导致SAR图像中含大量斑点噪声和散射斑,因此SAR图像分类相比于光学图像分类更加困难，而且SAR图像样本数量少、分布不均衡，不充足的数据存在量，往往导致下游深度网络模型(如目标检测模型等)过拟合。为了有效解决深度网络模型训练因样本数量不足而出现的过拟合问题，一方面是对数据样本质量方面的增强，例如图像去噪、信号去噪等；另一方面基于已有的少量带标签样本数据，通过模型或算法生成同样标签数据来达到扩增原始样本集数量的目的，例如图像对抗生成、文本回译等。数据增强最早应用于计算机视觉领域，传统图像数据增强方法从几何变换和特征变换的角度来实现，主要包括旋转变换、翻转变换、尺度缩放、图像裁剪、水平/垂直移位变换、分段仿射、插值、对比度变换、Fancy PCA等，构建不同质量等级、不同分布、不同尺度、不同视角、不同形态的图像样本数据集。
[0003]随着深度学习时代的到来，众多学者也在思考如何利用深度神经网络强大的特征提取能力来帮助生成同分布的新样本。这其中的代表技术是由蒙特利尔大学Ian Goodfellow在2014年提出的生成对抗网络模型(Generative Adversarial Networks，GAN)，文中提到生成对抗网络主要专注于样本生成，通过从数据集中抽取样本组成，并学会以某种方式表示该样本特征的分布估计，通过判别器对真实样本分布和虚假样本分布进行判别，在生成器与判别器的不断对抗中达到平衡，以生成清晰图像。为了实现多模式数据生成，将生成对抗网络框架扩展到了条件设置上，Mehdi Mirza(2014)提出了条件生成对抗网络。此模型在生成器和判别器上都加上了条件，通过对条件的控制实现对生成数据的把控，为多模式数据生成提供了更好地表示。从文本描述中合成高质量图像一直以来都是计算机视觉方面的一大难题。最初的生成对抗网络中采用的是全连接神经网络同时进行生成和判别，限制生成对抗网络的学习能力。比如，在Xi Chen(2016)提出的InfoGAN(Information Maximizing Generative Adversarial Networks，InfoGAN)模型，发现通过语义信息可以处理图像外观中复杂的交互因素，包括面部的姿势、光线和情感内容上的变化，试图通过最大化潜在代码和生成器输出之间的互信息来检测变化的潜在因素，利用潜在变量实现无监督学习方式。针对这点，Han zhang(2017)等人提出了堆栈生成对抗网络，根据给定的文本描述来绘制对象的原始形状和颜色，以生成基于文本描述为条件的逼真图像。Jie Li(2018)等人提出了全连接到卷积神经网络的卷积生成对抗网络，采用卷积的生成对抗网络来训练生成器和判别网络要更加困难。Jianping Lin(2018)等人拉普拉斯对抗性网络金字
塔(Laplacian Pyramid of Adversarial Networks，LAPGAN)通过使用多尺度分解生成过程提供了一种解决方案：将真实的图像本身分解为拉普拉斯算子和有条件的图像，对卷积GAN进行训练，以产生上述给定的每一层。在卷积生成对抗网络上，Yaxin Li(2019)进一步提出了深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Networks，DCGAN)，这种网络在生成器和判别器中采用跨步卷积对学习空间进行上采样和下采样，实现高维图像想低维向量的映射。随后He Huang(2019)提出的GDAN(Generative dual adversarial network)将语义属性与视觉特征映射，视觉特征与语义属性映射以及度量学习结合使用，以形成一个统一的框架来优化生成模型。在集成学习的启发下，Liang Sun(2020)等人提出了一种带有协同耦合生成对抗网络，出于减轻中心性问题的目的，将视觉特征空间作为嵌入空间，并通过视觉特征中心生成网络实现映射。上述现有的文本到图像方法生成的样本可以大致反映给定描述的定义，但是无法包含必要的细节和生动的对象。这些应用于光学图像的深度学习方法在面向SAR数据时容易出现过拟合、泛化差的问题。如何适应性地解决这些问题是基于特征学习的SAR图像解译所必须突破的难点之一。
[0004]一直以来，生成对抗网络存在着难以训练，容易存在模式崩塌等问题。为了缓解这一问题，提出了很多相关变体，Yun Luo(2018)提出的Wasserstein GAN就是其中一样，WGAN采用了几乎在任何地方都是可谓且连续的Wasserstein距离，使得模型训练较原始模型更为轻松，也不存在类似的模式崩溃问题。Jingjing Li(2019)所提出来的LisGAN使用条件WGAN从随机噪声和语义属性生成伪造的看不见的图像，并引入了同一类中从最具有语义意义的方面学到的灵魂样本以规范化生成器，从而限制了每个生成的样本应尽可能接近真实样本。Ahmed Marzouk(2019)等人提出的BEGAN(Boundary Equilibrium Generative Adversarial Networks)优化了自动编码器损耗分布之间的Wasserstein距离，并且还获得了稳定而强大的训练。然而常规的生成对抗网络采用的判别器是具有S型交叉熵损失函数的分类器，在训练过程中可能会导致梯度消失。
[0005]综上所述，对抗生成网络是图像数据增强方向中直接生成新图像的代表性模型。对抗生成网络采用两个神经网络对抗的学习准则来生成新的数据，这是它的优点，也是它的缺点——会导致训练过程不稳定、模式崩溃等问题，因此，如何稳定对抗生成网络训练、解决模式崩溃问题，从而使其适应各种图像生成任务是未来图像数据增强研究的重点方向。

技术实现思路

[0006]本专利技术针对特定图像分析任务下SAR图像样本数量少、不充足导致下游深度网络模型(如目标检测模型等)过拟合的问题，提出一种能够有效提升特定图像分析任务准确性，跨域数据增强且数据生成模式稳健的光学图像跨域对抗生成SAR图像的方法。
[0007]本专利技术的上述目的可以通过以下措施来实现，一种光学图像跨域对抗生成SAR图像的方法，其特征在于，包括如下步骤：首先，以源域光学图像x作为图像跨域生成器Gx的输入，生成目标域SAR图像Gx(x)，并送入目标域判别器Dy判断生成SAR图像的真假，目标域判别器Dy根据输入的目标域真实SAR图像y
’
，鉴别生成的SAR图像Gx(x)的真o本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光学图像跨域对抗生成SAR图像的方法，其特征在于，包括如下步骤：首先，以源域光学图像x作为图像跨域生成器Gx的输入，生成目标域SAR图像Gx(x)，并送入目标域判别器Dy判断生成SAR图像的真假，目标域判别器Dy根据输入的目标域真实SAR图像y
’
，鉴别生成的SAR图像Gx(x)的真or假，同时图像跨域生成器Gx将生成的目标域SAR图像Gx(x)送入图像跨域生成器Gy，通过输入光学图像与重构光学图像的配准，形成源域光学图像到目标域SAR图像的循环一致对抗生成网络；然后，以目标域SAR图像y作为跨域生成器Gy的输入，生成源域光学图像Gy(y)，源域判别器Dx根据输入的源域真实光学图像图像x
’
，鉴别生成的光学图像Gy(y)的真or假，同时图像跨域生成器Gy将生成的源域光学图像Gy(y)送入图像跨域生成器Gx，通过输入SAR图像与重构SAR图像的配准，形成目标域SAR图像到源域光学图像的循环一致对抗生成网络；将上述两个循环一致对抗网络并接，构建双向循环一致跨域对抗网络(CycleGAN)结构，并对该模型进行训练，当双向循环一致跨域对抗网络达到最优时，以源域光学图像作为图像跨域生成器Gx的输入，输出的目标域SAR图像，即为循环一致跨域对抗网络增强SAR图像的结果。2.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：在构建源域光学图像到目标域SAR图像的循环一致对抗生成网络中，以源域光学图像x作为输入，通过图像跨域生成器Gx生成目标域SAR图像Gx(x)，与目标域真实SAR图像y
’
通过目标域判别器Dy鉴别生成的SAR图像Gx(x)是否为真正的SAR图像，同时，Gx(x)又作为图像跨域生成器Gy的输入，获得重构的源域光学图像x，即Gy(Gx(x))。3.如权利要求2所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：根据图像跨域生成器Gx和目标域判别器Dy，生成光学图像到SAR图像对抗生成网络模型损失函数L
GAN
(Gx，Dy)：其中，E(
·
)表示分布函数期望值，y～P
sar
表示目标域SAR图像y服从概率分布P
sar
，x～P
opt
表示源域光学图像x服从概率分布P
opt
，log表示对数，Dy(
·
)表示目标域SAR图像判别器输出。4.如权利要求1所述的光学图像跨域对抗生成SAR图像的方法，其特征在于：在构建目标域SAR图像到源域光学图像的循环一致对抗生成网络中，以目标域SAR图像y作为输入，通过图像跨域生成器Gy生成源域光学图像Gy(y)，与真实源域光学图像x
’
通过源域判别器Dx鉴别生成的光学图像Gy(y)是否为真正的光学图像，同时，生成的...

【专利技术属性】
技术研发人员：潘磊，廖泓舟，高翔，
申请(专利权)人：西南电子技术研究所中国电子科技集团公司第十研究所，
类型：发明
国别省市：