一种基于改进CycleGAN的机场场面目标检测多天气数据增强方法技术

本发明专利技术公开了一种基于改进CycleGAN的机场场面目标检测多天气数据增强方法。在原始CycleGAN网络的基础上，通过扩充残差网络块、编解码器的跨层连接以及引入注意力机制的方式改进生成器网络，同时设计动态加权多尺度判别器网络，使用正常天气下的机场场面小样本目标检测数据集以及典型恶劣天气下的辅助数据集进行训练，获得多天气图像生成网络，进而有效生成雨天、雾天、夜晚等多种天气条件下的高质量目标检测图像，增加数据样本的多样性。本发明专利技术作为一种有效的节约标注成本的数据增强方法，提升了小样本条件下的机场场面目标检测网络性能。网络性能。网络性能。

【技术实现步骤摘要】
一种基于改进CycleGAN的机场场面目标检测多天气数据增强方法


[0001]本专利技术属于计算机视觉中的图像生成领域，涉及一种基于改进CycleGAN的机场场面目标检测多天气数据增强方法，尤其涉及一种通过改进的循环一致性生成对抗网络来生成典型恶劣天气下的机场场面目标检测数据从而进行数据增强的方法。

技术介绍

[0002]目标检测作为计算机视觉领域中的典型任务之一，近年来已取得了飞速发展，涌现出大量出色的网络模型。但此类模型往往需要大规模数据集才能表现出较好的性能，这一条件在实际应用场景中难以满足，成本极高，因此数据增强方法成为了小样本数据下提高网络性能的有效手段。在视觉领域中，常见的数据增强方法包括图片的旋转、缩放、翻转、裁剪等，这些基础数据增强方法对图像分类任务效果良好，但作用于目标检测任务时效果却不够理想。生成对抗网络以其优异的表现在近年也成为一大热点，通过生成器与判别器之间的博弈过程，能够生成以假乱真的样本，达到数据增强的效果。
[0003]在机场场面目标检测任务中，各类目标如特种车辆、飞行器等，随机性强，尺度多变，且图像光照等随季节和天气变化，难以采集大量数据样本进行标注，小样本条件下目标检测效果不佳。使用改进的CycleGAN网络进行数据生成，增加目标检测数据的多样性，是提高目标检测网络性能的一种有效可行手段。

技术实现思路

[0004]针对上述问题，本专利技术提供了一种基于改进CycleGAN的机场场面目标检测多天气数据增强方法，在循环一致性生成对抗网络的基础上，分别改进生成器网络和判别器网络部分，同时调整整体损失函数，使得该模型可以生成多种典型恶劣天气下的高质量图片数据，将原始真实数据与生成的高质量数据结合，增加训练样本的多样性从而提高目标检测网络的泛化性能，以便最终实现更高效的小样本目标检测技术。
[0005]为实现上述目的，本专利技术采取的技术方案是：
[0006]一种基于改进CycleGAN的机场场面目标检测多天气数据增强方法，所述方法包括如下步骤：
[0007]步骤S1、图像数据采集和预处理，数据集制作；
[0008]所述步骤S1具体过程为：
[0009]通过机场场面监控摄像头采集源图像数据集，获取一段时间内正常天气下的目标检测数据并进行标注，作为原始小样本目标检测数据集；
[0010]采集典型恶劣天气下的图像数据，作为辅助天气数据集；
[0011]对上述两个原始数据集进行基础的数据增强操作，得到改进CycleGAN网络的训练数据集；
[0012]步骤S2、改进的注意力机制生成器网络构建；
[0013]所述步骤S2具体过程为：
[0014]对原始CycleGAN网络生成器里的残差风格转换网络进行扩充，在编码和解码部分的每个卷积块后均加入一个两层卷积残差网络块；
[0015]在原始CycleGAN网络的生成器中，引入U
‑
Net中的跳跃连接思想，即编解码对应部分进行跨层连接操作；
[0016]使用密集连接网络DenseNet替代原始CycleGAN网络生成器中的残差风格转换网络；
[0017]在风格转换网络DenseNet左右两端各添加一个注意力机制模块；
[0018]步骤S3、动态加权多尺度判别器网络构建；
[0019]所述步骤S3具体过程为：
[0020]通过两个不同尺度的PatchGAN全卷积网络支路对图像进行下采样操作，得到不同尺寸的图像判别结果；
[0021]步骤S4、对抗性训练；
[0022]所述步骤S4具体过程为：
[0023]在上述改进的生成器与判别器网络基础上调整原始CycleGAN网络的损失函数，即：
[0024]L(G,F,D
X
,D
Y
)＝L
GAN
(G,D
Y
,X,Y)+L
GAN
(F,D
X
,Y,X)+λL
cyc
(G,F)+L
Identity
(G,F)
[0025]其中为循环一致性损失，为恒等损失，L
GAN
(G,D
Y
,X,Y)为修正的生成对抗网络损失，此处对多尺度判别器网络损失进行动态加权，具体地：
[0026][0027][0028]由d
A1
＝2(1
‑
2(L1))和d
A2
＝2(1
‑
2(L2))分别计算A
‑
distance，从而得到动态加权因子最后有
[0029]L
GAN
(G,D
Y
,X,Y)＝αL1+(1
‑
α)L2[0030]L
GAN
(F,D
X
,Y,X)同理；
[0031]上述损失函数中G,F,D
X
,D
Y
分别为原始小样本目标检测数据X到辅助天气数据Y的生成器，辅助天气数据Y到原始小样本目标检测数据X的生成器，以原始小样本目标检测数据X为真实样本的判别器，以辅助天气数据Y为真实样本的判别器；D
Y1
、D
X1
和D
Y2
、D
X2
分别为上述两个不同尺度的判别器，λ为惩罚系数，网络参数由下式通过梯度下降训练得到：G
*
,F
*
＝argmin
G,F max
DX,DY L(G,F,D
X
,D
Y
)。
[0032]进一步地，所述步骤S1中正常天气为白天且晴天。
[0033]进一步地，所述步骤S1中目标包括特种车辆和飞行器。
[0034]进一步地，所述步骤S1中典型恶劣天气包括阴天、雨天、雾天和夜晚。
[0035]进一步地，所述步骤S1中数据增强操作包括旋转、缩放和翻转。
[0036]进一步地，所述步骤S2中注意力机制模块为空间通道混合注意力机制。
[0037]与现有技术相比，本专利技术的有益效果为：
[0038]通过扩充残差网络块、编解码器的跨层连接以及引入注意力机制的方式改进生成器网络，同时设计动态加权多尺度判别器网络，在机场场面小样本目标检测数据集以及辅助天气数据集条件下训练，可以有效生成雨天、雾天、夜晚等天气下的高质量目标检测图像，增加目标检测数据样本的多样性，从而有效提升小样本条件下的目标检测网络性能。
附图说明
[0039]图1为本专利技术提出方法的网络结构图；
[0040]图2为循环一致性生成对抗网络示意图；
[0041]图3为本专利技术提出方法的生成器网络结构图；
[0042]图4为本专利技术提出方法的判别器网络结构图。
具体实施方式
[0043]下面结合附图与具体实施方式对本专利技术作进一步详细描述：...

【技术保护点】

【技术特征摘要】
1.一种基于改进CycleGAN的机场场面目标检测多天气数据增强方法，其特征在于，所述方法包括如下步骤：步骤S1、图像数据采集和预处理，数据集制作；所述步骤S1具体过程为：通过机场场面监控摄像头采集源图像数据集，获取一段时间内正常天气下的目标检测数据并进行标注，作为原始小样本目标检测数据集；采集典型恶劣天气下的图像数据，作为辅助天气数据集；对上述两个原始数据集进行基础的数据增强操作，得到改进CycleGAN网络的训练数据集；步骤S2、改进的注意力机制生成器网络构建；所述步骤S2具体过程为：对原始CycleGAN网络生成器里的残差风格转换网络进行扩充，在编码和解码部分的每个卷积块后均加入一个两层卷积残差网络块；在原始CycleGAN网络的生成器中，引入U
‑
Net中的跳跃连接思想，即编解码对应部分进行跨层连接操作；使用密集连接网络DenseNet替代原始CycleGAN网络生成器中的残差风格转换网络；在风格转换网络DenseNet左右两端各添加一个注意力机制模块；步骤S3、动态加权多尺度判别器网络构建；所述步骤S3具体过程为：通过两个不同尺度的PatchGAN全卷积网络支路对图像进行下采样操作，得到不同尺寸的图像判别结果；步骤S4、对抗性训练；所述步骤S4具体过程为：在上述改进的生成器与判别器网络基础上调整原始CycleGAN网络的损失函数，即：L(G,F,D
X
,D
Y
)＝L
GAN
(G,D
Y
,X,Y)+L
GAN
(F,D
X
,Y,X)+λL
cyc
(G,F)+L
Identity
(G,F)其中为循环一致性损失，为恒等损失，L
GAN
(G,D
Y
,X,Y)为修正的生成对抗网络损失，此处对多尺度判别器网络损失进行动态加权，具体地：为修正的生成对抗网络损失，此处对多尺度判别器网络损失进行动态加权，具体地：由d
A1
＝2(1
‑
2(L1))和d...

【专利技术属性】
技术研发人员：阳媛，王紫航，严如强，徐佳文，杨浩然，况余进，蔡杰，
申请(专利权)人：东南大学，
类型：发明
国别省市：