基于NonshadowGAN的无人机铁路扣件图像阴影去除方法及系统技术方案

本申请提供一种基于NonshadowGAN的无人机铁路扣件图像阴影去除方法及系统。本申请基于无人机所获取的铁路扣件图像，首先对扣件图像进行预处理实现数据的增广，然后利用NonshadowGAN网络实现对扣件部件的阴影去除。本申请将无人机铁路扣件图像输入到阴影去除网络中时，将损失函数分为三部分，通过生成对抗网络将对抗损失应用于学习阴影特征，完成阴影和无阴影特征的学习与识别任务，并通过循环一致性损失减少映射函数的可用空间，通过身份验证损失进一步约束网络结构，鉴别阴影生成结果，调整参数模型。从而，本申请能够基于非成对的阴影扣件数据实现模型训练，进而准确实现对无人机扣件数据中阴影部分的去除。无人机扣件数据中阴影部分的去除。无人机扣件数据中阴影部分的去除。

【技术实现步骤摘要】
基于NonshadowGAN的无人机铁路扣件图像阴影去除方法及系统


[0001]本申请涉及高速铁路检测
，具体而言涉及一种基于NonshadowGAN的无人机铁路扣件图像阴影去除方法及系统。

技术介绍

[0002]高速铁路需要保证其安全高效的运行。现有的检测方法，如人工检测、检测车等，存在检测效率低、维修天窗限制、检测死角等问题。近年来，由于无人机巡检具有高效、灵活、低成本的特点，无人机巡逻检测在许多领域取得了良好的效果。基于无人机图像采集的铁路基础设施缺陷检测与监控是一种新的、有效的方法。然而，实际运用中，为避免干扰列车的正常运行，无人机不允许在铁路线上方拍摄。而在线路安全区域外斜拍所获得的无人机图像数据则不可避免地会受到阴影的干扰。因此，对于无人机采集的可见光照明条件下的扣件数据，为了便于后续缺陷检测，有必要对图像中的阴影进行适当的去除。
[0003]阴影去除是一个非常重要和具有挑战性的研究方向，其目的是在不破坏图像原始内容的情况下去除现有的阴影。其困难之处在于如何恢复阴影区域下的内容。目前的阴影去除算法大多基于成对数据的监督学习方法，存在一定的局限性。成对的数据要求除了阴影部分外，两张照片必须完全相同。因此训练过程中需要固定相机的位置和参数，手动添加或移除物体，人工生成一对有阴影和无阴影的数据。这样，图像中除了阴影内容之外的其他参数需要完全保持一致。并且，训练图像中，我们只能产生小范围内的阴影配对数据，不能将数据引入到大场景或不受阴影控制的场景中。由于训练数据的上述限制，无人机采集的铁路扣件数据属于现有技术中无法人工匹配的场景，我们无法提供成对的阴影扣件数据。

技术实现思路

[0004]本申请针对现有技术的不足，提供一种基于NonshadowGAN的无人机铁路扣件图像阴影去除方法及系统，本申请基于无监督生成对抗网络，不需要人工标注，并且，同时，本申请基于CycleGAN的双向网络，在改进的循环一致性损失约束下，不需要对扣件的数据进行配对。本申请所提供的方法可以实现对铁路无人机图像扣件阴影的去除，以便于后续的缺陷坐标定位和分类。本申请具体采用如下技术方案。
[0005]首先，为实现上述目的，提出一种基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其步骤包括：步骤一、接收无人机上搭载的可变焦相机所拍摄的轨道图像数据；步骤二、对接收获得的轨道图像数据进行预处理，扩充数据集，将扣件数据集以及阴影公开数据集分别按照2:1比例划分为阴影训练集和无阴影训练集；步骤三、构建NonshadowGAN模型，该模型包括两个生成器和两个鉴别器，其中，中生成器用于执行阴影数据区域和无阴影数据区域的特征转换，由阴影训练集中图像生成无阴影图像，并在无阴影训练集图像中添加阴影以生成相应的阴影图像；其中，鉴别器用于判别由生成器所产生的虚假图像，并从生成器所生成的图像数据中区分出真实的图像数据；步骤四、在将阴影训练集和无阴影训练
集输入NonshadowGAN模型中训练网络模型参数，在鉴别器获得无法判别生成器输出图像的真伪后，结束对网络模型参数的训练，将无人机所拍摄的轨道图像数据输入到训练所得网络模型中，实现扣件数据的阴影去除。
[0006]可选的，如上任一所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其中，所述步骤三中，NonshadowGAN模型生成器基于CycleGAN的双向网络，增加有身份验证损失约束网络结构，使用dense block密集块作为基线，经3次卷积运算，9个dense block密集块，然后对特征层进行步长为2的卷积和2次上采样的反卷积运算；所述鉴别器中使用70
×
70PatchGAN结构来判断70
×
70的添加有阴影的图像是否为生成器所产生的虚假图像。可选的，如上任一所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其中，所述步骤二中，对轨道图像数据进行预处理的步骤包括以下任意一种或其组合：对轨道图像数据进行旋转、添加高斯噪声、改变图像的对比度和亮度、图像弹性变形、对图像进行镜像处理。
[0007]可选的，如上任一所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其中，所述步骤三，NonshadowGAN模型生成器中使用Instance Normalization作为规范化层，分别取出每个特征层的宽高进行归一化处理。
[0008]可选的，如上任一所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其中，所述步骤三中，NonshadowGAN模型生成器中所增加的身份验证损失约束网络结构包含以下多任务损失函数：
[0009]L
final
(G
free
，D
free
，G
shadow
，D
shadow
)＝w1(L
GAN
(G
free
，D
free
)+L
GAN
(G
shadow
，D
shadow
))+w2(L
cycle
(G
free
，G
shadow
)+L
cycle
(G
shadow
，G
free
))+w3(L
identity
(G
free
)+L
identity
(G
shadow
))；其中，w1、w2、w3的值分别为1、10、5，L
GAN
()表示梯度损失，L
cycle
()表示循环一致性损失，L
identity
()表示身份验证损失，多任务损失函数以极小极大方式优化。
[0010]同时，为实现上述目的，本申请还提供一种基于NonshadowGAN的无人机铁路扣件图像阴影去除系统，其包括：数据集单元，其接收无人机上搭载的可变焦相机所拍摄的轨道图像数据，对接收获得的轨道图像数据进行预处理，扩充数据集，将扣件数据集以及阴影公开数据集分别按照2∶1比例划分为阴影训练集和无阴影训练集；NonshadowGAN模型单元，其包括两个生成器和两个鉴别器，其中，中生成器用于执行阴影数据区域和无阴影数据区域的特征转换，由阴影训练集中图像生成无阴影图像，并在无阴影训练集图像中添加阴影以生成相应的阴影图像；其中，鉴别器用于判别由生成器所产生的虚假图像，并从生成器所生成的图像数据中区分出真实的图像数据；所述NonshadowGAN模型单元在将阴影训练集和无阴影训练集输入NonshadowGAN模型中训练网络模型参数，在鉴别器获得无法判别生成器输出图像的真伪后，结束对网络模型参数的训练，将无人机所拍摄的轨道图像数据输入到训练所得网络模型中，实现扣件数据的阴影去除。
[0011]可选的，如上任一所述的基于NonshadowGAN的无人机铁本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其特征在于，步骤包括：步骤一、接收无人机上搭载的可变焦相机所拍摄的轨道图像数据；步骤二、对接收获得的轨道图像数据进行预处理，扩充数据集，将扣件数据集以及阴影公开数据集分别按照2:1比例划分为阴影训练集和无阴影训练集；步骤三、构建NonshadowGAN模型，该模型包括两个生成器和两个鉴别器，其中，中生成器用于执行阴影数据区域和无阴影数据区域的特征转换，由阴影训练集中图像生成无阴影图像，并在无阴影训练集图像中添加阴影以生成相应的阴影图像；其中，鉴别器用于判别由生成器所产生的虚假图像，并从生成器所生成的图像数据中区分出真实的图像数据；步骤四、在将阴影训练集和无阴影训练集输入NonshadowGAN模型中训练网络模型参数，在鉴别器获得无法判别生成器输出图像的真伪后，结束对网络模型参数的训练，将无人机所拍摄的轨道图像数据输入到训练所得网络模型中，实现扣件数据的阴影去除。2.如权利要求1所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其特征在于，所述步骤三中，NonshadowGAN模型生成器基于CycleGAN的双向网络，增加有身份验证损失约束网络结构，使用dense block密集块作为基线，经3次卷积运算，9个dense block密集块，然后对特征层进行步长为2的卷积和2次上采样的反卷积运算；所述鉴别器中使用70
×
70PatchGAN结构来判断70
×
70的添加有阴影的图像是否为生成器所产生的虚假图像。3.如权利要求1所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其特征在于，所述步骤二中，对轨道图像数据进行预处理的步骤包括以下任意一种或其组合：对轨道图像数据进行旋转、添加高斯噪声、改变图像的对比度和亮度、图像弹性变形、对图像进行镜像处理。4.如权利要求1所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其特征在于，所述步骤三，NonshadowGAN模型生成器中使用Instance Normalization作为规范化层，分别取出每个特征层的宽高进行归一化处理。5.如权利要求2所述的基于NonshadowGAN的无人机铁路扣件图像阴影去除方法，其特征在于，所述步骤三中，NonshadowGAN模型生成器中所增加的身份验证损失约束网络结构包含以下多任务损失函数：L
final
(G
free
，D
free
，G
shadow
，D
shadow
)＝w1(L
GAN
(G
free
，D
free
)+L
GAN
(G
shadow
，D
shadow
))+w2(L
cycle
(G
free
，G
shadow
)+L
cycle
(G
shadow
，G
free
))+w3(L
identity
(G
free
)+L
identity
(G
shadow
))；其中，w1、w2、w3的值分别为1、10、5，L
GAN
()表示梯度损失，L
cycle
()表示循环一致性损失，L
identity
()表示身份验证损失，多任务损失函数以极小极...

【专利技术属性】
技术研发人员：秦勇，崔京，杨怀志，朱星盛，牟宗涵，陈平，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：