一种基于迁移学习的红外图像障碍物无监督标注方法技术

本发明专利技术公开了一种基于迁移学习的红外图像障碍物无监督标注方法，扩充源域光学图像中塔架等障碍物的数据集，对UNet网络进行训练，并保存权重；调整UNet网络结构，去除深层特征提取层，同时增添特征融合模块，提出优于提取红外图像特征的语义分割网络IR

【技术实现步骤摘要】
一种基于迁移学习的红外图像障碍物无监督标注方法


[0001]本专利技术涉及图像处理和迁移学习领域，尤其涉及一种基于迁移学习的红外图像障碍物无监督标注方法。

技术介绍

[0002]直升机自从专利技术以来，因为其具有灵活、速度快等优异的飞行性能，一直在军用和民用领域被广泛应用。但直升机经常需要执行低空飞行任务，因此碰撞高压塔架和高压线等低空障碍物而导致的坠毁事故经常发生，直升机的低空飞行安全问题日益突出。
[0003]而如今可见光图像分辨率高，能够提供检测对象丰富的颜色、纹理及边缘等信息细节，红外图像在夜间或能见度差的环境中依然能保持高检测率的优势，因此融合可见光和红外的多源传感器检测塔架和高压线的方法渐渐发展起来。但由于红外图像相对于可见光图像存在成像质量差、分辨率低、信息单一等问题，导致红外图像标注过程中出现许多难点问题。
[0004]迁移学习是一种机器学习方法，把源域的知识迁移到目标域，使得目标领域能够取得更好的学习效果。通常，源域数据量充足，而目标域数据量较小，这种场景就很适合做迁移学习。本专利技术中由于塔架、线等低空障碍物在光学和红外图像中表现出的基本结构特征如点、线等具有相似性，因此便可将光学图像障碍物检测的信息和知识“迁移”到红外图像的标注中，实现训练数据的无监督标注。

技术实现思路

[0005]专利技术目的：本专利技术所要解决的技术问题在于，提供一种基于迁移学习的红外图像障碍物无监督标注方法，解决了红外图像标注困难等许多难点问题。
[0006]技术方案：本专利技术提供了一种基于迁移学习的红外图像障碍物无监督标注方法，具体包括以下步骤：
[0007](1)扩充源域光学图像中塔架等障碍物的数据集，对UNet网络进行训练，并保存权重；
[0008](2)调整UNet网络结构，去除深层特征提取层，同时增添特征融合模块，提出优于提取红外图像特征的语义分割网络IR
‑
UNet；
[0009](3)分别对IR
‑
UNet和UNet训练，得到训练权重后，网络再对大量无标注的红外图像输入样本进行测试，实现红外图像障碍物的无监督标注。
[0010]进一步地，步骤(1)所述扩充源域光学图像中塔架等障碍物的数据集实现过程如下：
[0011]对原有的光学图像进行上下翻转和左右镜像翻转，数据集扩大为原来的四倍；
[0012]对光学图像中的障碍物进行不同范围、不同背景的截取，增加样本多样性。
[0013]进一步地，步骤(2)中所述的语义分割网络IR
‑
UNe为：
[0014]将UNet网络深度从五层调整为四层，即编码部分只进行三次下采样操作之后便进
行上采样，解码部分从四次上采样减少为三次；冻结IR
‑
UNet网络下采样的前4层和上采样的前4层结构，保留部分训练参数以减少网络训练时间，并使用红外图像对最后两层卷积层进行微调，实现红外图像的无监督标注。
[0015]进一步地，步骤(2)所述特征融合模块有三种不同尺度的特征提取层，从浅到深分别是conv_64、conv_128、conv_256；将浅层特征与深层特征进行融合，将浅层特征层conv_64经过下采样后与特征层conv_128进行拼接，然后将conv_128经过下采样后与特征层conv_256进行拼接。
[0016]进一步地，所述步骤(3)实现过程如下：
[0017](35)用已扩充的光学图像中塔架等障碍物的数据集对UNet网络进行训练100个epochs，并保存权重；
[0018](36)将预先训练好的UNet网络调整为IR
‑
UNet网络；
[0019](37)标注少量目标域红外图像样本，分别对预先已训练好的UNet网络和IR
‑
UNet网络训练100个epochs；
[0020]IR
‑
UNet网络和UNet网络得到各自的训练权重后，对大量未被标注的红外图像进行测试，并将测试结果与人工标注进行比对。
[0021]有益效果：与现有技术相比，本专利技术的有益效果：本专利技术利用迁移学习方法，扩充光学图像障碍物样本并对UNet语义分割网络训练，同时改进UNet网络，增添特征融合模块，提出优于提取红外图像特征的语义分割网络IR
‑
UNet；然后冻结网络下采样的前4层和上采样的前4层结构，使用红外图像对最后两层卷积层进行微调，实现红外图像的无监督标注；实验结果表明，本方法获得的红外图像障碍物标注精度可以达到人工标注的88.6％，减轻了红外图像大批量数据标注的压力，实现训练数据的无监督标注。
附图说明
[0022]图1为扩充的光学图像样本；其中，(a)为原始光学图像，(b)为将原始图像进行上下翻转之后的图，(c)和(d)为对光学图像中塔架等障碍物进行不同范围、不同背景的截取图；
[0023]图2为训练好的UNet网络对光学图像的测试效果；
[0024]图3为使用红外图像对网络进行微调的示意图；
[0025]图4为本专利技术提出的IR
‑
UNet语义分割网络的示意图；
[0026]图5为两个对比实验的流程图；
[0027]图6为第一种天空背景下UNet、IR
‑
UNet网络对输入红外图像的测试结果和人工标注的对比示意图；其中，(a)为待标记的红外图像，(b)为人工标记的真值图，(c)为IR
‑
UNet所输出的标记结果，(d)为UNet所输出的标记结果；
[0028]图7为第二种天空背景下UNet、IR
‑
UNet网络对输入红外图像的测试结果和人工标注的对比示意图；其中，(a)为待标记的红外图像，(b)为人工标记的真值图，(c)为IR
‑
UNet所输出的标记结果，(d)为UNet所输出的标记结果；
[0029]图8为第三种天空背景下UNet、IR
‑
UNet网络对输入红外图像的测试结果和人工标注的对比示意图；其中，(a)为待标记的红外图像，(b)为人工标记的真值图，(c)为IR
‑
UNet所输出的标记结果，(d)为UNet所输出的标记结果；
[0030]图9为第四种天空背景下UNet、IR
‑
UNet网络对输入红外图像的测试结果和人工标注的对比示意图；其中，(a)为待标记的红外图像，(b)为人工标记的真值图，(c)为IR
‑
UNet所输出的标记结果，(d)为UNet所输出的标记结果。
具体实施方式
[0031]下面结合附图对本专利技术做进一步详细说明。
[0032]本专利技术提出一种基于迁移学习的红外图像障碍物无监督标注方法，包括如下步骤：
[0033]步骤1：扩充源域光学图像中塔架等障碍物的数据集，对UNet网络进行训练，并保存权重。
[0034]对原有的光学图像进行上下翻转和左本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移学习的红外图像障碍物无监督标注方法，其特征在于，包括以下步骤：(1)扩充源域光学图像中塔架等障碍物的数据集，对UNet网络进行训练，并保存权重；(2)调整UNet网络结构，去除深层特征提取层，同时增添特征融合模块，提出优于提取红外图像特征的语义分割网络IR
‑
UNet；(3)分别对IR
‑
UNet和UNet训练，得到训练权重后，网络再对大量无标注的红外图像输入样本进行测试，实现红外图像障碍物的无监督标注。2.根据权利要求1所述的基于迁移学习的红外图像障碍物无监督标注方法，其特征在于，步骤(1)所述扩充源域光学图像中塔架等障碍物的数据集实现过程如下：对原有的光学图像进行上下翻转和左右镜像翻转，数据集扩大为原来的四倍；对光学图像中的障碍物进行不同范围、不同背景的截取，增加样本多样性。3.根据权利要求1所述的基于迁移学习的红外图像障碍物无监督标注方法，其特征在于，步骤(2)中所述的语义分割网络IR
‑
UNe为：将UNet网络深度从五层调整为四层，即编码部分只进行三次下采样操作之后便进行上采样，解码部分从四次上采样减少为三次；冻结IR
‑
UNet网络下采样的前4层和上采...

【专利技术属性】
技术研发人员：谢子心，张弓，方政，胡文，
申请(专利权)人：南京航空航天大学深圳研究院，
类型：发明
国别省市：