一种红外图像增强的道路机载场景语义分割方法技术

本发明专利技术涉及一种红外图像增强的道路机载场景语义分割方法，将输入图像在送入特征提取器之前，先送入了图像增强模块，得到了图像增强后的大尺度图像，大尺度图像中的小目标尺寸已经在一定程度上被放大和增强，接下来将增强后的图像送入编码模块提取小目标特征，使提取到的特征因为有图像增强模块的存在，不会导致图像中小目标的空间细节丢失甚至消失。图像增强模块通过网络在低分辨率图像和高分辨率图像之间找到最佳的映射函数，映射函数通过基于深度学习的超分辨率重建算法得到，通过映射函数重建图像，实现对图像的增强放大。该道路机载场景语义分割方法通过图像增强的方法，提升目标的原始尺度，增强网络场景理解，提升输出精度。

【技术实现步骤摘要】
一种红外图像增强的道路机载场景语义分割方法
本专利技术涉及一种红外图像增强的道路机载场景语义分割方法。
技术介绍
与车载道路场景和安防道路场景不同的是，航拍或者遥感道路场景的视角是自上而下的大视场图像，由于拍摄角度的不同，场景的复杂度和所需要解决的问题也不一样。红外机载场景，通过无人机等飞行仪器搭载红外图像采集平台，通过不同航高，采集不同尺度的图像。一般来讲，为了获得更大的视场范围，无人机的高度会变得比较高，更甚至于，例如卫星遥感数据，目标尺度更小，且更为密集，这就会导致场景下的物体的空间尺度急剧减小，边缘轮廓变弱，任务中的主要问题就变成了如何解决红外场景下的小目标问题。航拍或者遥感道路场景的视角是自上而下的大视场道路场景，目标尺度小，对比度弱。因此目前航拍红外弱小目标的分割难点主要体现在下面几个方面：红外成像为主动成像，场景中的目标边缘弱，不清晰；场景中有非常多的背景干扰，以及行动的行人，车辆等干扰，以及树木遮挡；弱小目标在场景中形状不明显，尺寸，纹理等信息很难加以利用；目标相对于场景而言，面积非常小，信噪比低，传统的分割算法几乎难以解决。基于深度学习的分割算法从一定程度上可以解决小目标问题，但是由于神经网络为了扩大卷积核的感受野具有下采样的过程，这本身是一个丢失空间细节信息以换取高维特征的过程，但当目标过小时，较大倍率的下采样很可能会导致目标的空间细节被完全丢失。目前大多数的方法通常采用对图像进行预处理，例如背景预处理，多帧融合增强等方法，但这些方法在航拍的道路场景上的表现并不是很理想，因为道路场景中，目标会出现密集的情况，利如停车场，行驶的车辆等情况，会导致分割边缘连在一起。
技术实现思路
本专利技术的目的在于，克服现有技术中存在的问题，提供一种红外图像增强的道路机载场景语义分割方法，通过图像增强的方法，提升目标的原始尺度，增强网络场景理解，提升输出精度。为解决以上技术问题，本专利技术的一种红外图像增强的道路机载场景语义分割方法，将输入图像在送入特征提取器之前，先送入了图像增强模块，得到了图像增强后的大尺度图像，大尺度图像中的小目标尺寸已经在一定程度上被放大和增强，接下来将增强后的图像送入编码模块提取小目标特征，使提取到的特征因为有图像增强模块的存在，不会导致图像中小目标的空间细节丢失甚至消失。进一步的，所述图像增强模块通过网络在低分辨率图像和高分辨率图像之间找到最佳的映射函数，所述映射函数通过基于深度学习的超分辨率重建算法得到，通过映射函数重建图像，实现对图像的增强放大。进一步的，对于单张图像来说，通过输入的低分辨率图像以及图像中的卷积得到的特征途中学习到更多的信息，使这些信息被利用来重建出更高分辨率的图像，提升指标。进一步的，所述超分辨率重建算法采用了只增加激活函数前的特征图通道数，不增加通道数的3*3卷积对图像进行信息提取和增强。进一步的，WDSR_A采用了广泛的特征通道数来增加进去激活函数之前的信息；WDSR_B采用了更加广泛的通道数，且相比较WDSR_A而言，采用了卷积来扩展通道数目，减少大量的参数量；网络将上述两个分支进行融合后送入一个上采样模块，而WDSR将两路分支的图像进行了相同的上采样操作，最后直接相加得到最终重建后的高分辨率的图像。进一步的，采用了基于频域的损失函数对增强网络进行特征约束，通过从空域和频域的共同约束，提升网络的整体性能和输出结果。进一步的，通过将输出的结果图通过傅里叶变换后，得到了频域的输出图像，同时，将真实标签进行傅里叶变换得到同等尺寸的频域图计算L1损失，这里的损失作为辅助损失对网络进行约束，公式如下：ffreq＝rfft(f)，gtfreq＝rfft(gt)lossfreq＝L1(ffreq，gtfreq)，lossspace＝(f，gt)loss＝lossspace+αlossfreq式中：rfft(·)为图像的傅里叶变换，L1(·)为L1损失函数，f和gt分别为输出结果和真实标签，式中的α为经验值；freq为频域，space为空域，loss为该图像的损失。进一步的，通过计算边缘轮廓内的损失作为辅助损失函数，作用于交叉熵损失为主的训练过程中，增强网络对于深度特征中的边缘注意力，提升输出结果中边缘的分割精度。进一步的，通过真实标签得到所需的真实目标的边缘轮廓，公式如下：式中gt为真实标签，move(·)为将gt进行上下左右和4个对角线方向上进行平移，于是得到了长宽相比gt多两个像素的gtedge，随后，通过像素的差异可以轻易的得到图像中的目标边缘线；为了计算轮廓线内的损失，本算法将得到的边缘线进行一定程度上的膨胀，公式如下：gtedge＝erodekrene_size(gtedge)式中erode(·)为膨胀操作，krenel_size为膨胀系数。进一步的，所述经验值α设为0.4，所述膨胀系数krenel_size设为3。相对于现有技术，本专利技术取得了以下有益效果：1.使深度网络编码得到的目标空间信息不会因为下采样而丢失，提升最终分割图像细节和输出精度。2、以ENet为基准网络，加入了前置的红外图像增强模块，基于超分辨率重建的原理，增大图像中目标的尺度，且部分恢复图像中弱小目标的对比度和纹理信息，使深度网络编码得到的目标空间信息不会因为下采样而丢失，提升最终分割图像细节和输出精度。3、在保证了提取到有效信息的同时，利用相同的上采样，保证了原始图像的细节是完全的，更有利于网络去学习更好的细节补充信息。4、通过频域损失函数的辅助训练，使网络不仅关注于空间的灰度以及色度信息的细节来进行增强，与此同时，也关注了频域上的灰度变化，即图像每一个像素与周围像素的联系，因此，通过多方面的关注提升了图像整体的细粒度。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明，附图仅提供参考与说明用，非用以限制本专利技术。图1为本专利技术的设计图；图2为本专利技术中WDSR中的结构，左图为WDSR_A中的残差模块，右图为WDSR_B的残差模块；图3为机载数据集，其中，左图为原始分辨率数据集右图为高分辨率数据集图4为图像增强效果图，其中(a)为真实图，(b)为结果图，(c)为原分辨率图；图5为不同输入策略的结果图与真实标签的差值图，其中：(a)为原图，(b)为真实标签，(c)为原分辨率，(d)为二倍插值，(e)为二倍高分，(f)为图像增强策略；图6为边缘损失实验效果图与真实标签差值图对比，其中：(a)为原图，(b)为图像增强策略，(c)为边缘损失函数；图7为消融实验效果图。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本专利技术。如图1所示，本专利技术的红外图像增强的道路机载场景语义分割方法，将输入图像在送入特征提取器之前，先送入了图像增强模块，得到了图像增强后的大尺度图像，大本文档来自技高网...

【技术保护点】
1.一种红外图像增强的道路机载场景语义分割方法，其特征在于，将输入图像在送入特征提取器之前，先送入了图像增强模块，得到了图像增强后的大尺度图像，大尺度图像中的小目标尺寸已经在一定程度上被放大和增强，接下来将增强后的图像送入编码模块提取小目标特征，使提取到的特征因为有图像增强模块的存在，不会导致图像中小目标的空间细节丢失甚至消失。/n

【技术特征摘要】
1.一种红外图像增强的道路机载场景语义分割方法，其特征在于，将输入图像在送入特征提取器之前，先送入了图像增强模块，得到了图像增强后的大尺度图像，大尺度图像中的小目标尺寸已经在一定程度上被放大和增强，接下来将增强后的图像送入编码模块提取小目标特征，使提取到的特征因为有图像增强模块的存在，不会导致图像中小目标的空间细节丢失甚至消失。


2.根据权利要求1所述的红外图像增强的道路机载场景语义分割方法，其特征在于，所述图像增强模块通过网络在低分辨率图像和高分辨率图像之间找到最佳的映射函数，所述映射函数通过基于深度学习的超分辨率重建算法得到，通过映射函数重建图像，实现对图像的增强放大。


3.根据权利要求2所述的红外图像增强的道路机载场景语义分割方法，其特征在于，对于单张图像来说，通过输入的低分辨率图像以及图像中的卷积得到的特征途中学习到更多的信息，使这些信息被利用来重建出更高分辨率的图像，提升指标。


4.根据权利要求2所述的红外图像增强的道路机载场景语义分割方法，其特征在于，所述超分辨率重建算法采用了只增加激活函数前的特征图通道数，不增加通道数的3*3卷积对图像进行信息提取和增强。


5.根据权利要求4所述的红外图像增强的道路机载场景语义分割方法，其特征在于，WDSR_A采用了广泛的特征通道数来增加进去激活函数之前的信息；WDSR_B采用了更加广泛的通道数，且相比较WDSR_A而言，采用了卷积来扩展通道数目，减少大量的参数量；网络将上述两个分支进行融合后送入一个上采样模块，而WDSR将两路分支的图像进行了相同的上采样操作，最后直接相加得到最终重建后的高分辨率的图像。


6.根据权利要求2所述的红外图像增强的道路机载场景语义分割方法，其特征在于，采用了基于频域的损失函数对增强网络进行特征约束，通过从空域和频域的共同约束，提升网络的整体性能和输出结果...

【专利技术属性】
技术研发人员：张毅，李端阳，陈霄宇，韩静，柏连发，张权，滕之杰，魏驰恒，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32