一种基于梯度先验的鲁棒双边稠密特征上采样方法及应用技术

本发明专利技术公开了一种基于梯度先验的鲁棒双边稠密特征上采样方法及应用，属于图像处理技术领域。包括：从稠密预测网络中提取需要上采样的图像特征，得到输入特征图；对输入特征图进行均值处理，得到均值特征图；对均值特征图做梯度映射，得到梯度先验特征，将每一个对应点的梯度先验整理为上采样梯度核；将上采样过程中原像素和上采样后像素相对距离做距离映射，生成距离先验特征，将每一个对应点的距离先验特征整理为上采样距离核；将距离核和梯度核相结合，生成上采样核；最后将输入特征上采样核之间进行卷积操作，得到对应输入特征图的上采样后的特征图。本发明专利技术能够克服以往算子需要高分辨率特征引导的局限性，使其能够具有多任务鲁棒性。任务鲁棒性。任务鲁棒性。

【技术实现步骤摘要】
一种基于梯度先验的鲁棒双边稠密特征上采样方法及应用


[0001]本专利技术属于图像处理
，更具体地，涉及一种基于梯度先验的鲁棒双边稠密特征上采样方法及应用。

技术介绍

[0002]稠密预测(Dense Prediction)是当前深度学习任务中的一个热门领域，其涵盖视觉中一系列逐像素标记的任务，包括目标检测(Object Detection)、深度估计(Depth Estimation)、语义分割(Semantic Segmentation)、图像抠图(Image Matting)、图像超分(Image Super
‑
Resolution)等。随着第一个端到端的稠密预测网络的出现，一大批基于深度学习的稠密预测网络涌现。基于这类任务的共性，目前典型的稠密预测的深度网络架构主要基于编码器和解码器的形式：通过编码器对输入特征提取，再依次经过解码器的特征融合和解码器头等模块对特征进行聚合并处理得到最终的结果。当前，大量的相关工作聚焦于提升编码器提取特征的能力，希望从网络的输入端优化特征的提取与利用，从而提升网络预测的效果。这些工作包含但不限于：多层堆叠的形式来提升模型感受野、增加层间跳接以及加入注意力机制。但对于多数稠密预测任务而言，网络最终的输出通常是和输入同分辨率的结果，这就必然导致在解码器端需要有特征上采样的步骤：利用特征上采样算子来将低分辨率特征上采样到高分辨率。因此，特征上采样成为了主流稠密预测网络中不可或缺的一部分。当前，稠密预测网络中常见的上采样算子主要包括以双线性插值为代表的经典插值算子，以反卷积(Deconvolution)和像素洗牌(PixelShuffle)等为代表的可学习的上采样算子，和以卡福(CARAFE)和索引网络(IndexNet)等为代表的动态上采样算子。
[0003]近来，随着稠密预测任务的快速发展，有限选择的上采样算子已成为了制约稠密预测网络性能的关键因素之一。但是，除了最为基础的插值上采样算子以外，多数的上采样算子存在其特定的任务偏好性。例如，索引网络(IndexNet)在图像抠图任务中表现良好，但却在语义分割，目标检测任务中展现出极差的性能。恰恰相反地，卡福(CARAFE)算子在语义分割和目标检测中的使用为他们带来了极大的性能提升，但它在图像抠图任务中，却无法发挥作用，甚至会带来逊于传统插值算子的效果，这使得研究者在训练不同稠密预测网络的同时需要去合理挑选适合的上采样算子。
[0004]除此之外，近年来，类似于索引网络(IndexNet)的上采样算子先后被提出，虽然这类算子都是适合稠密预测任务的动态算子，且在特定任务上都展现出了极佳的效果，但其限制在于均使用了源于高分辨率的编码器特征的帮助，这使得算子在上采样的过程中，有了额外的辅助信息，从而使其获得更接近于编码器特征的上采样结果。但这种算子的设计形式，却忽视了在诸如图像超分辨率(Image Super
‑
Resolution)等稠密预测任务中的应用。这类任务往往缺乏相应的高分辨率编码特征，因此以上两种算法无法在其相关任务上使用，这使得他们的通用性大打折扣。

技术实现思路

[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于梯度先验的鲁棒双边稠密特征上采样方法及应用，其目的在于合理利用低分辨率特征图的先验信息来帮助特征图进行上采样，从而克服算子需要高分辨率特征引导的局限性，使其能够具有多任务鲁棒性的同时，兼具不错的性能与即插即用性。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种基于梯度先验的鲁棒双边稠密特征上采样方法，包括以下步骤：
[0007]S1：从稠密预测网络中提取需要做上采样操作的图像特征，得到输入特征图；
[0008]S2：对输入特征图进行均值处理，从而得到均值特征图；
[0009]S3
‑
1：对均值特征图做梯度映射，得到均值特征图的梯度先验特征，将每一个对应点的梯度先验整理为上采样梯度核；
[0010]S3
‑
2：将上采样过程中原像素和上采样后像素相对距离做距离映射，生成距离先验特征，将每一个对应点的距离先验特征整理为上采样距离核；
[0011]S4：将所述上采样距离核和上采样梯度核相结合，生成上采样核；
[0012]S5：将输入特征图与上采样核之间进行卷积操作，得到对应输入特征图的上采样后的特征图。
[0013]进一步地，所述S1中，所述的稠密预测网络可以是任何现有的卷积神经网络，包括但不限于图像抠图网络，单目深度估计网络，语义分割网络等。需要进行上采样的图像特征是该稠密预测网络的中间层特征。在默认为二倍率上采样的情况下，给定输入特征图对应经过上采样算子后的输出特征图为
[0014]进一步地，所述S2中，给定输入特征图对其做通道维度的求均值操作，得到其对应的单通道均值特征图其中，C，H，W分别为输入特征图的通道数，特征高度，特征宽度。
[0015]进一步地，所述S3
‑
1中，利用梯度映射函数g(x)对均值特征图的梯度进行梯度映射，得到梯度先验，并将其整理为梯度核的形式。特别地，梯度映射函数可以是在[0,+∞)内单调递减的任意可微的平滑函数，在此处选择了作为梯度映射函数，∈为无限小的常数防止分母为0。特别地，均值特征图的每一个特征点的梯度为该点像素值与以其为中心的3
×
3的邻域点的差值。具体地，上采样后的特征图上的点位于坐标p＝(i,j)，其对应的上采样前的点位于坐标在X中提取一个以点为中心的3
×
3的局部区域Ω，则点的梯度先验映射为其中q∈Ω。随后，将距离先验映射整理为3
×
3的核的形式。
[0016]进一步地，所述S3
‑
2包括：直接对上采样前后的点的相对距离先验做映射，映射函数为∈为无限小的常数防止分母为0。具体地，同S2中类似，上采样后的特征图上的点的距离先验映射为随后，将距离先验映射整理为3
×
3的核的
形式。在生产距离先验时，还可给其添加距离偏置值来增加距离先验映射的灵活性。带有偏置的距离先验映射为其中的Δ＝f(X)，f是一个NN上采样层连接一个5
×
5的二维卷积层。随后，将带有偏置的距离先验映射整理为3
×
3的核的形式。
[0017]进一步地，所述S4中，将梯度核与距离核对应相乘，并进行归一化操作，得到上采样核，特别地，此处的归一化操作选择Softmax归一化。具体地，上采样后的特征图上的点位于坐标p＝(i,j)，其对应的上采样前的点位于坐标在X中提取一个以点为中心的3
×
3的局部区域Ω，处的上采样核的形式为：
[0018][0019]考虑距离偏置时形式为：
[0020][0021]其中q∈Ω。
[0022]进一步地，所述S5中，将输入特征X与上采样核进行卷积操作，进而得到最终的输出X
out
。具体地，其卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于梯度先验的鲁棒双边稠密特征上采样方法，其特征在于，包括：S1：从稠密预测网络中提取需要上采样的图像特征，得到输入特征图；S2：对输入特征图进行均值处理，得到均值特征图；S3
‑
1：对均值特征图做梯度映射，得到均值特征图的梯度先验特征，将每一个对应点的梯度先验整理为上采样梯度核；S3
‑
2：将上采样过程中原像素和上采样后像素相对距离做距离映射，生成距离先验特征，将每一个对应点的距离先验特征整理为上采样距离核；S4：将上采样距离核和上采样梯度核相结合，生成上采样核；S5：将输入特征图与上采样核之间进行卷积操作，得到对应输入特征图的上采样后的特征图。2.如权利要求1所述的基于梯度先验的鲁棒双边稠密特征上采样方法，其特征在于，所述的稠密预测网络为任意卷积神经网络，需要进行上采样的图像特征是该稠密预测网络的中间层特征。3.如权利要求1所述的基于梯度先验的鲁棒双边稠密特征上采样方法，其特征在于，所述步骤S2包括：对于给定输入特征图对其做通道维度的求均值操作，得到其对应的单通道均值特征图其对应的单通道均值特征图4.如权利要求1所述的基于梯度先验的鲁棒双边稠密特征上采样方法，其特征在于，所述步骤S3
‑
1包括：利用梯度映射函数对均值特征图的梯度进行梯度映射，得到梯度先验，并将其整理为梯度核的形式；其中，∈为无限小的常数；上采样后的特征图上的点位于坐标p＝(i,j)，其对应的上采样前的点位于坐标在X中提取一个以点为中心的局部区域Ω，则点...

【专利技术属性】
技术研发人员：陆昊，付洪涛，刘文泽，曹治国，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：