一种基于深度质量加权的RGB-D显著性目标检测方法技术

本发明专利技术属于计算机视觉领域，提供了一种基于深度质量加权的RGB

【技术实现步骤摘要】
一种基于深度质量加权的RGB
‑
D显著性目标检测方法

：
[0001]本专利技术涉及计算机视觉和图像处理领域，尤其涉及一种基于深度质量加权的RGB
‑
D显著性目标检测方法。

技术介绍
：
[0002]在计算机视觉和图像处理领域，显著性目标检测(SOD)旨在通过模拟人类视觉注意机制，识别和分割给定数据(如RGB图片、RGB
‑
D图片、视频等)中最具吸引力的物体或区域，已广泛应用于各种计算机视觉任务中，如语义分割，图像压缩，目标跟踪等等。
[0003]由于单一的模态的RGB显著性目标检测算法在面临复杂背景和光照条件等挑战性因素，难以从杂乱的背景中定位显著目标。克服这些挑战的一种方法是使用深度图来弥补RGB图像中缺失的空间信息。RGB图像包含细节信息(如丰富的纹理、颜色和外观线索)，而深度图提供空间信息，表达几何结构和距离信息。因此，将RGB图像与深度图相结合用于SOD任务(称为RGB
‑
D SOD)是一种合理的选择，它可以处理更复杂的场景，满足高级检测的需求。
[0004]尽管现有的RGB
‑
D SOD方法已经取得了显著的进展，但大多数都忽略了低质量的深度图会对RGB
‑
D SOD任务产生不利影响的问题。高质量的深度图具有清晰的边界和准确的目标定位，有助于SOD。然而，低质量的深度图不仅边缘模糊，而且目标定位不准确，这可能在跨模态特征融合引入一定的噪声，从而降低SOD的性能。因此，在RGB
‑<br/>D SOD任务中，有必要考虑深度图的质量。
[0005]考虑到低质量的深度图不可避免地会对显著性目标检测带来影响，本专利技术尝试探索一种高效的跨模态特征融合方法，并利用此方法有效降低因低质量深度图对显著性检测带来的影响。此外，为了进一步探索多尺度特征之间的互补信息，充分利用高级别特征和远距离信息关联的优势，本专利技术通过挖掘多尺度特征融合方面的作用，帮助显著性检测模型更加准确地预测出显著目标。

技术实现思路
:
[0006]针对以上提出的问题，本专利技术提供一种基于深度质量加权的RGB
‑
D显著性目标检测方法，具体采用的技术方案如下：
[0007]1.获取训练和测试该任务的RGB
‑
D数据集。
[0008]将NJUD数据集、NLPR数据集和DUT
‑
RGBD数据集作为训练集，将剩余部分的NJUD数据集、剩余的NLPR数据集、SIP数据集、LFSD数据集和RGBD135数据集作为测试集。
[0009]2.利用卷积神经网络构建用于提取RGB图像特征和Depth图像特征的显著性目标检测模型网络。
[0010]2.1)利用VGG16作为本专利技术的模型的主干网络，用于提取RGB图像特征和对应的Depth图像特征，分别为和其中i表示层数，对应于VGG16的每层输出。
[0011]2.2)采用ImageNet数据集预训练的VGG16参数权重初始化本专利技术的用于构建主干
网络的VGG16权重。
[0012]3.基于步骤2所提取到的多尺度RGB图像特征和对应的Depth图像特征进行多尺度的跨模态特征加权式融合，并利用该加权融合构建一个跨模态特征融合网络用于生成多模态特征。
[0013]3.1)跨模态特征融合网络由5个层次的跨模态加权融合(CMWF)模块分别提取5个层次的RGB图像特征和对应的Depth图像特征构成，并生成5个层次的多模态特征
[0014]3.2)第i层次的CMWF模块的输入由数据和构成，并通过加权式引导的深度质量评估机制生成第i层次的多模态特征
[0015]3.3)CMWF模块通过加权式引导的深度质量评估机制生成多模态特征具体过程如下：
[0016]3.3.1)首先本专利技术构建一个通道
‑
空间注意力特征增强模块用于对特征进行过滤和增强，以增强特征的显著性表达能力。通过该通道
‑
空间注意力特征增强模块，可以进一步去除不必要的噪声，并强调共同的显著对象，得到增强的多模态特征
[0017][0018][0019][0020]其中，c∈{r,d}，和表示在第i级别的通道注意力和空间注意力，GAP表示全局平均池化，GMP表示全局最大池化，Cat表示特征连接操作，Conv
k
表示卷积核大小为k
×
k的卷积操作,sigmoid表示sigmoid激活函数，multi表示元素感知的矩阵乘操作。
[0021]3.3.2)通过计算增强后的RGB特征级注意图和深度特征级注意图之间的差值来体现两种模态在特征级别的差距然后将得到的差值除以增强后的RGB特征像素值的绝对值得到加权系数λ
i
：
[0022][0023][0024]其中，subtra表示元素感知的矩阵减操作,其中，subtra表示元素感知的矩阵减操作,|
·
|表示平均绝对操作,H和W为特征f的高和宽。
[0025]3.3.3)进一步采用交叉增强策略，将原始RGB特征和深度特征分别与通道
‑
空间注意力特征增强之后的RGB图像特征和对应的Depth图像特征采取交叉增强策略，得到交叉增强特征和
[0026][0027][0028]3.3.4)在获得加权系数和交叉增强特征之后，通过加权式融合方法，融合跨模态特征，RGB图像特征和对应的Depth图像特征得到融合特征
[0029][0030]其中，i∈{1,2,3,4,5}表示特征所在模型的层次，add表示元素感知的矩阵加操作,Cat表示特征连接操作。
[0031]4)通过上述操作，提取到5个层次的多模态特征并将第4和第5层次的特征输入到双向尺度相关卷积模块，通过深度可分离卷积操作增强多模态特征的感受野信息和高级语义信息。
[0032]4.1)分别将第4和第5层次的多模态特征通过深度可分离卷积操作提取多尺度的感受野信息，并设置不同卷积核大小的深度可分离卷积：
[0033]R1＝DConv3(R)+R
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(9)
[0034]R
i
＝DConv2×
i+1
(R
i
‑1)+R,i∈(2,3,4)
ꢀꢀꢀꢀꢀꢀ
公式(10)
[0035][0036]其中，R表示输入特征，DConv3表示3
×
3深度可分离卷积，DConv2×
i+1
表示卷积核为2
×
i+1的深度可分离卷积。
[0037]4.2)将上述所有的多尺度特征连接起来，增加一个残差连接以得到高级特征
[0038][0039]其中，c∈{4,5},A表示全局平均池化。
[0040]4.3)将上述步骤所生成的低层级特征和和高层级特征和输入到解码器网络中，得到最终的融合特征，在经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度质量加权的RGB
‑
D显著性目标检测方法，其特征在于，该方法包括以下步骤：1)获取训练和测试该任务的RGB
‑
D数据集，并定义本发明的算法目标，并确定用于训练和测试算法的训练集和测试集；2)构建用于提取RGB图像特征RGB编码器和深度(Depth)图像特征Depth编码器；3)建立跨模态特点融合网络，通过加权式引导的深度质量评估机制指导RGB图像特征和Depth图像特征进行交叉加权融合；4)基于上述的跨模态特点融合成的多模态特征，构建双向尺度相关卷积融合机制，以增强多模态特征的高级语义信息；5)建立解码器，并通过激活函数得到最终的预测到的显著图；6)预测出来的显著图P
est
与人工标注的显著目标分割图P
GT
进行损失函数的计算，并通过Adam和反向传播算法逐步更新本发明提出的模型的参数权重，最终确定RGB
‑
D显著性检测算法的结构和参数权重。7)在步骤6确定模型的结构和参数权重的基础上，对测试集上的RGB
‑
D图像对进行测试，生成显著图P
test
，并使用评价指标进行性能评估。2.根据权利要求1所述的一种基于深度质量加权的RGB
‑
D显著性目标检测方法，其特征在于：所述步骤1)具体方法是：将NJUD数据集、NLPR数据集和DUT
‑
RGBD数据集作为训练集，将剩余部分的NJUD数据集、剩余的NLPR数据集、SIP数据集、LFSD数据集和RGBD135数据集作为测试集。3.根据权利要求1所述的一种基于深度质量加权的RGB
‑
D显著性目标检测方法，其特征在于：所述步骤2)具体方法是：3.1)利用VGG16作为本发明的模型的主干网络，用于提取RGB图像特征和对应的Depth图像特征，分别为和其中i表示层数，对应于VGG16的每层输出。3.2)采用在ImageNet数据集预训练的VGG16参数权重初始化本发明的用于构建主干网络的VGG...

【专利技术属性】
技术研发人员：夏晨星，杨凤，梁兴柱，崔建华，王列伟，段松松，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：