一种基于双边注意力机制的RGB-D显著性物体检测方法技术

本发明专利技术涉及图像处理技术领域，尤其为一种基于双边注意力机制的RGB‑D显著性物体检测方法，步骤如下；S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50，自顶向下地得到最终的预测结果，所述S10跨模态特征提取包括，使用神经网络提取RGB图像和深度图不同层级的特征。本发明专利技术的目的是解决基于深度学习的RGB‑D方法无差别地从前景背景中学习所致的性能瓶颈问题，设计了一种基于双边注意力机制的RGB‑D显著性物体检测方法（BiANet），本发明专利技术提出的BiANet通过双边注意力机制有效地从前景背景中学习到了显著性物体的特性，经实验，本发明专利技术在公开的6个数据集上均超越最前沿的RGB‑D显著性物体检测方法。

An rgb-d salient object detection method based on bilateral attention mechanism

【技术实现步骤摘要】
一种基于双边注意力机制的RGB-D显著性物体检测方法
本专利技术涉及图像处理
，尤其涉及一种基于双边注意力机制的RGB-D显著性物体检测方法。
技术介绍
显著性检测的目的是检测出一个场景中最吸引人类注意力的物体，在视觉追踪、图像分分割等很多视觉任务上有广泛的应用；目前大多方法重点考虑从RGB图像中预测显著物体，这些方法很容易受到前景与背景相似颜色和前景物体内部强烈颜色对比度等因素的干扰，导致检测的错误；随着低成本深度传感器的普及，场景的深度图越来越容易被捕获；深度图提供了场景三维的空间关系，可以有效地辅助显著性物体检测算法避免由前景和背景颜色带来歧义；因此越来越多工作开始研究如何更好地借助深度图来进行显著性物体检测任务，即RGB-D显著性物体检测。之前的RGB-D显著性物体的方法，常常使用深度对比度作为重要的先验；近期，Zhao等人在工作“ContrastpriorandfluidpyramidintegrationforRGBDsalientobjectdetection”中将深度对比度先验引入到深度学习方法中有效地提升了检测精度；这些方法实际上是利用深度信息将注意力关注于前景区域；但是，理解什么是背景对显著性检测任务也十分重要；前景和背景的分布存在巨大差异，无差别地从其中学习显著性的线索较为困难；传统方法中有一些方法提出分别从前景和背景推理显著性区域的策略，但是在基于深度学习的方法中，这个朴素而有效的思想并未被重视。
技术实现思路
本专利技术的目的在于提供一种基于双边注意力机制的RGB-D显著性物体检测方法，以解决上述
技术介绍
中提出的现有的前景和背景的分布存在巨大差异，无差别地从其中学习显著性的线索较为困难以及传统方法中有一些方法提出分别从前景和背景推理显著性区域的策略，但是在基于深度学习的方法中，这个朴素而有效的思想并未被重视的问题。为了实现以上目的，本专利技术采用的技术方案为：一种基于双边注意力机制的RGB-D显著性物体检测方法，步骤如下；S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50，自顶向下地得到最终的预测结果，其中；所述S10跨模态特征提取包括，使用神经网络提取RGB图像和深度图不同层级的特征，并将相同层级的两个模态特征融合，所述S20显著区域初步预测包括，联合最高层级的RGB图像特征和深度图特征预测显著区域，预测大致的前景背景区域，所述S30预测图上采样包括，将当前预测的显著图上采样，使之与前一层级特征的分辨率相同，所述S40基于双边注意力的残差生成包括，将得到的显著图使用Sigmoid函数激活作为前景注意力图，取反作为背景注意力图，分别从两个支路增强前一层级的特征，并使用增强后的特征联合预测S30中上采样后的显著图和真实标签之间的残差，所述S50残差补偿包括，将S40中预测的残差与S30中上采样得到显著图相加，得到修正后的显著图。进一步的，所述S10跨模态特征提取中所述的神经网络可以是两路不共享参数VGG-16网络。进一步的，所述S10跨模态特征提取中所述的不同层级特征是VGG-16网络各个池化层前的最后一层特征。进一步的，所述S10跨模态特征提取中所述的两个模态特征融合的操作可以是拼接操作。进一步的，所述S20显著区域初步预测中所述的联合方法可以是将特征拼接后使用一组卷积层和非线性激活层实现预测。进一步的，所述S30预测图上采样中所述的上采样方法可以是双线性插值。进一步的，所述S40基于双边注意力的残差生成中所述的第i层的前景注意力图和背景注意力图可以通过如下方式获得：其中σ(·)是Sigmoid激活函数，E为全1矩阵U(Si+1)代表i+1层上采样后的显著图。进一步的，所述S40基于双边注意力的残差生成中所述的两个支路可以由多个卷积层和非线性激活层构成。本专利技术的有益效果为：本专利技术的目的是解决基于深度学习的RGB-D方法无差别地从前景背景中学习所致的性能瓶颈问题，设计了一种基于双边注意力机制的RGB-D显著性物体检测方法(BiANet)，本专利技术提出的BiANet通过双边注意力机制有效地从前景背景中学习到了显著性物体的特性，经实验，本专利技术在公开的6个数据集上均超越最前沿的RGB-D显著性物体检测方法。附图说明图1为一种基于双边注意力机制的RGB-D显著性物体检测方法的流程结构示意图。图2为一种基于双边注意力机制的RGB-D显著性物体检测方法的BiANet方法的具体实施框架结构示意图。图3为一种基于双边注意力机制的RGB-D显著性物体检测方法的双边注意力机制结构示意图。具体实施方式为了使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图对本专利技术进行详细描述，本部分的描述仅是示范性和解释性，不应对本专利技术的保护范围有任何的限制作用。如图1-图3所示，本专利技术的具体结构为：一种基于双边注意力机制的RGB-D显著性物体检测方法，步骤如下；S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50，自顶向下地得到最终的预测结果，其中；所述S10跨模态特征提取包括，使用神经网络提取RGB图像和深度图不同层级的特征，并将相同层级的两个模态特征融合，所述S20显著区域初步预测包括，联合最高层级的RGB图像特征和深度图特征预测显著区域，预测大致的前景背景区域，所述S30预测图上采样包括，将当前预测的显著图上采样，使之与前一层级特征的分辨率相同，所述S40基于双边注意力的残差生成包括，将得到的显著图使用Sigmoid函数激活作为前景注意力图，取反作为背景注意力图，分别从两个支路增强前一层级的特征，并使用增强后的特征联合预测S30中上采样后的显著图和真实标签之间的残差，所述S50残差补偿包括，将S40中预测的残差与S30中上采样得到显著图相加，得到修正后的显著图。优选的，所述S10跨模态特征提取中所述的神经网络可以是两路不共享参数VGG-16网络。优选的，所述S10跨模态特征提取中所述的不同层级特征是VGG-16网络各个池化层前的最后一层特征。优选的，所述S10跨模态特征提取中所述的两个模态特征融合的操作可以是拼接操作。优选的，所述S20显著区域初步预测中所述的联合方法可以是将特征拼接后使用一组卷积层和非线性激活层实现预测。优选的，所述S30预测图上采样中所述的上采样方法可以是双线性插值。优选的，所述S40基于双边注意力的残差生成中所述的第i层的前景注意力图和背景注意力图可以通过如下方式获得：其中σ(·)是Sigmoid激活函数，E为全1矩阵U(Si+1)代表i+1层上采样后的显著图。优选的，所述S40基于双边注意力的残差生成中所述的两个支路可以由多个卷积层和非线性激活层构成。参考图1，本专利技术提出的BiANet模型由跨模态特征本文档来自技高网...

【技术保护点】
1.一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：步骤如下；S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50，自顶向下地得到最终的预测结果，其中；/n所述S10跨模态特征提取包括，使用神经网络提取RGB图像和深度图不同层级的特征，并将相同层级的两个模态特征融合，所述S20显著区域初步预测包括，联合最高层级的RGB图像特征和深度图特征预测显著区域，预测大致的前景背景区域，所述S30预测图上采样包括，将当前预测的显著图上采样，使之与前一层级特征的分辨率相同，所述S40基于双边注意力的残差生成包括，将得到的显著图使用Sigmoid函数激活作为前景注意力图，取反作为背景注意力图，分别从两个支路增强前一层级的特征，并使用增强后的特征联合预测S30中上采样后的显著图和真实标签之间的残差，所述S50残差补偿包括，将S40中预测的残差与S30中上采样得到显著图相加，得到修正后的显著图。/n

【技术特征摘要】
1.一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：步骤如下；S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50，自顶向下地得到最终的预测结果，其中；
所述S10跨模态特征提取包括，使用神经网络提取RGB图像和深度图不同层级的特征，并将相同层级的两个模态特征融合，所述S20显著区域初步预测包括，联合最高层级的RGB图像特征和深度图特征预测显著区域，预测大致的前景背景区域，所述S30预测图上采样包括，将当前预测的显著图上采样，使之与前一层级特征的分辨率相同，所述S40基于双边注意力的残差生成包括，将得到的显著图使用Sigmoid函数激活作为前景注意力图，取反作为背景注意力图，分别从两个支路增强前一层级的特征，并使用增强后的特征联合预测S30中上采样后的显著图和真实标签之间的残差，所述S50残差补偿包括，将S40中预测的残差与S30中上采样得到显著图相加，得到修正后的显著图。


2.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：所述S10跨模态特征提取中所述的神经网络可以是两路不共享参数VGG-16网络。


3.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检...

【专利技术属性】
技术研发人员：程明明，张钊，范登平，林铮，金闻达，徐君，
申请(专利权)人：镇江优瞳智能科技有限公司，
类型：发明
国别省市：江苏;32