一种基于制造技术

本发明专利技术公开了一种基于

【技术实现步骤摘要】
一种基于RGB
‑
D图像的视觉显著性目标检测方法


[0001]本专利技术属于计算机视觉和图像处理领域，具体为一种基于
RGB
‑
D
图像的视觉显著性目标检测
(Salient Object Detection
，
SOD)
算法
。

技术介绍

[0002]人类的视觉系统可以通过独特的感知单元和神经结构从复杂的场景中快速关注到感兴趣的目标或区域，这被称之为视觉注意力机制
。
一般来说，人类的视觉注意力包含了自底向上和自顶向下两条通路：自底向上的注意力机制是由数据驱动的
,
是人脑对外界事物的非自主性感知；而自顶向下的注意力机制是由意识驱动的，是人脑主动下发指令去捕获感兴趣目标的过程
。
受此启发，人们希望计算机也具有这种能力，于是显著性目标检测
(Salient Object Detection
，
SOD)
任务应运而生，旨在让计算机自动从给定场景中检测出最吸引人注意的区域或目标，已经被广泛应用在了包括图像分割
、
视频压缩
、
目标检测在内的大量计算机视觉任务中
。
经过十余年的发展，显著性目标检测任务已经衍生出了包括面向
RGB
图像的显著性目标检测
、
面向高分辨率
RGB
图像的显著性目标检测
、
面向
RGB
‑
D
图像的显著性目标检测
、
面向图像组的协同显著性目标
、
面向
RGB
‑
T
图像的显著性目标检测
、
面向光场图像的显著性目标检测
、
面向全景图像的显著性目标检测
、
面向遥感图像的显著性目标检测
、
面向视频序列的显著性目标检测在内的众多分支
。
本专利技术涉及的便是面向
RGB
‑
D
图像的显著性目标检测这一分支
。
[0003]虽然基于
RGB
图像的显著性目标检测已经取得了长足的发展，但是在某些低对比度
、
复杂背景场景下，单纯凭借
RGB
图像仍然不能取得令人满意的检测效果
。
实际上，人眼不仅能够感知场景中的颜色
、
形状
、
纹理等外观信息，还可以通过双目视觉系统捕获场景的深度信息，形成立体感
。
而深度图像则是深度信息的直观表现形式，其数值大小反映了场景中物体与深度传感器之间的距离
。
通过引入深度图像到显著性目标检测任务，一方面可以模拟人类的立体视觉感知能力，加强计算机对不同目标之间的距离辨识度；另一方面，深度图像一些优良的特性
(
如目标内部一致性
、
形状先验等
)
也为解决某些困难场景的检测提供了新的思路
。
近年来，深度相机的兴起
(
如
Kinect、RealSense)
使得深度图像的获取变得越来越便捷，这也为
RGB
‑
D
[0004]显著性目标检测任务的兴起奠定了数据基础
。
[0005]受人类的视觉注意力机制启发，显著性目标检测任务旨在定位给定场景中最吸引人注意的目标或区域
。
近年来，随着深度相机的发展和普及
,
深度图像已经被成功应用于各类计算机视觉任务，这也为显著性目标检测技术提供了新思路
。
通过引入深度图像不仅能使计算机更加全面地模拟人类视觉系统，而且深度图像所提供的结构
、
位置等补充信息也可以为低对比度
、
复杂背景等困难场景的检测提供新的解决方案
。
[0006]如图1所示，
RGB
‑
D
显著性目标检测任务中的两个关键性问题可以总结为：
[0007](1)、
跨模态特征融合问题：
RGB
图像和深度图像分属于两个不同的模态，其中
RGB
[0008]图像反映了一幅场景的颜色
、
形状
、
边界
、
纹理等外观信息，而深度图像描述的则
是不同物体之间的景深差异及结构信息
。
因此如何充分挖掘两种模态间的互补属性并充分利用它们各自的优势是需要着重解决的关键问题之一
。
[0009](2)、
深度图质量感知问题：目前深度传感器的种类繁多，成像质量也参差不齐，这会导致捕获的深度图像可能存在稀疏
、
孔洞
、
模糊等问题，如果将这些低质量的深度图引入到显著性目标检测模型中，不仅难以起到应有的促进作用，甚至会带来负面影响，因此近几年来部分研究人员开始关注深度图的质量问题
。

技术实现思路

[0010]为了解决现有技术中存在的上述问题，达到检测出图像中最吸引人注意力区域的目的，本专利技术提供了一种基于
RGB
‑
D
图像的视觉显著性目标检测算法
。
[0011]本专利技术解决其技术问题所采用的技术方案具体如下：
[0012]一种基于
RGB
‑
D
图像的视觉显著性目标检测方法，包括如下步骤：
[0013]S1、
收集整理现有的可用于显著性目标检测的
RGB
‑
D
图像数据集；
[0014]S2、
分析现有的基于
RGB
‑
D
图像的显著性目标检测算法的优点与仍存在的问题，搭建显著性目标检测网络与各个模块；
[0015]S3、
进行多次实验，对不同的模块
、
网络结构和参数进行调优，并记录每次的实验结果；
[0016]S4、
通过计算平均绝对误差来完成量化指标的评估，评估所构建的网络是否有效，并验证所提出的各个模块是否有效；
[0017]所述
S2
中采用双分支编码器来分别提取
RGB
图像的表征信息和深度信息，通过全局平均池化对多尺度信息完成聚合，采用注意力特征融合模块来对
S3
中所提取到的多层级多尺度特征进行融合，并通过注意力感知对噪声信息进行过滤，并在提取到有效特征之后，使用上下文语义对齐采样来捕获通道间的相互依赖信息
。
[0018]进一步地，所述
S1
中可用于
RGB
‑
D
的显著性目标检测共计5个数据集，分别为
STERE...

【技术保护点】

【技术特征摘要】
1.
一种基于
RGB
‑
D
图像的视觉显著性目标检测方法，其特征在于，包括如下步骤：
S1、
收集整理现有的可用于显著性目标检测的
RGB
‑
D
图像数据集；
S2、
分析现有的基于
RGB
‑
D
图像的显著性目标检测算法的优点与仍存在的问题，搭建显著性目标检测网络与各个模块；
S3、
进行多次实验，对不同的模块
、
网络结构和参数进行调优，并记录每次的实验结果；
S4、
通过计算平均绝对误差来完成量化指标的评估，评估所构建的网络是否有效，并验证所提出的各个模块是否有效；所述
S2
中采用双分支编码器来分别提取
RGB
图像的表征信息和深度信息，通过全局平均池化对多尺度信息完成聚合，采用注意力特征融合模块来对
S3
中所提取到的多层级多尺度特征进行融合，并通过注意力感知对噪声信息进行过滤，并在提取到有效特征之后，使用上下文语义对齐采样来捕获通道间的相互依赖信息
。2.
根据权利要求1所述的一种基于
RGB
‑
D
图像的视觉显著性目标检测方法，其特征在于，所述
S1
中可用于
RGB
‑
D
的显著性目标检测共计5个数据集，分别为
STERE
数据集
、NJU2K
数据集
、DES
数据集
、NL PR
数据集和
SIP
数据集
。3.
根据权利要求2所述的一种基于
RGB
‑
D
图像的视觉显著性目标检测方法，其特征在于，所述
S2
中显著性目标检测网络以
RGB
图像
、
深度图及
RGB
图像
、
深度图的超像素映射作为输入源实现对
RGB
图像与深度图图像多模态信息的整合利用
。4.
根据权利要求3所述的一种基于
RGB
‑
D
图像的视觉显著性目标检测方法，其特征在于，所述
S2
中设计的网络为基于双分支编码器与特征金字塔的多层级神经网络，在特征金字塔网络中嵌入有通道信息提取策略，来保证模型对于相关特征的感知能力，在设计网络过程中的特征提取阶段对显著目标的边界建模，完成边缘信息的特征提取，以显著目标与背景边界的精准划分
。5.
根据权利要求4所述的一种基于
RGB
‑
D
图像的视觉显著性目标检测方法，其特征在于，还包括原型采样网络模块和依赖选择模块，将特征金字塔的输出和
SLIC
算法生成的
RGB
图像与深度图像的超像素映射作为原型生成模块...

【专利技术属性】
技术研发人员：杨晓哲，卢慧婷，
申请(专利权)人：南宁学院，
类型：发明
国别省市：