一种基于深度自适应的反向细化网络架构的RGB-D显著性物体检测装置及其检测方法制造方法及图纸

本发明专利技术公开了一种基于深度自适应的反向细化网络架构的RGB

【技术实现步骤摘要】
一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置及其检测方法


[0001]本专利技术涉及反向细化网络架构领域，具体涉及一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置及其检测方法。

技术介绍

[0002]随着半导体技术的不断发展，图像传感器的发展一直在向更加拟人化，精细化的路线发展。为了更好地还原、接近人眼感受到的世界，图像传感器也向三维化发展。3D传感器拓展了图像传感器的应用范围，目前在科研、安防、工业等领域受到了广泛应用，以弥补传统2D图像传感缺失深度信息的不足。3D感知技术的迅速发展，可以更容易的获取含有深度信息的3D图像(RGB
‑
D图像)，极大地促进了人类视觉系统向更加拟人化的方向发展。
[0003]人类视觉非常依赖深度信息，因为深度信息包含物体语义类别特征会引起人类视觉注意，获取到的3D图像需处理后方可实现识别和判断(模拟人脑进行识别处理)更好地实现模拟人类视觉系统去感知现实世界。因此，如何有效识别场景中最具有重要语义信息的区域广泛应用于提升智能设备、ADAS等对3D场景的感知能力，克服RGB图像视觉显著性检测算法面临的挑战。综上所述，开展基于RGB
‑
D图像的视觉显著性物体检测算法的研究将具有重要理论意义和应用价值，也将是未来计算机视觉研究领域中必不可少的研究方向之一。
[0004]深度图可以提供丰富的空间结构、对象边界、以及一些显著性预测的补充线索，目前已有学者证明了深度信息对位置和空间结构的判别能力。然而，这些方法主要侧重于利用丰富的深度几何信息探索，而忽略了多模态特征的交互融合设计。RGB
‑
D显著性检测任务研究中除了探索丰富的深度信息这一基础研究问题之外，如何实现跨模态融合研究也是RGB
‑
D显著性检测领域的另一个基础研究问题。
[0005]RGB
‑
D显著性检测融合策略研究已取得了一些研究进展，可将已有的融合策略分为：早期融合策略、结果融合策略以及特征融合策略。早期融合策略直接将RGB图像和深度图作为输入并以相同的方式生成特征，很明显这些方法忽略了两种模态之间的分布差异。与早期的融合不同，结果融合方法使用两个子组件分别处理RGB图像和深度图的显著图，并从两个子显著图中加权得到最终的显著性预测结果。前两者融合策略属于有限的多模态融合，而特征融合策略则是融合多模态的中间信息以预测显著性的关键策略。许多现有模型在多层中结合了视觉颜色特征和深度特征，并将它们输入到解码器中预测显著性。尽管这些模型可以探索多模态间的结构关系，但仍缺乏跨层级特征的学习探索。因此，如何实现跨层级多模态间的学习，充分地探索RGB图像和深度图多模态间的相关性和互补性，成为行业内亟待解决的问题。

技术实现思路

[0006]本专利技术提供一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置及其检测方法，用以解决如何实现跨层级多模态间的学习，充分地探索RGB图像和深度图
多模态间的相关性和互补性的问题。
[0007]本专利技术通过以下技术方案实现：
[0008]一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置，所述检测装置包括深度自适应加权模块、反向细化流模块、集成解码模块；
[0009]所述深度自适应加权模块，用以自适应调整深度图质量对显著性检测性能的影响；
[0010]所述反向细化流模块，用以捕获显著性物体缺失的语义信息，精细显著性物体检测边缘及完整性；
[0011]所述集成解码模块，用以聚合具有跨级多模态特征的显著性预测结果。
[0012]进一步的，所述检测方法具体为，
[0013]步骤1：采用双流架构，区分输入RGB图像和深度图，将RGB图像和深度图进行RGB相关特征和深度特征提取；
[0014]步骤2：将步骤1提取的RGB相关特征和深度特征，采用交叉融合方法实现多模态特征融合；
[0015]步骤3：基于步骤2的多模态特征融合判断融合特征是否为高层特征，若是高层特征则进行步骤4；若不是高层特征则归为低层特征并进行步骤5；
[0016]步骤4：高层特征输入到集成解码器，去获得中间显著性检测结果；
[0017]步骤5：等待生成的中间显著性结果经过反向细化模块进行低层特征的反向细化特征；
[0018]步骤6：步骤4的中间显著性检测结果经过反向细化模块反向细化步骤5的低层特征，将获得到的反向细化特征输入到集成解码器，最后生成显著性预测结果。
[0019]进一步的，所述步骤1具体为，所述深度图经过深度自适应加权模块得到深度增强特征后经过深度流的实现深度特征提取；所述RGB图像直接经过RGB流实现特征提取。
[0020]进一步的，所述步骤6具体为，当步骤4的中间显著性检测结果进行反向细化流后，再次对高层特征进行循环细化，当细化至高层特征的最后一个特征后，对低层特征进行反向细化流并对低层特征进行循环细化，当细化至低层特征的最后一个特征后，将低层与高层的细化结果分别输入集成解码模块，集成解码模块输出显著性预测结果。
[0021]进一步的，所述深度自适应加权模块具体包括以下处理步骤：
[0022]步骤1.1：将输入的深度图经过瓶颈卷积单元公式(2)计算得到降维后的深度特征D；
[0023]步骤1.2：降维后的深度特征的通道维度经过分组卷积计算单元，划分为G组，根据公式(3)可得到然后将D
g
分为两个分支，通道维度表示为
[0024]步骤1.3：对D
g
的两个分支分别进行通道注意和空间注意计算，具体由式(4)和式(5)计算进一步增强D
g
的表达能力，自适应深度图的质量变化；
[0025]步骤1.4：整合每组的信息流通过通道转换操作。
[0026]进一步的，首先将RGB流和深度流不同层级的特征表示为f
irgb
,(i＝1,2
…
,5)和f
idepth
,(i＝1,2
…
,5)，其中深度流的每层都将通过深度加权网络即f
iD
,(i＝1,2,
…
,5)，定义为：
[0027]f
iD
＝mul(D(f
idepth
),f
idepth
)；i＝1,2,
…
,5
ꢀꢀꢀ
(1)
[0028]其中，D是对每个子组特征自适应深度信息的重要性计算；
[0029]将深度图D
int
(w,h,c)通过一个1
×
1瓶颈卷积从而获得具有计算效率的较低维度，定义为
[0030]D＝Conv(D
int
)
ꢀꢀꢀ
(2)
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置，其特征在于，所述检测装置包括深度自适应加权模块、反向细化流模块、集成解码模块；所述深度自适应加权模块，用以自适应调整深度图质量对显著性检测性能的影响；所述反向细化流模块，用以捕获显著性物体缺失的语义信息，精细显著性物体检测边缘及完整性；所述集成解码模块，用以聚合具有跨级多模态特征的显著性预测结果。2.根据权利要求1所述一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置的检测方法，其特征在于，所述检测方法具体为，步骤1：采用双流架构，区分输入RGB图像和深度图，将RGB图像和深度图进行RGB相关特征和深度特征提取；步骤2：将步骤1提取的RGB相关特征和深度特征，采用交叉融合方法实现多模态特征融合；步骤3：基于步骤2的多模态特征融合判断融合特征是否为高层特征，若是高层特征则进行步骤4；若不是高层特征则归为低层特征并进行步骤5；步骤4：高层特征输入到集成解码器，去获得中间显著性检测结果；步骤5：等待生成的中间显著性结果经过反向细化模块进行低层特征的反向细化特征；步骤6：步骤4的中间显著性检测结果经过反向细化模块反向细化步骤5的低层特征，将获得到的反向细化特征输入到集成解码器，最后生成显著性预测结果。3.根据权利要求2所述一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置的检测方法，其特征在于，所述步骤1具体为，所述深度图经过深度自适应加权模块得到深度增强特征后经过深度流的实现深度特征提取；所述RGB图像直接经过RGB流实现特征提取。4.根据权利要求2所述一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置的检测方法，其特征在于，所述步骤6具体为，当步骤4的中间显著性检测结果进行反向细化流后，再次对高层特征进行循环细化，当细化至高层特征的最后一个特征后，对低层特征进行反向细化流并对低层特征进行循环细化，当细化至低层特征的最后一个特征后，将低层与高层的细化结果分别输入集成解码模块，集成解码模块输出显著性预测结果。5.根据权利要求3所述一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置的检测方法，其特征在于，所述深度自适应加权模块具体包括以下处理步骤：步骤1.1：将输入的深度图经过瓶颈卷积单元公式(2)计算得到降维后的深度特征D；步骤1.2：降维后的深度特征的通道维度经过分组卷积计算单元，划分为G组，根据公式(3)可得到然后将D
g
分为两个分支，通道维度表示为D
g1
,步骤1.3：对D
g
的两个分支分别进行通道注意和空间注意计算，具体由式(4)和式(5)计算进一步增强D
g
的表达能力，自适应深度图的质量变化；步骤1.4：整合每组的信息流通过通道转换操作。6.根据权利要求5所述一种基于深度自适应的反向细化网络架构的RGB
‑
D显著性物体检测装置的检测方法，其特征在于，首先将RGB流和深度流不同层级的特征表示为f
irgb
,(i＝1,2
…
,5)和f
idepth
,(i＝1,2
…
,
5)，其中深度流的每层都将通过深度加权网络即f
iD
,(i＝1,2,
…
,5)，定义为：f

【专利技术属性】
技术研发人员：刘冰，高丽娜，付平，王甜甜，陈浩林，闫铮，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：