一种稀疏图像深度补全方法、系统及设备技术方案

本发明专利技术公开了一种稀疏图像深度补全方法、系统及设备，首先通过摄像头获取待处理图像的RGB图像数据，通过激光雷达获取待处理图像的稀疏深度数据depth；RGB图像数据通过语义分割网络生成待处理图像的语义图像数据semantic；然后将RGB图像数据、语义图像数据semantic和稀疏深度数据depth输入稀疏图像深度补全网络中，获得最终的深度补全结果；本发明专利技术的稀疏图像深度补全网络，包括RGB图像特征提取模块、语义图像特征提取模块、稀疏深度特征提取模块、MAFF特征融合模块和加权融合模块；实验表明这种稀疏图像深度补全网络具有更高的精度。种稀疏图像深度补全网络具有更高的精度。种稀疏图像深度补全网络具有更高的精度。

【技术实现步骤摘要】
一种稀疏图像深度补全方法、系统及设备


[0001]本专利技术属于图像数据处理及图像增强
，涉及一种稀疏图像深度补全方法、系统及设备，具体涉及基于融合RGB图像和语义图像引导的稀疏图像深度补全方法、系统及设备。

技术介绍

[0002]密集深度测量的估计在各种3D视觉和机器人技术应用中至关重要，例如增强和混合现实、场景重建、自动驾驶和避障。为了获得室外场景中深度的可靠预测，使用了各种传感器的测量结果。最常用的传感器包括立体设置的RGB摄像机、光探测和测距LiDAR以及飞行时间相机。传感器中，激光雷达被认为是最可靠、最高效的，它可以在室外环境中进行精确的深度测量。然而，激光雷达深度测量的密度很小，有相当数量的深度数据丢失。例如，用于移动应用的激光雷达传感器VelodyneHDL
‑
64e也用于KITTI数据集中，它生成的深度图仅包含5.9％像素的有效深度值。这种稀疏深度图不能直接用于上述应用领域。因此，从稀疏测量值估计密集深度图至关重要。这被认为是一个具有挑战性的问题，因为测量的深度值仅占完整深度图的5.9％。
[0003]为了解决这个问题，有现有技术采用基于深度学习的方法来实现密集深度完成。这些方法利用卷积神经网络，将稀疏激光雷达数据与不同的模式相结合，例如RGB图像、亲和力矩阵、曲面法线；huang等人采用了多尺度特征(https://ieeexplore.ieee.org/abstract/docu
‑
ment/8946876/)，qiu等人引入了表面法向量信息(https://openaccess.thecvf.c
‑
om/content_CVPR_2019/html/Qiu_DeepLiDAR_Deep_Surface_Normal_Guided_D
‑
epth_Prediction_for_Outdoor_Scene_CVPR_2019_paper.html)。这些模式起到了指导作用，并大大有助于恢复稀疏地图中缺失的深度值。其想法是积极融合不同形态之间的特征。现有的方法大多采用双分支网络结构进行特征融合。例如，DeepLiDAR、FusionNet和PENet利用编码器
‑
解码器架构在彩色图像和LiDAR稀疏深度图之间执行早期和晚期融合来实现密集深度完成。这些方法利用卷积神经网络，将稀疏激光雷达数据与不同的模式相结合，模式之间早期和晚期融合的结合增强了深度完成能力。
[0004]Gu等人在中添加了额外的结构损失(https://ieeexplore.ieee.org/abstract/document/9357967)，Chen等将L2损失和smoothL1损失组合使用(https://openaccess.thecvf.com/content_ICCV_2019/html/Chen_Learning_Joint_2D3D_Representations_for_Depth_Completion_ICCV_2019_paper.html)。此外，Uhrig等人利用不同的稀疏不变性卷积(https://ieeexplore.ieee.org/abstract/document/8374553/)。Eldesokey等人增加了不确定性的探索(https://openaccess.thecvf.com/content_CVPR_2020/html/Eldesokey_Uncertainty_Aware_CNNs_for_Depth_Completion_Uncertainty_from_Beginning_to_End_CVPR_2020_paper.html)，Tang等人改进多模态融合策略(https://ieeexplore.ieee.org/abstract/document/9286883)等也进一步提升了性能。

技术实现思路

[0005]本专利技术的目的是基于深度学习理论与方法，设计RGB图像和语义图像数据引导下的稀疏图像深度补全网络，通过三分支特征提取模块更好的提取不同的模态数据的特征，通过多模态融合模块，能够更好利用RGB图像数据特征和语义图像数据特征引导稀疏图像深度补全为密集深度。
[0006]本专利技术的方法所采用的技术方案是：一种稀疏图像深度补全方法，包括以下步骤：
[0007]步骤1：通过摄像头获取待处理图像的RGB图像数据，通过激光雷达获取待处理图像的稀疏深度数据depth；所述RGB图像数据通过语义分割网络生成待处理图像的语义图像数据semantic；
[0008]步骤2：将RGB图像数据、语义图像数据semantic和稀疏深度数据depth 输入所述稀疏图像深度补全网络中，获得最终的深度补全结果；
[0009]所述稀疏图像深度补全网络，包括RGB图像特征提取模块、语义图像特征提取模块、稀疏深度特征提取模块、MAFF特征融合模块和加权融合模块；
[0010]所述RGB图像特征提取模块，输入为RGB图像数据和稀疏深度数据depth，输出深度补全中间结果C
‑
depth和置信权重C
‑
confidence；
[0011]所述语义图像特征提取模块，输入为语义图像数据semantic、稀疏深度数据 depth和C
‑
depth，输出深度补全中间结果S
‑
depth和置信权重S
‑
confidence；
[0012]所述稀疏深度特征提取模块，输入为稀疏深度数据depth、C
‑
depth和S
‑
depth，输出深度补全中间结果D
‑
depth和置信权重D
‑
confidence；
[0013]所述MAFF特征融合模块，用于语义图像特征提取模块和稀疏深度特征提取模块中将语义图像特征、RGB图像特征和稀疏深度特征融合；
[0014]所述加权融合模块，用于将所述RGB图像特征提取模块、语义图像特征提取模块、稀疏深度特征提取模块输出加权融合。
[0015]本专利技术的系统所采用的技术方案是：一种稀疏图像深度补全系统，包括信息获取模块和深度补全模块：
[0016]所述信息获取模块，用于通过摄像头获取待处理图像的RGB图像数据，通过激光雷达获取待处理图像的稀疏深度数据depth；所述RGB图像数据通过语义分割网络生成待处理图像的语义图像数据semantic；
[0017]所述深度补全模块，用于将RGB图像数据、语义图像数据semantic和稀疏深度数据depth输入所述稀疏图像深度补全网络中，获得最终的深度补全结果；
[0018]所述稀疏图像深度补全网络，包括RGB图像特征提取模块、语义图像特征提取模块、稀疏深度特征提取模块、MAFF特征融合模块和加权融合模块；
[0019]所述RGB图像特征提取模块，输入为RGB图像数据和稀疏深度数据depth，输出深度补全中间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种稀疏图像深度补全方法，其特征在于，包括以下步骤：步骤1：通过摄像头获取待处理图像的RGB图像数据，通过激光雷达获取待处理图像的稀疏深度数据depth；所述RGB图像数据通过语义分割网络生成待处理图像的语义图像数据semantic；步骤2：将RGB图像数据、语义图像数据semantic和稀疏深度数据depth输入所述稀疏图像深度补全网络中，获得最终的深度补全结果；所述稀疏图像深度补全网络，包括RGB图像特征提取模块、语义图像特征提取模块、稀疏深度特征提取模块、MAFF特征融合模块和加权融合模块；所述RGB图像特征提取模块，输入为RGB图像数据和稀疏深度数据depth，输出深度补全中间结果C
‑
depth和置信权重C
‑
confidence；所述语义图像特征提取模块，输入为语义图像数据semantic、稀疏深度数据depth和C
‑
depth，输出深度补全中间结果S
‑
depth和置信权重S
‑
confidence；所述稀疏深度特征提取模块，输入为稀疏深度数据depth、C
‑
depth和S
‑
depth，输出深度补全中间结果D
‑
depth和置信权重D
‑
confidence；所述MAFF特征融合模块，用于语义图像特征提取模块和稀疏深度特征提取模块中将语义图像特征、RGB图像特征和稀疏深度特征融合；所述加权融合模块，用于将所述RGB图像特征提取模块、语义图像特征提取模块、稀疏深度特征提取模块输出加权融合。2.根据权利要求1所述的稀疏图像深度补全方法，其特征在于：所述RGB图像特征提取模块包括顺序连接的第0个常规卷积层、第1个残差卷积模块、第2个残差卷积模块、第3个残差卷积模块、第4个残差卷积模块、第5个残差卷积模块、第1个反卷积模块、第2个反卷积模块、第3个反卷积模块、第4个反卷积模块、第5个反卷积模块、第6个残差卷积模块、第7个残差卷积模块、第8个残差卷积模块、第9个残差卷积模块、第10个残差卷积模块、第6个反卷积模块、第7个反卷积模块、第8个反卷积模块、第9个反卷积模块、第10个反卷积模块、第1个常规卷积输出层，每层分别得到大小为1216
×
320
×
32的特征图cd_0、608
×
160
×
64的特征图cd_1、304
×
80
×
128的特征图cd_2、152
×
40
×
256的特征图cd_3、76
×
20
×
512的特征图cd_4、38
×
10
×
1024的特征图cd_5、76
×
20
×
512的反卷积特征图d_cd_1、152
×
40
×
256的反卷积特征图d_cd_2、304
×
80
×
128的反卷积特征图d_cd_3、608
×
160
×
64的反卷积特征图d_cd_4、1216
×
320
×
32的反卷积特征图d_cd_5、608
×
160
×
64的特征图cd_6、304
×
80
×
128的特征图cd_7、152
×
40
×
256的特征图cd_8、76
×
20
×
512的特征图cd_9、38
×
10
×
1024的特征图cd_10、76
×
20
×
512的反卷积特征图d_cd_6、152
×
40
×
256的反卷积特征图d_cd_7、304
×
80
×
128的反卷积特征图d_cd_8、608
×
160
×
64的反卷积特征图d_cd_9、1216
×
320
×
32的反卷积特征图d_cd_10，cd_1与d_cd_4、cd_2与d_cd_3、cd_3与d_cd_2、cd_4与d_cd_1、cd_0与d_cd_5对应相加，产生大小不变的第一新特征图、第二新特征图、第三新特征图、第四新特征图、第五新特征图；第一新特征图与cd_6、第二新特征图与cd_7、第三新特征图与cd_8、第四新特征图与cd_9对应相加，产生大小不变的第六新特征图、第七新特征图、第八新特征图、第九新特征图；第九新特征图与d_cd_6、第八新特征图与d_cd_7、第七新特征图与d_cd_8、第六新特征图与d_cd_9、第五新特征图与d_cd_10对应相加，产生大小不变的第十新特征图、第十一新特征图、第十二新特征图、第十四新特征图、第十四新特征图，第一至
第十三特征图依次作为第5个反卷积模块、第4个反卷积模块、第3个反卷积模块、第2个反卷积模块、第6残差卷积模块、第7残差卷积模块、第8残差卷积模块、第9残差卷积模块、第10残差卷积模块、第6个反卷积模块、第7个反卷积模块、第8个反卷积模块、第9个反卷积模块、第10反卷积模块的输入继续参与向前传播；最终第一个常规卷积层输出大小为1216
×
352
×
1的置信权重C
‑
confidence和大小为1216
×
352
×
1的深度补全中间结果C
‑
depth。3.根据权利要求1所述的稀疏图像深度补全方法，其特征在于：所述语义图像特征提取模块包括顺序连接的第0个常规卷积层、第1个融合模块、第1个残差卷积模块、第2个融合模块、第2个残差卷积模块、第3个融合模块、第3个残差卷积模块、第4个融合模块、第4个残差卷积模块、第5个融合模块、第5个残差卷积模块、第1个反卷积模块、第2个反卷积模块、第3个反卷积模块、第4个反卷积模块、第5个反卷积模块、第6个残差卷积模块、第7个残差卷积模块、第8个残差卷积模块、第9个残差卷积模块、第10个残差卷积模块、第6个反卷积模块、第7个反卷积模块、第8个反卷积模块、第9个反卷积模块、第10个反卷积模块和第1个常规卷积输出层，每层分别得到大小为1216
×
320
×
32的特征图sd_0、1216
×
320
×
32的特征图F1、608
×
160
×
64的特征图sd_1、608
×
160
×
64的特征图F2、304
×
80
×
128的特征图sd_2、304
×
80
×
128的特征图F3、152
×
40
×
256的特征图sd_3、152
×
40
×
256的特征图F4、76
×
20
×
512的特征图sd_4、76
×
20
×
512的特征图F5、76
×
20
×
512的特征图38
×
10
×
1024的特征图sd_5、76
×
20
×
512的反卷积特征图d_sd_1、152
×
40
×
256的反卷积特征图d_sd_2、304
×
80
×
128的反卷积特征图d_sd_3、608
×
160
×
64的反卷积特征图d_sd_4、1216
×
320
×
32的反卷积特征图d_sd_5、608
×
160
×
64的特征图sd_6、304
×
80
×
128的特征图sd_7、152
×
40
×
256的特征图sd_8、76
×
20
×
512的特征图sd_9、38
×
10
×
1024的特征图sd_10、76
×
20
×
512的反卷积特征图d_sd_6、152
×
40
×
256的反卷积特征图d_sd_7、304
×
80
×
128的反卷积特征图d_sd_8、608
×
160
×
64的反卷积特征图d_sd_9、1216
×
320
×
32的反卷积特征图d_sd_10，RGB图像特征提取模块产生的第十四新特征图与sd_0、第十三新特征图与sd_1、第十二新特征图与sd_2、第十一新特征图与sd_3、第十新特征图与sd_4对应相加，产生大小不变的新特征图A、新特征图B、新特征图C、新特征图D、新特征图E。新特征图E与d_sd_1、新特征图D与d_sd_2、新特征图C与d_sd_3、新特征图B与d_sd_4、新特征图A与d_sd_5对应相加，产生大小不变的新特征图F、新特征图G、新特征图H、新特征图I、新特征图J；新特征图I与sd_6、新特征图H与sd_7、新特征图G与sd_8、新特征图F与sd_9对应相加产生大小不变的新特征图K、新特征图L、新特征图M、新特征图N；新特征图N与d_sd_6、新特征图M与d_sd_7、新特征图L与d_sd_8、新特征图K与d_sd_9、新特征图J与d_sd_10对应相加，产生大小不变的新特征图O、新特征图P、新特征图Q、新特征图R、新特征图S；新特征图A、特征图F6、新特征图B、特征图F7、新特征图C、特征图F8、新特征图D、特征图F9、新特征图E、特征图F10、新特征图F、新特征图G、新特征图H、新特征图I、新特征图J、新特征图K、新特征图L、新特征图M、新特征图N、特征图sd_10、新...

【专利技术属性】
技术研发人员：郑庆祥，金积德，耿宏凯，徐嘉伟，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：