【技术实现步骤摘要】
本专利技术涉及图像增强，特别是指一种基于深度信息传播的通用深度图补全方法及装置。
技术介绍
1、随着近年来自动驾驶、机器人、增强现实等领域的迅速进步，深度信息图的重要性日益凸显。这些深度信息图对于上述任务来说，起到了至关重要的辅助作用，使得这些任务能够以非常出色的效果完成。这些深度信息图通常是通过使用商用深度传感器，如结构光传感器、tof(time of flight)雷达等来获取。然而，商业传感器都存在各自的局限性。例如，自动驾驶领域常用的激光雷达velodyne的hdl64e型号，其扫描结果只能得到分辨率较低的稀疏深度信息图，该稀疏深度信息图中有效深度信息像素点的数量只有对应rgb图像像素点数量的5%左右。这种稀疏程度的深度信息图虽然能够满足一些基本的诸如避障和运动物体检测的简单3d视觉任务，但是对于自动驾驶等更为复杂任务则有些力不从心。普通商用雷达的扫描结果的稀疏性极大的限制了其可靠性。
2、为了克服深度传感器自身的局限性，已经有许多的研究在利用给定的稀疏深度图和对应的rgb图像来获得一个密集的深度图，这种方法被称为“深度补全”。通过深度补全技术，我们可以从稀疏的深度测量中恢复出完整的深度信息，从而提高了深度信息图的可靠性和精度。大多数深度补全方法从最开始的使用图形图像学操作（如腐蚀膨胀等操作）填充稀疏深度图中的空洞，转变为了将稀疏深度图送入卷积神经网络并直接预测稠密深度图。
3、但是，卷积神经网络的预测结果会存在边缘模糊，为了解决以上问题，卷积空间传播网络（cspn）被提出以用于对预测出来的深度图
4、然而，这种框架其实是为了应对深度图扫描结果的稀疏性问题的一种折中，网络同时承担了预测稠密深度图和亲和力系数的任务，但这两个任务都缺少直接监督，导致神经网络对两个任务的学习都不充分，进而导致模型的泛化能力下降，最终导致补全后的深度图的可信度较低。现有的空间传播神经网络结构对于亲和力生成分支的设计都较为复杂，并且在传播过程中使用了较大的传播次数，导致使用此类基于空间传播的深度补全方法的计算量都很大，最终导致其使用时候的推理速度过慢。
5、在现有技术中，缺乏一种克服深度传感器分辨率不足的补全精度高、推理速度快的深度图补全方法。
技术实现思路
1、为了解决现有技术存在的深度传感器分辨率不足而导致其获取到的深度信息度过于稀疏、测量不准以及现有的基于空间传播的深度补全方法的精度不高且计算量大的技术问题，本专利技术实施例提供了一种基于深度信息传播的通用深度图补全方法及装置。所述技术方案如下：
2、一方面，提供了一种基于深度信息传播的通用深度图补全方法，该方法由通用深度图补全设备实现，该方法包括：
3、使用深度传感器对场景进行数据采集，获得稀疏深度图；使用彩色相机对场景进行数据采集，获得rgb图；
4、采用预填充方法，对所述稀疏深度图进行深度填充，获得稠密深度图；
5、将所述稀疏深度图、所述rgb图和所述稠密深度图，输入resunet网络进行特征提取，获得亲和力图；
6、根据所述稠密深度图以及所述亲和力图进行迭代传播，获得补全深度图。
7、其中，所述预填充方法为卷积空间传播网络、非局部空间传播网络、密集空间传播网络或全卷积空间传播网络。
8、其中，所述亲和力图包括第一亲和力图、第二亲和力图和第三亲和力图；
9、所述第一亲和力图用于结构信息补全；所述第一亲和力图的尺寸为所述稠密深度图的尺寸的十六分之一；所述稠密深度图的尺寸为，m为所述稠密深度图的长，n为所述稠密深度图的宽；
10、所述第二亲和力图用于细节信息补全；所述第二亲和力图的尺寸为所述稠密深度图的尺寸的四分之一；
11、所述第三亲和力图用于细节信息补全；所述第三亲和力图的尺寸为所述稠密深度图的尺寸。
12、其中，所述resunet网络包括特征提取分支以及亲和力图生成分支；
13、特征提取分支为编码器-解码器结构；编码器结构包括5个卷积层；解码器结构包括4个反卷积层；
14、所述亲和力图生成分支包括第一亲和力图生成分支、第二亲和力图生成分支和第三亲和力图生成分支；所述亲和力图生成分支包括2个反卷积层以及1个卷积层。
15、可选地，所述将所述稀疏深度图、所述rgb图和所述稠密深度图，输入resunet网络进行特征提取，获得亲和力图，包括：
16、根据所述稀疏深度图、所述rgb图和所述稠密深度图，通过resunet网络进行特征提取，获得第一图像特征、第二图像特征和第三图像特征；
17、所述第一图像特征包括第一稀疏深度图特征、第一rgb图特征和第一稠密深度图特征；所述第一图像特征的尺寸为所述稠密深度图的尺寸的十六分之一；
18、所述第二图像特征包括第二稀疏深度图特征、第二rgb图特征和第二稠密深度图特征；所述第二图像特征的尺寸为所述稠密深度图的尺寸的四分之一；
19、所述第三图像特征包括第三稀疏深度图特征、第三rgb图特征和第三稠密深度图特征；所述第三图像特征的尺寸为所述稠密深度图的尺寸；
20、根据所述第一图像特征进行卷积操作，获得第一亲和力图；
21、根据所述第二图像特征进行卷积操作，获得第二亲和力图；
22、根据所述第三图像特征进行卷积操作，获得第三亲和力图。
23、可选地，所述根据所述稠密深度图以及所述亲和力图进行迭代传播，获得补全深度图，包括：
24、对所述稠密深度图进行下采样处理，获得第一稠密深度图；基于第一亲和力图，将所述第一稠密深度图进行迭代传播，获得第一补全深度图；
25、对所述第一补全深度图进行上采样处理，获得第二稠密深度图；基于第二亲和力图，将所述第二稠密深度图进行迭代传播，获得第二补全深度图；
26、对所述第二补全深度图进行上采样处理，获得第三稠密深度图；基于第三亲和力图，将所述第三稠密深度图进行迭代传播，获得补全深度图。
27、另一方面，提供了一种基于深度信息传播的通用深度图补全装置，该装置应用于基于深度信息传播的通用深度图补全方法，该装置包括：
28、数据采集模块，用于使用深度传感器对场景进行数据采集，获得稀疏深度图；使用彩色相机对场景进行数据采集，获得rgb图；
29、预填充模块，用于采用预填充方法，对所述稀疏深度图进行深度填充，获得稠密深度图；
30、亲和力图生成模块，用于将所述稀疏深度图、所述rgb图和所述稠密深度图，输入resunet本文档来自技高网...
【技术保护点】
1.一种基于深度信息传播的通用深度图补全方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于深度信息传播的通用深度图补全方法，其特征在于，所述预填充方法为卷积空间传播网络、非局部空间传播网络、密集空间传播网络或全卷积空间传播网络。
3.根据权利要求1所述的基于深度信息传播的通用深度图补全方法，其特征在于，所述亲和力图包括第一亲和力图、第二亲和力图和第三亲和力图；
4.根据权利要求1所述的基于深度信息传播的通用深度图补全方法，其特征在于，所述ResUNeT网络包括特征提取分支以及亲和力图生成分支；
5.根据权利要求3所述的基于深度信息传播的通用深度图补全方法，其特征在于，所述将所述稀疏深度图、所述RGB图和所述稠密深度图，输入ResUNeT网络进行特征提取，获得亲和力图，包括：
6.根据权利要求3所述的基于深度信息传播的通用深度图补全方法，其特征在于，所述根据所述稠密深度图以及所述亲和力图进行迭代传播，获得补全深度图，包括：
7.一种基于深度信息传播的通用深度图补全装置，所述基于深度信息传播的通用深度
8.根据权利要求7所述的基于深度信息传播的通用深度图补全装置，其特征在于，所述深度图补全模块，进一步用于：
9.一种通用深度图补全设备，其特征在于，所述通用深度图补全设备包括：
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至6任一项所述的方法。
...【技术特征摘要】
1.一种基于深度信息传播的通用深度图补全方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于深度信息传播的通用深度图补全方法，其特征在于，所述预填充方法为卷积空间传播网络、非局部空间传播网络、密集空间传播网络或全卷积空间传播网络。
3.根据权利要求1所述的基于深度信息传播的通用深度图补全方法，其特征在于，所述亲和力图包括第一亲和力图、第二亲和力图和第三亲和力图；
4.根据权利要求1所述的基于深度信息传播的通用深度图补全方法，其特征在于，所述resunet网络包括特征提取分支以及亲和力图生成分支；
5.根据权利要求3所述的基于深度信息传播的通用深度图补全方法，其特征在于，所述将所述稀疏深度图、所述rgb图和所述稠密深度图，输入resunet网络进行特征提取，获得亲和力图，...
【专利技术属性】
技术研发人员：樊彬，朱正宇，刘红敏，刘子熠，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。