【技术实现步骤摘要】
本专利技术涉及模式识别，尤其涉及一种单目深度估计方法及装置。
技术介绍
1、目前，深度图像能直接提供环境的三维信息，相比于普通的二维图像蕴含更为丰富的空间数据，能更加直观地对场景进行描述；在面对深腔或者狭窄场景等的作业领域，深度信息获取设备往往受限于其体积和尺寸，无法进入狭小空间获取场景深度，所以利用单目内窥镜等小型设备并结合单目深度估计方法对目标表面进行深度估计具有广阔的应用前景。
2、相关技术中，采用深度或双目传感器无法在深腔或者狭窄场景下采集到有效的深度数据，而且仅利用采集到的图像用来训练深度估计模型的样本较少，导致在实际深腔或狭窄场景下深度预测性能低，无法满足深腔或者狭窄场景作业的深度预测精度需求。
技术实现思路
1、本专利技术提供一种单目深度估计方法及装置，用以解决现有技术采用深度或双目传感器无法在深腔或者狭窄场景下采集到有效的深度数据，且能够采集到的图像数据较少，导致在实际深腔或狭窄场景下深度预测性能低，无法满足深腔或者狭窄场景作业的深度预测精度需求的缺陷，提高了在实际深腔或狭窄场景下的深度预测精度。
2、本专利技术提供一种单目深度估计方法，包括：
3、获取目标场景下的单目rgb图像，所述目标场景包括深腔场景和狭窄场景中的至少一项；
4、基于单目深度估计模型对所述单目rgb图像进行深度估计，得到稠密深度图；
5、其中，所述单目深度估计模型基于以公开数据集和稀疏深度数据集为训练样本对目标学习模型进行联合训练得到；
6、根据本专利技术提供的一种单目深度估计方法，所述单目深度估计模型通过如下步骤训练得到：
7、获取所述公开数据集和所述稀疏深度数据集；
8、以所述公开数据集为第一训练样本对所述目标学习模型进行训练，并在所述目标学习模型对应的损失函数收敛的情况下，以稀疏深度数据集为第二训练样本对所述目标学习模型进行参数调节，在所述损失函数再次收敛的情况下，得到所述单目深度估计模型。
9、根据本专利技术提供的一种单目深度估计方法，所述稀疏深度数据集通过如下步骤获取：
10、在所述目标场景通过控制柔性机械臂末端的多个位姿采集多个样本单目rgb图像，不同的位姿对应不同的样本单目rgb图像；
11、将所述多个样本单目rgb图像分别进行基线矫正，并对基线矫正后图像进行特征匹配和空间深度计算，得到所述稀疏深度数据集。
12、根据本专利技术提供的一种单目深度估计方法，所述多个样本单目rgb图像包括第一样本单目rgb图像和第二样本单目rgb图像，所述第一样本单目rgb图像对应第一位姿，所述第二样本单目rgb图像对应第二位姿；
13、所述基线矫正后图像进行特征匹配和空间深度计算，得到所述稀疏深度数据集包括：
14、获取所述第一样本单目rgb图像中的第一特征点的坐标和所述第二样本单目rgb图像中的第二特征点的坐标；
15、根据所述第一特征点的坐标、所述第二特征点的坐标、相机焦距和所述第一位姿与所述第二位姿分别对应的相机之间的基线确定所述第一特征点的空间深度；
16、根据所述第一样本单目rgb图像中全部的第一特征点对应的空间深度得到所述稀疏深度数据集。
17、根据本专利技术提供的一种单目深度估计方法，所述目标学习模型包括有监督学习网络和无监督学习网络中的一项。
18、根据本专利技术提供的一种单目深度估计方法，在所述得到稠密深度图之后，所述方法还包括：
19、将所述稠密深度图的各像素的像素值分别转换为所述单目rgb图像的各对应像素的rgb值，得到三维展示图。
20、本专利技术还提供一种单目深度估计装置，包括：
21、图像获取模块，用于获取目标场景下的单目rgb图像，所述目标场景包括深腔场景和狭窄场景中的至少一项；
22、图像处理模块，用于基于单目深度估计模型对所述单目rgb图像进行深度估计，得到稠密深度图；
23、其中，所述单目深度估计模型基于以公开数据集和稀疏深度数据集为训练样本对目标学习模型进行联合训练得到；所述公开数据集包括样本双目rgb彩色图像及其对应的单目深度图像和双目深度图像、以及样本单目rgb彩色图像及其对应的单目深度图像中的一项，所述稀疏深度数据集基于样本单目rgb图像根据机器人正向运动学处理、数字图像处理和视差处理得到。
24、根据本专利技术提供的一种单目深度估计装置，所述装置还包括：
25、图像显示模块，用于在所述得到稠密深度图之后，将所述稠密深度图的各像素的像素值分别转换为所述单目rgb图像的各对应像素的rgb值，得到三维展示图。
26、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述单目深度估计方法。
27、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述单目深度估计方法。
28、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述单目深度估计方法。
29、本专利技术提供的单目深度估计方法及装置，通过以公开数据集和稀疏深度数据集联合训练得到的单目深度估计模型对单目rgb图像进行深度估计，得到稠密深度图，克服了深腔或狭窄场景下因作业空间狭小而无法利用一般的深度或双目传感器获得场景有效深度数据，以及模型训练样本少导致网络在实际深腔或狭窄场景下深度预测表现不佳的问题，提高了模型在实际深腔或狭窄场景下的深度预测性能。
本文档来自技高网...【技术保护点】
1.一种单目深度估计方法，其特征在于，包括：
2.根据权利要求1所述的单目深度估计方法，其特征在于，所述单目深度估计模型通过如下步骤训练得到：
3.根据权利要求1所述的单目深度估计方法，其特征在于，所述稀疏深度数据集通过如下步骤获取：
4.根据权利要求3所述的单目深度估计方法，其特征在于，所述多个样本单目RGB图像包括第一样本单目RGB图像和第二样本单目RGB图像，所述第一样本单目RGB图像对应第一位姿，所述第二样本单目RGB图像对应第二位姿；
5.根据权利要求1所述的单目深度估计方法，其特征在于，所述目标学习模型包括有监督学习网络和无监督学习网络中的一项。
6.根据权利要求1所述的单目深度估计方法，其特征在于，在所述得到稠密深度图之后，所述方法还包括：
7.一种单目深度估计装置，其特征在于，包括：
8.根据权利要求7所述的单目深度估计装置，其特征在于，所述装置还包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述单目深度估计方法。
...【技术特征摘要】
1.一种单目深度估计方法，其特征在于，包括：
2.根据权利要求1所述的单目深度估计方法，其特征在于，所述单目深度估计模型通过如下步骤训练得到：
3.根据权利要求1所述的单目深度估计方法，其特征在于，所述稀疏深度数据集通过如下步骤获取：
4.根据权利要求3所述的单目深度估计方法，其特征在于，所述多个样本单目rgb图像包括第一样本单目rgb图像和第二样本单目rgb图像，所述第一样本单目rgb图像对应第一位姿，所述第二样本单目rgb图像对应第二位姿；
5.根据权利要求1所述的单目深度估计方法，其特征在于，所述目标学习模型包括有监督学习网络和无监督学习网络中的一...
【专利技术属性】
技术研发人员：景奉水，付一宸，陶锐，邢时雨，马云开，秦永，文峰，扈希昊，王世琦，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。