一种单目深度预测模型的生成方法及单目深度预测方法技术

本发明专利技术提供了一种单目深度预测模型的生成方法及单目深度预测方法，在进行单目深度预测模型的训练时，预设网络模型由深度预测模块和姿态预测模块组成。深度预测模块输出对应图像的深度图，姿态预测模块则输出相邻帧的相对姿态信息。通过获得的深度图像和姿态信息，将源图像映射到目标图像，得到预测的目标图像，最后将预测的目标图像与真实的目标图像相比较，对预测网络模型的参数进行校正。由于在整个训练过程中，并没有用到真实目标图像的深度值，因此本实施例所提供的方法不需要采集真实数据，降低了训练网络模型时对真实数据集的需求，同时降低了人工和时间成本。

【技术实现步骤摘要】
一种单目深度预测模型的生成方法及单目深度预测方法
本专利技术涉及图像处理
，尤其涉及的是一种单目深度预测模型的生成方法及单目深度预测方法。
技术介绍
对周围场景进行深度估计能够更好地帮助机器感知世界，例如机器人，无人机以及穿戴式设备。目前，激光雷达、结构光深度传感器和飞行时间传感器大量地被用于获取深度信息。然而，这些主动深度传感器通常都比较笨重、昂贵和耗电。同时，它们常伴有一些噪声和人为缺陷，因此不太适用于一些特殊的应用场景。不过，根据一张静态图像估计深度图像能够很好地解决这些问题，它不仅结构紧凑、便宜而且相对低功耗。在过去的十多年，由于深度学习在视觉上的成功，科研人员主要关注的是有监督的单目深度估计。它将单目深度估计看成一个像素级回归问题，并且取得了显著的效果。但是，这种方法依赖大量标注的RGB-D数据集，因此比较昂贵和耗力。因此，现有技术有待于进一步的改进。
技术实现思路
鉴于上述现有技术中的不足之处，本专利技术的目的在于为用户提供一种单目深度预测模型的生成方法及单目深度预测方法，克服现有技术中基于深度学习的单目深度预测方法依赖大量标准的真实数据集，而大量真实数据集的获取需要深度相机采集，需要大量的人力成本和时间成本的缺陷。本专利技术解决技术问题所采用的技术方案如下：第一方面，本实施例提供了一种单目深度预测模型的生成方法，其中，包括：预设网络模型根据训练集中的第一源图像、第二源图像和目标图像，生成与所述第一源图像和目标图像对应的第一相对姿态信息、与所述第二源图像和目标图像对应的第二相对姿态信息和与所述目标图像对应的深度信息；其中，所述训练集包括多组训练样本，每组训练样本包括第一源图像、第二源图像和目标图像；所述第一源图像、目标图像和第二源图像为单目视频流中依次相邻的三帧图像；所述预设网络模型根据所述第一相对姿态信息、第二相对姿态信息和深度信息，对模型参数进行修正，并继续执行所述根据训练集中的第一源图像、第二源图像和目标图像，生成与所述第一源图像和目标图像对应的第一相对姿态信息、与所述第二源图像和目标图像对应的第二相对姿态信息和与所述目标图像对应的深度信息的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到单目深度预测模型。可选的，所述预设网络模型包括：结构相同、参数共享的第一姿态预测模块和第二姿态预测模块，以及深度预测模块；所述预设网络模型根据训练集中的第一源图像、第二源图像和目标图像，生成与所述第一源图像和目标图像对应的第一相对姿态信息、与所述第二源图像和目标图像对应的第二相对姿态信息和与所述目标图像对应的深度信息的步骤包括：将所述第一源图像和目标图像输入至所述第一姿态预测模块，得到与所述第一源图像和目标图像对应的第一相对姿态信息；以及，将所述目标图像输入至所述深度预测模块，得到与所述目标图像对应的深度信息；以及，将所述第二源图像和目标图像输入至所述第二姿态预测模块，得到与所述第二源图像和目标图像对应的第二相对姿态信息。可选的，第一姿态预测模块包括：第一编码单元和第一解码单元；将所述第一源图像和目标图像输入至所述第一姿态预测模块，得到与所述第一源图像和目标图像对应的第一相对姿态信息的步骤包括：将所述第一源图像和目标图像输入至第一编码单元，得到与所述第一源图像和目标图像对应的第一特征图；将所述第一特征图输入至所述第一解码单元，通过所述第一解码单元得到与所述第一源图像和目标图像对应的第一相对姿态信息。可选的，第二姿态预测模块包括：第二编码单元和第二解码单元；将所述第二源图像和目标图像输入至所述第二姿态预测模块，得到与所述第二源图像和目标图像对应的第二相对姿态信息的步骤包括：将所述第二源图像和目标图像输入至第二编码单元，得到与所述第二源图像和目标图像对应的第二特征图；将所述第二特征图输入至所述第二解码单元，通过所述第二解码单元得到与所述第二源图像和目标图像对应的第二相对姿态信息。可选的，所述深度预测模块包括特征提取单元、复用单元和第三解码单元；将所述目标图像输入至所述深度预测模块，得到与所述目标图像对应的深度信息的步骤包括：将所述目标图像输入至所述特征提取单元，通过所述特征提取单元，获取第三特征图；将所述第三特征图输入至复用单元，通过所述复用单元重复多次进行编码处理后，得到与所述第三特征图对应的多个不同尺寸的复用特征图；将所述第三特征图和多个不同尺寸的复用特征图输入至所述第三解码单元，通过所述第三解码单元得到与所述目标图像对应的深度信息。可选的，所述复用单元包括k个反向残差子单元，其中，各个反向残差子单元均含有第一逐点卷积层、第一线性整形层、逐通道卷积层、第二线性整形层、压缩与激活层和第二逐点卷积层，其中k是正整数；将所述第三特征图输入至复用单元，通过所述复用单元重复多次进行编码处理后，得到与所述第三特征图对应的多个不同尺寸的复用特征图的步骤包括：将所述第三特征图第一次输入至复用单元的第一个反向残差子单元，通过第一个反向残差子单元的第一逐点卷积层、第一线性整形层、逐通道卷积层、第二线性整形层、压缩与激活层和第二逐点卷积层对第三特征图进行卷积处理，将第二逐点卷积层输出的特征图与所述第三特征图逐像素相加得到第四特征图；将所述第四特征图输入至复用单元的第二个反向残差子单元，通过第二个反向残差子单元的第一逐点卷积层、第一线性整形层、逐通道卷积层、第二线性整形层、压缩与激活层和第二逐点卷积层对第四特征图进行卷积处理，将第二逐点卷积层输出的特征图与第四特征图逐像素相加得到第五特征图；将所述第五特征图作为目标输入特征图，将所述下一个反向残差子单元作为下一个目标输入单元，继续执行将第二逐点卷积层的输出与第五特征图逐像素相加后输入至下一个目标输入单元的步骤，直至将目标输入特征图输入至第k个反向残差子单元，通过第k个反向残差子单元得到第一复用特征图；将复用单元输出的所述第一复用特征图重复输入至所述复用单元，得到所述复用单元输出的第二复用特征图；重复N次上述将复用单元输出的复用特征图再次输入所述复用单元的步骤，直至复用单元输出第N复用特征图，得到N个不同尺寸的复用特征图，其中N为正整数。可选的，所述第三解码单元，包括：N+1个上采样单元；所述将所述第三特征图和多个不同尺寸的复用特征图输入至所述第三解码单元，通过所述第三解码单元得到与所述目标图像对应的深度信息步骤包括：将第N复用特征图和第N-1复用特征图输入至第一上采样单元，通过所述第一上采样单元得到第六特征图；将第六特征图和第N-2复用特征图输入至第二上采样单元，得到所述第二上采样单元输出的第七特征图和第一视差图像；重复上述将第J-1上采样单元输出的特征图和第N-J复用特征图输入至第J上采样单元,得到第J上采样单元输出第J+5特征图和第J-1视差图像；直至第N-1上采样单元输出第N+4特征图和第N-2视差图像；将第N-1上采样单元输本文档来自技高网...

【技术保护点】
1.一种单目深度预测模型的生成方法，其特征在于，包括：/n预设网络模型根据训练集中的第一源图像、第二源图像和目标图像，生成与所述第一源图像和目标图像对应的第一相对姿态信息、与所述第二源图像和目标图像对应的第二相对姿态信息和与所述目标图像对应的深度信息；其中，所述训练集包括多组训练样本，每组训练样本包括第一源图像、第二源图像和目标图像；所述第一源图像、目标图像和第二源图像为单目视频流中依次相邻的三帧图像；/n所述预设网络模型根据所述第一相对姿态信息、第二相对姿态信息和深度信息，对模型参数进行修正，并继续执行所述根据训练集中的第一源图像、第二源图像和目标图像，生成与所述第一源图像和目标图像对应的第一相对姿态信息、与所述第二源图像和目标图像对应的第二相对姿态信息和与所述目标图像对应的深度信息的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到单目深度预测模型。/n

【技术特征摘要】
1.一种单目深度预测模型的生成方法，其特征在于，包括：
预设网络模型根据训练集中的第一源图像、第二源图像和目标图像，生成与所述第一源图像和目标图像对应的第一相对姿态信息、与所述第二源图像和目标图像对应的第二相对姿态信息和与所述目标图像对应的深度信息；其中，所述训练集包括多组训练样本，每组训练样本包括第一源图像、第二源图像和目标图像；所述第一源图像、目标图像和第二源图像为单目视频流中依次相邻的三帧图像；
所述预设网络模型根据所述第一相对姿态信息、第二相对姿态信息和深度信息，对模型参数进行修正，并继续执行所述根据训练集中的第一源图像、第二源图像和目标图像，生成与所述第一源图像和目标图像对应的第一相对姿态信息、与所述第二源图像和目标图像对应的第二相对姿态信息和与所述目标图像对应的深度信息的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到单目深度预测模型。


2.根据权利要求1所述的单目深度预测模型的生成方法，其特征在于，所述预设网络模型包括：结构相同、参数共享的第一姿态预测模块和第二姿态预测模块，以及深度预测模块；
所述预设网络模型根据训练集中的第一源图像、第二源图像和目标图像，生成与所述第一源图像和目标图像对应的第一相对姿态信息、与所述第二源图像和目标图像对应的第二相对姿态信息和与所述目标图像对应的深度信息的步骤包括：
将所述第一源图像和目标图像输入至所述第一姿态预测模块，得到与所述第一源图像和目标图像对应的第一相对姿态信息；
以及，将所述目标图像输入至所述深度预测模块，得到与所述目标图像对应的深度信息；
以及，将所述第二源图像和目标图像输入至所述第二姿态预测模块，得到与所述第二源图像和目标图像对应的第二相对姿态信息。


3.根据权利要求2所述的单目深度预测模型的生成方法，其特征在于，第一姿态预测模块包括：第一编码单元和第一解码单元；
将所述第一源图像和目标图像输入至所述第一姿态预测模块，得到与所述第一源图像和目标图像对应的第一相对姿态信息的步骤包括：
将所述第一源图像和目标图像输入至第一编码单元，得到与所述第一源图像和目标图像对应的第一特征图；
将所述第一特征图输入至所述第一解码单元，通过所述第一解码单元得到与所述第一源图像和目标图像对应的第一相对姿态信息。


4.根据权利要求2所述的单目深度预测模型的生成方法，其特征在于，第二姿态预测模块包括：第二编码单元和第二解码单元；
将所述第二源图像和目标图像输入至所述第二姿态预测模块，得到与所述第二源图像和目标图像对应的第二相对姿态信息的步骤包括：
将所述第二源图像和目标图像输入至第二编码单元，得到与所述第二源图像和目标图像对应的第二特征图；
将所述第二特征图输入至所述第二解码单元，通过所述第二解码单元得到与所述第二源图像和目标图像对应的第二相对姿态信息。


5.根据权利要求2所述的单目深度预测模型的生成方法，其特征在于，所述深度预测模块包括特征提取单元、复用单元和第三解码单元；
将所述目标图像输入至所述深度预测模块，得到与所述目标图像对应的深度信息的步骤包括：
将所述目标图像输入至所述特征提取单元，通过所述特征提取单元，获取第三特征图；
将所述第三特征图输入至复用单元，通过所述复用单元重复多次进行编码处理后，得到与所述第三特征图对应的多个不同尺寸的复用特征图；
将所述第三特征图和多个不同尺寸的复用特征图输入至所述第三解码单元，通过所述第三解码单元得到与所述目标图像对应的深度信息。


6.根据权利要求5所述的单目深度预测模型的生成方法，其特征在于，所述复用单元包括k个反向残差子单元，其中，各个反向残差子单元均含有第一逐点卷积层、第一线性整形层、逐通道卷积层、第二线性整形层、压缩与激活层和第二逐点卷积层，其中k是正整数；
将所述第三特征图输入至复用单元，通过所述复用单元...

【专利技术属性】
技术研发人员：刘军，李庆，曹瑞，唐文名，邱国平，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44