调整深度图像预测模型的方法、装置和电子设备制造方法及图纸

本发明专利技术实施例公开了一种调整深度图像预测模型的方法、装置、可读存储介质和电子设备。本发明专利技术实施例通过获取顺序拍摄的图像序列；获取多个样本数据组，各样本数据组包括在图像序列中相邻的第一图像和第二图像，以及在拍摄所述第一图像和第二图像之间的时间段内记录的运动数据；以无监督方式迭代调整深度图像预测模型和运动预测模型的参数以使得损失函数最优化。通过上述方法，采用无监督方式迭代调整深度图像预测模型和运动预测模型的参数，以使得损失函数最优化，获取到优化的深度图像预测模型和运动预测模型，通过优化的深度图像预测模型对深度图像进行确定，可以提高所估计深度图像的精确度。图像的精确度。图像的精确度。

【技术实现步骤摘要】
调整深度图像预测模型的方法、装置和电子设备


[0001]本专利技术涉及图像处理领域，具体涉及一种调整深度图像预测模型的方法、装置和电子设备。

技术介绍

[0002]近年来，自动驾驶技术的研究越来越深入和广泛，自动驾驶汽车是自动驾驶技术的一项重要应用，自动驾驶汽车是智能汽车的一种，以自动驾驶模式运行的车辆可将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来；当以自动驾驶模式运行时，车辆主要依靠车内的以计算机系统为主的智能驾驶仪来实现自动驾驶的目的，从而允许车辆在没有人机交互的情况下行驶。自动驾驶技术中的一项具体的技术为通过单目图像获取深度图像，进而预测场景深度，其中，所述深度图像，又名距离图像(Range Image)是指将从图像采集器到场景中各点的距离作为像素值的图像，也就是深度图像中的每一个像素值表示场景中某一点与摄像机之间的距离。
[0003]现有技术中，由于单目图像受光照的影响、拍摄单目图像的摄像机的快速运动的影响，以及单目图像中会存在尺度模糊等问题，通过单目图像获取的深度图像的精确度较差，如何提高由单目图像生成的深度图像的精确度是目前需要解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种调整深度图像预测模型的方法、装置、可读存储介质和电子设备，通过无监督方式迭代调整深度图像预测模型和运动预测模型的参数，以使得损失函数最优化，进而提高了通过所述深度图像预测模型生成的深度图像的精确度。
[0005]第一方面，本专利技术实施例提供了一种调整深度图像预测模型的方法，该方法包括：获取顺序拍摄的图像序列；获取多个样本数据组，各样本数据组包括在图像序列中相邻的第一图像和第二图像，以及在拍摄所述第一图像和第二图像之间的时间段内记录的运动数据；以无监督方式迭代调整深度图像预测模型和运动预测模型的参数以使得损失函数最优化；其中，确定所述损失函数的步骤包括：基于运动预测模型，根据所述样本数据组确定运动矩阵；基于深度图像预测模型，预测所述第一图像对应的第一初始深度图像和第二图像对应的第二初始深度图像；根据所述第一初始深度图像、第二初始深度图像和所述运动矩阵确定所述损失函数。
[0006]优选地，该方法还包括：将至少一张第三图像输入到迭代调整后的所述深度图像预测模型，输出所述第三图像对应的第三初始深度图像。
[0007]优选地，将相邻的第三图像和第四图像及在拍摄所述第三图像和第四图像之间的时间段内记录的运动数据输入到迭代调整后的所述运动预测模型，输出所述运动矩阵，其中所述运动矩阵用于确定拍摄所述第三图像和所述第四图像的设备的运动轨迹。
[0008]优选地，所述运动数据包括惯性测量单元IMU数据；所述运动预测模型包括第一运
动编码器PoseNet、第二运动编码器BiLSTM、以及门控加权网络；所述深度图像预测模型包括图像编码器DepthNet。
[0009]优选地，所述根据所述样本数据组确定运动矩阵，具体包括：
[0010]根据所述相邻的所述第一图像和所述第二图像确定第一运动特征；
[0011]根据所述IMU数据确定第二运动特征；
[0012]将所述第一运动特征与所述第二运动特征进行选择性特征融合，确定所述运动矩阵。
[0013]优选地，所述根据所述相邻的所述第一图像和所述第二图像确定第一运动特征，具体包括：
[0014]将所述相邻的所述第一图像和所述第二图像进行堆叠；
[0015]根据所述第一运动编码器PoseNet提取所述堆叠的所述相邻的所述第一图像和所述第二图像的第一运动特征。
[0016]优选地，所述根据所述IMU数据确定第二运动特征，具体包括：
[0017]通过所述第二运动编码器BiLSTM确定所述IMU数据对应的第二运动特征。
[0018]优选地，所述将所述第一运动特征与所述第二运动特征进行选择性特征融合，确定所述运动矩阵，具体包括：
[0019]根据门控加权网络确定所述第一运动特征对应的第一权重系数，并根据所述门控加权网络确定所述第二运动特征对应的第二权重系数；
[0020]根据所述第一运动特征、所述第一权重系数、所述第二运动特征、以及所述第二权重系数确定所述运动矩阵。
[0021]优选地，根据门控加权网络确定所述第一运动特征对应的第一权重系数，具体包括：
[0022]所述第一运动特征经过所述全连接网络确定第一中间参数；
[0023]根据所述第一中间参数与所述Sigmoid函数确定所述第一运动特征对应的第一权重系数。
[0024]优选地，根据门控加权网络确定所述第二运动特征对应的第二权重系数，具体包括：
[0025]所述第二运动特征经过所述全连接网络确定第二中间参数；
[0026]根据所述第二中间参数与所述Sigmoid函数确定所述第二运动特征对应的第二权重系数。
[0027]优选地，所述IMU数据包括三维加速度数据以及三维陀螺仪数据。
[0028]优选地，该方法还包括：
[0029]根据所述第一图像中任一像素点的二维坐标，确定所述任一像素点在所述第一图像对应的所述第一初始深度图像中的三维坐标；
[0030]根据所述三维坐标以及所述运动矩阵，确定所述第一图像重投影到相邻的所述第二图像的第一参数，以及所述第一图像对应的第一深度图像重投影到相邻的所述第二图像对应的所述第二深度图像的第二参数。
[0031]优选地，所述根据所述第一初始深度图像、第二初始深度图像和所述运动矩阵确定所述损失函数，具体包括：
[0032]根据所述第一参数以及第二参数确定所述损失函数。
[0033]优选地，所述损失函数包括图像重构损失函数、深度一致损失函数以及深度平滑损失函数。
[0034]第二方面，本专利技术实施例提供了一种调整深度图像预测模型的装置，该装置包括：
[0035]获取单元，用于获取顺序拍摄的图像序列；所述获取单元还用于，获取多个样本数据组，各样本数据组包括在图像序列中相邻的第一图像和第二图像，以及在拍摄所述第一图像和第二图像之间的时间段内记录的运动数据；调整单元，用于以无监督方式迭代调整深度图像预测模型和运动预测模型的参数以使得损失函数最优化；其中，确定所述损失函数的步骤通过确定单元进行处理，所述确定单元具体用于：基于运动预测模型，根据所述样本数据组确定运动矩阵；基于深度图像预测模型，预测所述第一图像对应的第一初始深度图像和第二图像对应的第二初始深度图像；根据所述第一初始深度图像、第二初始深度图像和所述运动矩阵确定所述损失函数。
[0036]优选地，该装置还包括：第一处理单元，用于将至少一张第三图像输入到迭代调整后的所述深度图像预测模型，输出所述第三图像对应的第三初始深度图像。
[0037]优选地，该装置还包括：第二处理单元，用于将相邻的第三图像和第四图像及在拍摄所述第三图像和第四图像之间的时间段内记录的运动数据输入到迭代调整后的所述运动预测模型，输出所述运动矩阵，其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种调整深度图像预测模型的方法，其特征在于，该方法包括：获取顺序拍摄的图像序列；获取多个样本数据组，各样本数据组包括在图像序列中相邻的第一图像和第二图像，以及在拍摄所述第一图像和第二图像之间的时间段内记录的运动数据；以无监督方式迭代调整深度图像预测模型和运动预测模型的参数以使得损失函数最优化；其中，确定所述损失函数的步骤包括：基于运动预测模型，根据所述样本数据组确定运动矩阵；基于深度图像预测模型，预测所述第一图像对应的第一初始深度图像和第二图像对应的第二初始深度图像；根据所述第一初始深度图像、第二初始深度图像和所述运动矩阵确定所述损失函数。2.如权利要求1所述的方法，其特征在于，该方法还包括：将至少一张第三图像输入到迭代调整后的所述深度图像预测模型，输出所述第三图像对应的第三初始深度图像。3.如权利要求1所述的方法，其特征在于，该方法还包括：将相邻的第三图像和第四图像及在拍摄所述第三图像和第四图像之间的时间段内记录的运动数据输入到迭代调整后的所述运动预测模型，输出所述运动矩阵，其中所述运动矩阵用于确定拍摄所述第三图像和所述第四图像的设备的运动轨迹。4.如权利要求1所述的方法，其特征在于，所述运动数据包括惯性测量单元IMU数据；所述运动预测模型包括第一运动编码器PoseNet、第二运动编码器BiLSTM、以及门控加权网络；所述深度图像预测模型包括图像编码器DepthNnet。5.如权利要求4所述的方法，其特征在于，所述根据所述样本数据组确定运动矩阵，具体包括：根据所述相邻的所述第一图像和所述第二图像确定第一运动特征；根据所述IMU数据确定第二运动特征；将所述第一运动特征与所述第二运动特征进行选择性特征融合，确定所述运动矩阵。6.如权利要求5所述的方法，其特征在于，所述根据所述相邻的所述第一图像和所述第二图像确定第一运动特征，具体包括：将所述相邻的所述第一图像和所述第二图像进行堆叠；根据所述第一运动编码器PoseNet提取所述堆叠的所述相邻的所述第一图像和所述第二图像的第一运动特征。7.如权利要求5所述的方法，其特征在于，所述根据所述IMU数据确定第二运动特征，具体包括：通过所述第二运动编码器BiLSTM确定所述IMU数据对应的第二运动特征。8.如权利要求5所述的方法，其特征在于，所述将所述第一运动特征与所述第二运动特征进行选择性特征融合，确定所述运动矩阵，具体包括：根据所述门控加权网络确定所述第一运动特征对应的第一权重系数，并根据所述门控加权网络确定所述第二运动特征对应的第二权重系数；根据所述第一运动特征、所述第一权重系数、所述第二运动特征、以及所述第二权重系数确定所述运动...

【专利技术属性】
技术研发人员：高睿鹏，束纬寰，马楠，肖轩，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：