【技术实现步骤摘要】
本专利技术属于视觉里程计领域，具体涉及一种单目自监督学习的尺度感知视觉惯性里程计方法。
技术介绍
1、对于单个单目相机的实际应用，尺度模糊是一个重要问题。由于不需要包含尺度信息的额外数据的自监督数据驱动方法无法避免尺度模糊性，因此最先进的基于深度学习的方法通过从额外的传感器测量中学习尺度信息来解决这个问题。在这方面，惯性测量单元(imu)由于其重量轻且价格便宜而成为用于各种移动的平台的流行传感器。然而，与可以从地面实况信息学习尺度的监督学习不同，从imu学习尺度在自监督设置中具有挑战性。
技术实现思路
1、针对现有技术存在的不足，本专利技术提出了一种单目自监督学习的尺度感知视觉惯性里程计方法，该方法包括：获取运动场景中的相邻帧图像和两帧图像之间的imu数据；将相邻帧图像和两帧图像之间的imu数据输入到训练好的端到端自监督网络，得到定位结果；
2、端到端自监督网络的训练过程包括：
3、s1：采集运动场景中相邻两帧图像，获取在两帧图像之间的imu数据；
4、s2：将一帧图像输入到深度网络中进行处理，得到深度图；
5、s3：将两帧图像和imu数据输入到里程计网络中进行处理，得到相对位姿、重力和imu偏差；
6、s4：根据相对位姿和深度图计算扭曲图；根据扭曲图和真实图像计算光度一致性损失和平滑度损失；
7、s5：根据imu数据和相对位姿计算预积分损失；
8、s6：根据imu偏差和重力计算常规损失；将光度一致
9、s7：根据总损失调整网络参数，得到训练好的端到端自监督网络。
10、优选的，里程计网络对两帧图像和imu数据的处理过程包括：
11、采用视觉编码器对两帧图像进行处理，得到图像特征；
12、采用惯性编码器对imu数据进行处理，得到惯导特征；
13、将图像特征与惯导特征输入到特征融合网络进行融合，得到融合特征；
14、采用多个解码器对融合特征进行处理，得到相对位姿、重力和imu偏差。
15、进一步的，惯性编码器包括三个双向lstm层。
16、进一步的，特征融合网络包括两个全连接层、一个归一化层和拼接层。
17、优选的，计算光度一致性损失的公式为：
18、
19、其中，表示光度一致性损失，n表示图像像素数量，u表示作用于图像的每个像素，μ表示每像素掩模，表示图像in+1与图像之间的差异大小，in+1表示当前图像in的下一帧图像，为真实值。表示当前图像in扭曲到下一帧视图的扭曲图。
20、优选的，计算平滑度损失的公式为：
21、
22、其中，表示平滑度损失，表示相对于i的偏导数算子，x,y分别表示像素i在像素坐标系中的行坐标和列坐标，表示当前视图的深度图，exp表示指数运算，in表示当前图像。
23、优选的，预积分损失为旋转预积分损失与速度预积分损失之和，计算旋转预积分损失与速度预积分损失的公式为：
24、
25、其中，表示旋转预积分损失，表示速度预积分损失，λrot表示旋转权重，λvel表示速度权重，δrn表示相对旋转矩阵，表示利用imu数据得到的旋转矩阵测量值，δvn表示相对速度，表示利用imu数据的速度测量值。
26、优选的，常规损失为重力调节损失、偏差调节损失与偏置项之和。
27、进一步的，重力调节损失表示为：
28、
29、其中，λgrav表示重力调节权重，表示物体坐标中时间n处的第一重力，表示物体坐标中时间n处的第二重力；
30、偏差调节损失表示为：
31、
32、其中，λbdi表示偏差角速度调节权重，λbdiffa表示偏差加速度调节权重，表示n时刻的角速度偏差，表示0时刻的角速度偏差，表示n时刻的角速度偏差，表示0时刻的加速度偏差。
33、本专利技术的有益效果为：
34、1.提出了一个新的损失函数，用于在训练步骤中从imu测量中学习尺度，从而保留了端到端训练框架的单目自监督设置。
35、2.提出了一种预测身体坐标中的重力和imu偏差的网络架构，以及适当的重力和偏差正则化函数，以使用新的损失函数训练网络，提高了视觉惯性里程计精度。
本文档来自技高网...【技术保护点】
1.一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，包括：获取运动场景中的相邻帧图像和两帧图像之间的IMU数据；将相邻帧图像和两帧图像之间的IMU数据输入到训练好的端到端自监督网络，得到定位结果；
2.根据权利要求1所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，里程计网络对两帧图像和IMU数据的处理过程包括：
3.根据权利要求2所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，所述惯性编码器包括三个双向LSTM层。
4.根据权利要求2所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，所述特征融合网络包括两个全连接层、一个归一化层和拼接层。
5.根据权利要求1所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，计算光度一致性损失的公式为：
6.根据权利要求1所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，计算平滑度损失的公式为：
7.根据权利要求1所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，预积
8.根据权利要求1所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，常规损失为重力调节损失、偏差调节损失与偏置项之和。
9.根据权利要求8所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，重力调节损失表示为：
...【技术特征摘要】
1.一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，包括：获取运动场景中的相邻帧图像和两帧图像之间的imu数据；将相邻帧图像和两帧图像之间的imu数据输入到训练好的端到端自监督网络，得到定位结果；
2.根据权利要求1所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，里程计网络对两帧图像和imu数据的处理过程包括：
3.根据权利要求2所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，所述惯性编码器包括三个双向lstm层。
4.根据权利要求2所述的一种单目自监督学习的尺度感知视觉惯性里程计方法，其特征在于，所述特征融合网络包括两个全连接层、一个归一化层和拼接层。
5.根据权利要求...
【专利技术属性】
技术研发人员：杨泽远，李帅永，汪宙峰，杨丽丽，李萍萍，蒲朝东，隆勇，仇欢，刘舒铫，董丽明，王忠，汤敏，宋兵，
申请(专利权)人：万基泰科工集团数字城市科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。