基于LSTM双流卷积神经网络的位姿估计方法、系统及介质技术方案

本发明专利技术请求保护一种基于LSTM双流卷积神经网络的位姿估计方法、系统及介质，该方法包括步骤：S1，对彩色图像和深度图像进行预处理，将相邻的两帧彩色图像和深度图像分别进行级联，并且深度图像进一步采用MND编码预处理，最后将彩色图像和深度图像进行归一化处理；S2，将预处理完成的彩色图像和深度图像分别输入双流卷积神经网络的彩色流和深度流进行特征提取；S3，将彩色流输出的rgb feature map和深度流输出的depth feature map进行融合生成新的fusion feature map；S4，将新生成的fusion feature map进行全局均值池化处理；S5，利用LSTM神经网络，通过训练，预测当前位姿。结果表明本文提出的位姿估计模型在运动模糊和光线不足的情况下具有更高的精度和鲁棒性。不足的情况下具有更高的精度和鲁棒性。不足的情况下具有更高的精度和鲁棒性。

【技术实现步骤摘要】
基于LSTM双流卷积神经网络的位姿估计方法、系统及介质


[0001]本专利技术属于计算机
，特别是一种LSTM双流卷积神经网络的位姿估计方法。

技术介绍

[0002]工业4.0提出的智能制造是面向产品全生命周期，实现泛在感知条件下的信息化制造。智能制造技术是在现代传感技术、网络技术、自动化技术以及人工智能的基础上，通过感知、人机交互、决策、执行和反馈，实现产品设计过程、制造过程和企业管理及服务的智能化，是信息技术与制造技术的深度融合与集成。室内移动机器人是融合了工业4.0所提出的现代传感技术、网络技术以及自动化技术的代表产物之一。
[0003]移动机器人技术在资源勘探开发、医疗服务、家庭娱乐、军事、航天等领域得到了广泛的应用，例如Auto Guided Vehicle(AGV)、清洁机器人已应用于物流运输和家庭卫生清洁当中。在智能移动机器人中，同时定位和建图(Simultaneous Localization and Mapping,SLAM)是其核心技术。移动机器人的导航过程可以分解成三个模块：定位、建图和路径规划。定位用于确定当前时刻机器人在环境中的位姿状态；建图是将周围环境的局部连续观测信息整合到全局一致的模型当中；路径规划确定了地图中最优导航路径。
[0004]当下能够模拟人推理、判断和记忆的人工智能技术在各方面得到了广泛的应用，例如人脸识别、物体分类等。与深度学习技术在人脸识别领域的应用类似，基于特征点法的视觉里程计也需要检测、匹配和筛选特征点。因此将深度学习技术应用到SLAM的视觉里程计中具有可行性，并且基于深度学习的视觉里程计更加符合人的感知方式，具有广泛的研究潜力和价值。现有的大多数视觉里程计算法基本都经过特征提取匹配、运动估计和局部优化等环节并且受相机参数、运动模糊和光线不足的影响较大。
[0005]现有技术包括：一种基于深度图像的双流卷积神经网络回归学习的目标定位方法(专利申请号：201910624713.8，专利公开号：CN110443849A)。该方法采用了双目相机同时拍摄两张照片，通过图像预处理技术进行深度还原获得深度图像，在图像预处理中还将彩色图像转化成灰度图像。经过预处理后将两类图像分别输入到卷积神经网络中提取特征，然后将两种特征进行卷积特征融合，最后输入到全联层进行回归运算。本专利技术采用RGB
‑
D相机作为传感器，能够相机直接获取RGB图像和对应的深度图像，不需要将RGB图像转化为灰度图像。将RGB图像和深度图像进行预处理完成后输入到双流卷积神经网络，分别获取RGB图像中的彩色特征和深度图像的深度特征，将两种特征图谱输入到特征融合单元中进行拼接特征融合，最后将融合特征输入到长短期记忆循环神经网络(LSTM)中进行时序建模获取位姿信息。与201910624713.8相比较，本方法具有不同的传感器，不同的预处理方法，不同的卷积神经网络结构，不同的特征融合方法，不同的位姿估计方法。
[0006]经过检索，最接近的现有技术为：201910624713.8，一种基于深度图像的双流卷积神经网络回归学习的目标定位方法，其特征在于，S1,在每个参考位置处，双目相机收集灰度图像及其对应的深度图像；S2使用图像预处理技术，灰度图像和深度图像被转换为三通
feature map。
[0018]进一步的，所述步骤S5利用LSTM神经网络，通过训练，预测当前位姿，具体包括：
[0019]利用LSTM神经网络对图像序列进行时序建模，预测当前位姿信息；LSTM神经网络由遗忘门、输入门和输出门构成，通过学习对估计当前位姿信息有用的信息进行记忆，对估计当前位姿信息无用的信息进行遗忘；其中遗忘门可以控制遗忘上一个状态无用的信息，其公式为：
[0020]f
k
＝σ(W
f
·
[h
k
‑1,x
k
]+b
f
)
ꢀꢀ
(3)
[0021]其中f
k
是遗忘门的输出，σ是sigmoid函数，W
f
是遗忘参数，h
k
‑1是上一个时刻的隐藏状态，x
k
是当前时刻的输入，b
f
是遗忘门的偏置；
[0022]其中输入门决定了向当前状态增加什么信息，输入门由输入选择层i
k
和候选层构成，其公式为：
[0023]i
k
＝σ(W
i
·
[h
k
‑1,x
k
]+b
i
)
ꢀꢀ
(4)
[0024][0025]其中W
i
是输入参数，tanh是双曲正切函数，W
C
是候选参数；b
i
是选择层偏置；b
c
是候选层的偏置；
[0026]其中输出门决定做出什么预测，其公式为：
[0027]o
k
＝σ(W
o
·
[h
k
‑1,x
k
]+b
o
)
ꢀꢀ
(6)
[0028]其中W
o
是输出参数；b
o
是输出门的偏置；
[0029]最后通过最小化真实位姿和估计位姿的欧几里德距离来设计损失函数，损失函数为：
[0030][0031]其中N是样本数量；w是位置和姿态的权重系数；为估计位姿；为实际位姿。
[0032]一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如任一项所述的基于LSTM双流卷积神经网络的位姿估计方法。
[0033]一种基于所述方法的LSTM双流卷积神经网络的位姿估计系统，其包括以下步骤：
[0034]预处理模块：用于对RGB
‑
D相机采集到的彩色图像和深度图像进行预处理，将相邻的两帧彩色图像和深度图像分别进行级联，并且深度图像采用最小化法线+深度法编码预处理，最后将彩色图像和深度图像进行归一化处理；
[0035]特征提取模块：用于将预处理完成的彩色图像和深度图像分别输入双流卷积神经网络的彩色流和深度流进行特征提取；
[0036]融合模块：用于将彩色流输出的彩色特征图谱rgb feature map和深度流输出的深度特征图谱depth feature map进行融合生成新的融合特征图谱fusion feature map；
将新生成的融合特征图谱fusion feature map进行全局均值池化处理；
[0037]预测模块：利用LSTM神经网络，通过训练，预测当前位姿。
[0038]本专利技术的优点及有益效果如下：
[0039]本专利技术针对视觉里程计对相机参数敏感，受运动模糊和光线不足影响较大的问题，提出了基于LSTM双流卷积神经网络，让深度流提取的轮本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LSTM双流卷积神经网络的位姿估计方法，其特征在于，包括以下步骤：S1，对RGB
‑
D相机采集到的彩色图像和深度图像进行预处理，将相邻的两帧彩色图像和深度图像分别进行级联，并且深度图像采用最小化法线+深度法MND编码预处理，最后将彩色图像和深度图像进行归一化处理；S2，将预处理完成的彩色图像和深度图像分别输入双流卷积神经网络的彩色流和深度流进行特征提取；S3，将彩色流输出的彩色特征图谱rgb feature map和深度流输出的深度特征图谱depth feature map进行融合生成新的融合特征图谱fusion feature map；S4，将新生成的fusion feature map进行全局均值池化处理；S5，利用LSTM神经网络，通过训练，预测当前位姿。2.根据权利要求1所述的一种基于LSTM双流卷积神经网络的位姿估计方法，其特征在于，所述彩色图像预处理具体为，将彩色图像的相邻帧进行级联生成640
×
960尺寸的彩色图像；所述的深度图像预处理具体为，首先将深度图像进行MND编码处理，缩放深度图像的宽和高为n
x
和n
y
，将深度d作为图像的第三个通道，对于缩放后的曲面法线[n
x
,n
y
,d]满足然后将深度图像的相邻帧进行级联生成640
×
960尺寸的深度图像。3.根据权利要求1所述的一种基于LSTM双流卷积神经网络的位姿估计方法，其特征在于，所述步骤S2将预处理完成的彩色图像和深度图像分别输入双流卷积神经网络的彩色流和深度流进行特征提取，具体为：采用双流卷积神经网络架构，彩色流和深度流的结构一致都由5层卷积层组成，提取图像中不同层次的特征，前四层都有ReLU激活单元；将预处理好的彩色图像I
rgb
作为彩色流的输入，将预处理好的深度图像I
depth
作为深度流输入，通过卷积运算分别得到彩色特征图谱和深度结构特征图谱。4.根据权利要求1
‑
3任一项所述的一种基于LSTM双流卷积神经网络的位姿估计方法，其特征在于，所述双流卷积神经网络采用并行的结构，而并行结构的每个分支都由五个卷积层组成，每个分支的前四个卷积层都经过ReLU激活单元，其公式表示为：f(x)＝max(0,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，x是输入，f(x)是经过ReLU单元之后的输出。5.根据权利要求4所述的一种基于LSTM双流卷积神经网络的位姿估计方法，其特征在于，所述步骤S3将彩色流输出的彩色特征图谱rgb feature map和深度流输出的深度特征图谱depth feature map进行融合生成新的融合特征图谱fusion feature map具体为：将两个数据流网络中conv5输出的feature map合并起来组成新的fusion feature map，再经过批量归一化和ReLU非线性激活单元后进行全局均值池化处理，生成的融合特征表示为：其中，X
k
是fusion feature map，是rgb feature map,是depth feature map。6.根据权利要求5所述的一种基于LSTM双流卷积神经网络的位姿估计方法，其特征在于，所述步骤S5利用LSTM神经网络...

【专利技术属性】
技术研发人员：罗元，曾勇超，胡章芳，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：