点云地图构建方法、装置及移动机器人制造方法及图纸

本申请涉及一种点云地图构建方法、装置及移动机器人。所述方法包括：响应于获取到深度图像和RGB图像，对RGB图像进行动态目标的标记，得到具有目标信息的RGB图像；基于深度图像和具有目标信息的RGB图像，确定出连续帧图像；对连续帧图像进行姿态估计，得到位姿信息；位姿信息包括静态位姿数据和基于目标信息所确定出的动态目标的动态位姿数据；获取对位姿信息进行位姿结果优化的优化结果，基于优化结果生成点云地图；其中，位姿结果优化用于依据动态位姿数据与静态位姿数据之间的相似程度，补偿对位姿信息的计算偏差。本申请降低了动态目标对位姿求解的影响，实现更加精确的位姿估计求解以生成稠密的点云地图，方便机器人导航和定位使用。定位使用。定位使用。

【技术实现步骤摘要】
点云地图构建方法、装置及移动机器人


[0001]本申请涉及定位
，特别是涉及一种点云地图构建方法、装置及移动机器人。

技术介绍

[0002]针对智能化机器人和自动驾驶系统等，为了实现类人的感知和决策能力，需要机器人能够获取环境中的各种信息，并通过各种传感器的数据来建立系统感知模型，以便自身定位和建立完整地图，进而方便后续的路径规划和碰撞检测等操作。目前相对于激光雷达设备而言，视觉相机的信息获取和后续处理性能及成本更优，基于视觉的SLAM(Simultaneous Localization and Mapping，同步定位与地图构建)成为了研究重点。
[0003]然而，传统基于视觉的定位方式在实际场景中会降低相机位姿的估计精度，影响定位和建图的准确性。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高准确性的点云地图构建方法、装置及移动机器人。
[0005]第一方面，本申请提供了一种点云地图构建方法，方法包括：
[0006]响应于获取到深度图像和RGB图像，对RGB图像进行动态目标的标记，得到具有目标信息的RGB图像；
[0007]基于深度图像和具有目标信息的RGB图像，确定出连续帧图像；
[0008]对连续帧图像进行姿态估计，得到位姿信息；位姿信息包括静态位姿数据和基于目标信息所确定出的动态目标的动态位姿数据；
[0009]获取对位姿信息进行位姿结果优化的优化结果，基于优化结果生成点云地图；其中，位姿结果优化用于依据动态位姿数据与静态位姿数据之间的相似程度，补偿对位姿信息的计算偏差。
[0010]在其中一个实施例中，对连续帧图像进行姿态估计，得到位姿信息，包括：
[0011]对连续帧图像进行关键帧选取，得到关键帧图像；
[0012]对关键帧图像进行姿态估计，得到位姿信息。
[0013]在其中一个实施例中，RGB图像和深度图像为经至少一个数据采集设备采集得到；对连续帧图像进行关键帧选取，得到关键帧图像，包括：
[0014]响应于抽帧条件的触发，对连续帧图像进行抽帧处理，得到关键帧图像；抽帧条件包括数据采集设备的位移量大于位移阈值，以及数据采集设备的旋转量大于旋转阈值中的至少一种。
[0015]在其中一个实施例中，静态位姿数据包括对应静态区域的第一位姿变换矩阵；动态位姿数据包括对应动态区域的第二位姿变换矩阵；
[0016]对关键帧图像进行姿态估计，得到位姿信息，包括：
[0017]基于VSLAM模型和G20模型处理关键帧图像，得到第一位姿变换矩阵和第二位姿变换矩阵。
[0018]在其中一个实施例中，对位姿信息进行位姿结果优化，包括：
[0019]获取第一位姿变换矩阵的第一标准差，以及第二位姿变换矩阵的第二标准差；
[0020]获取第一位姿变换矩阵和第二位姿变换矩阵的协方差；
[0021]基于协方差、以及第一标准差与第二标准差之积，得到用于描述相似程度的可信度；
[0022]若根据可信度确定相似程度低于阈值，则基于动态区域的深度信息、以及静态区域中目标点与数据采集设备之间的平均距离，获取距离比例系数；其中，目标点为基于VSLAM模型选取得到；
[0023]根据距离比例系数、可信度和第二位姿变换矩阵，对第一位姿变换矩阵进行迭代计算，直至相似程度高于阈值。
[0024]在其中一个实施例中，对RGB图像进行动态目标的标记，得到具有目标信息的RGB图像，包括：
[0025]采用YOLOv5模型处理RGB图像，得到具有目标信息的RGB图像。
[0026]第二方面，本申请还提供了一种点云地图构建装置，装置包括：
[0027]标记模块，用于响应于获取到深度图像和RGB图像，对RGB图像进行动态目标的标记，得到具有目标信息的RGB图像；
[0028]图像模块，用于基于深度图像和具有目标信息的RGB图像，确定出连续帧图像；
[0029]位姿获取模块，用于对连续帧图像进行姿态估计，得到位姿信息；位姿信息包括静态位姿数据和基于目标信息所确定出的动态目标的动态位姿数据；
[0030]位姿优化模块，用于获取对位姿信息进行位姿结果优化的优化结果，基于优化结果生成点云地图；其中，位姿结果优化用于依据动态位姿数据与静态位姿数据之间的相似程度，补偿对位姿信息的计算偏差。
[0031]第三方面，本申请还提供了一种移动机器人，包括：
[0032]数据采集设备，用于采集深度图像和RGB图像；
[0033]存储器和处理器，处理器连接数据采集设备，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
[0034]在其中一个实施例中，数据采集设备包括RGB
‑
D相机。
[0035]第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
[0036]上述点云地图构建方法、装置及移动机器人，在获取到RGB图像和深度图像的情况下，先对RGB图像标记动态目标，得到具有目标信息的RGB图像，进而利用目标信息和连续帧图像获取位姿信息，该位姿信息包括静态位姿数据和动态位姿数据，并通过对位姿信息进行位姿结果优化，基于优化结果生成点云地图；其中，该位姿结果优化用于依据动态位姿数据与静态位姿数据之间的相似程度，补偿对位姿信息的计算偏差，进而实现了对动态环境获得较为精确的位置估计；本申请降低了动态目标对位姿求解的影响，实现更加精确的位姿估计求解，并生成稠密的点云地图，方便机器人导航和定位使用。
附图说明
[0037]图1为一个实施例中点云地图构建方法的流程示意图；
[0038]图2为一个实施例中获取位姿信息步骤的流程示意图；
[0039]图3为另一个实施例中点云地图构建方法的流程示意图；
[0040]图4为一个实施例中移动机器人关键帧的轨迹图；
[0041]图5为ORBSLAM2轨迹图；
[0042]图6为一个实施例中移动机器人关键帧的RPE示意图；
[0043]图7为ORBSLAM2的RPE示意图；
[0044]图8为一个实施例中点云地图构建装置的结构框图；
[0045]图9为一个实施例中计算机设备的内部结构图。
具体实施方式
[0046]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0047]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0048]可以理解的是，本申请中诸如“第一”、“第二”等术语仅用于区分类似的对象，而不能理解为指示或暗示相对重要性或者隐含指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云地图构建方法，其特征在于，所述方法包括：响应于获取到深度图像和RGB图像，对所述RGB图像进行动态目标的标记，得到具有目标信息的RGB图像；基于所述深度图像和所述具有目标信息的RGB图像，确定出连续帧图像；对所述连续帧图像进行姿态估计，得到位姿信息；所述位姿信息包括静态位姿数据和基于所述目标信息所确定出的所述动态目标的动态位姿数据；获取对所述位姿信息进行位姿结果优化的优化结果，基于所述优化结果生成点云地图；其中，所述位姿结果优化用于依据所述动态位姿数据与所述静态位姿数据之间的相似程度，补偿对所述位姿信息的计算偏差。2.根据权利要求1所述的方法，其特征在于，所述对所述连续帧图像进行姿态估计，得到位姿信息，包括：对所述连续帧图像进行关键帧选取，得到关键帧图像；对所述关键帧图像进行姿态估计，得到所述位姿信息。3.根据权利要求2所述的方法，其特征在于，所述RGB图像和所述深度图像为经至少一个数据采集设备采集得到；所述对所述连续帧图像进行关键帧选取，得到关键帧图像，包括：响应于抽帧条件的触发，对所述连续帧图像进行抽帧处理，得到所述关键帧图像；所述抽帧条件包括所述数据采集设备的位移量大于位移阈值，以及所述数据采集设备的旋转量大于旋转阈值中的至少一种。4.根据权利要求2所述的方法，其特征在于，所述静态位姿数据包括对应静态区域的第一位姿变换矩阵；所述动态位姿数据包括对应动态区域的第二位姿变换矩阵；所述对所述关键帧图像进行姿态估计，得到所述位姿信息，包括：基于VSLAM模型和G20模型处理所述关键帧图像，得到所述第一位姿变换矩阵和所述第二位姿变换矩阵。5.根据权利要求4所述的方法，其特征在于，对所述位姿信息进行位姿结果优化，包括：获取所述第一位姿变换矩阵的第一标准差，以及所述第二位姿变换矩阵的第二标准差；获取所述第一位姿变换矩阵和所述第二位姿变换矩阵的协方差；基于所述协方差、以及所述第一标准差与所述第二标准差之积，得到用于描...

【专利技术属性】
技术研发人员：杨程伟，乔宏明，俞科峰，李嫚，蒋艺荃，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：