本发明专利技术实施例是关于一种建图方法及装置、计算机可读存储介质、电子设备，涉及计算机技术领域，该方法包括：计算当前图像帧所在时刻的里程计的位姿增量，并根据所述里程计的位姿增量判断所述当前图像帧是否为关键帧；在确定所述当前图像帧为所述关键帧时，提取所述当前图像帧的特征点，并根据所述当前图像帧的特征点与上一帧关键帧的特征点得到目标特征点匹配对；根据所述目标特征点匹配对以及与所述上一帧关键帧的特征点对应的历史地图点，计算所述当前图像帧在世界坐标系下的姿态旋转矩阵以及位置向量；根据所述姿态旋转矩阵以及位置向量生成新的地图点，并根据所述新的地图点对当前地图进行更新。本发明专利技术实施例提高了地图点的生成效率。的生成效率。的生成效率。
【技术实现步骤摘要】
建图方法及装置、计算机可读存储介质、电子设备
[0001]本专利技术实施例涉及计算机
，具体而言，涉及一种建图方法、建图装置、计算机可读存储介质以及电子设备。
技术介绍
[0002]在机器人导盲、无人驾驶、增强现实(Augmented Reality，AR)等很多领域，都需要用到环境地图，在相关技术中，该环境地图多是使用双目视觉建图方法生成的。
[0003]当前双目视觉建图方法中，主要采用双目相机，利用前后帧特征点匹配对帧间位姿进行估计，进而计算出当前帧位姿，判断当前帧是否为关键帧，若为关键帧则将当前帧的特征点与前几帧生成的地图点构成的局部地图进行匹配，对当前帧位姿进行进一步优化，然后利用局部地图关联的所有图像帧以及地图点之间的约束关系构建图优化方程，使用捆集优化方法(Bundle Adjustment)求解，使局部地图中地图点在所有图像帧的重投影误差之和最小，进而得到局部最优的当前帧位姿，最后利用相机左右目匹配特征点的视差生成新的地图点。
[0004]但是，上述双目视觉建图方法存在如下缺陷：由于需要根据前后帧匹配后的结果来判断当前帧是否为关键帧，因此需要对每一帧都进行特征提取和描述子的计算，而特征点的提取和描述子的计算都是比较耗时的，进而使得地图点的生成效率较低。
[0005]因此，需要提供一种新的建图方法及装置。
[0006]需要说明的是，在上述
技术介绍
部分专利技术的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0007]本专利技术的目的在于提供一种建图方法、建图装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的地图点的生成效率较低的问题。
[0008]根据本公开的一个方面，提供一种建图方法，包括：
[0009]计算当前图像帧所在时刻的里程计的位姿增量，并根据所述里程计的位姿增量判断所述当前图像帧是否为关键帧；
[0010]在确定所述当前图像帧为所述关键帧时，提取所述当前图像帧的特征点，并根据所述当前图像帧的特征点与上一帧关键帧的特征点得到目标特征点匹配对；
[0011]根据所述目标特征点匹配对以及与所述上一帧关键帧的特征点对应的历史地图点，计算所述当前图像帧在世界坐标系下的姿态旋转矩阵以及位置向量；
[0012]根据所述姿态旋转矩阵以及位置向量生成新的地图点，并根据所述新的地图点对当前地图进行更新。
[0013]在本公开的一种示例性实施例中，计算当前图像帧所在时刻的里程计的位姿增量包括：
[0014]根据所述当前图像帧的时间戳以及所述里程计的时间戳之间的时间差，计算所述当前图像帧所在时刻的里程计的位姿增量。
[0015]在本公开的一种示例性实施例中，根据所述当前图像帧的时间戳以及所述里程计的时间戳之间的时间差，计算所述当前图像帧所在时刻的里程计的位姿增量包括：
[0016]获取码盘计中的与所述当前图像帧所在时刻对应的上一时刻的里程计的位姿信息以及下一时刻的里程计的位姿信息；
[0017]根据所述当前图像帧的时间戳以及所述里程计的时间戳之间的时间差、所述上一时刻的里程计的位姿信息以及所述下一时刻的里程计的位姿信息计算所述当前图像帧所在时刻的里程计的位姿信息；
[0018]根据所述当前图像帧所在时刻的里程计的位姿信息以及下一图像帧所在时刻的里程计的位姿信息，计算所述里程计的位姿增量。
[0019]在本公开的一种示例性实施例中，所述里程计的位姿增量包括里程计的位移增量以及里程计的姿态角增量；
[0020]其中，根据所述里程计的位姿增量判断所述当前图像帧是否为关键帧包括：
[0021]根据所述里程计的位移增量是否大于第一预设阈值，和/或所述里程计的姿态角增量是否大于第二预设阈值判断所述当前图像帧是否为关键帧。
[0022]在本公开的一种示例性实施例中，如果所述位里程计的移增量大于第一预设阈值，和/或所述里程计的姿态角增量大于第二预设阈值，则确定所述当前图像帧为关键帧。
[0023]在本公开的一种示例性实施例中，根据所述当前图像帧的特征点与上一帧关键帧的特征点得到目标特征点匹配对包括：
[0024]根据所述当前图像帧的特征点，以及与所述当前图像帧的各特征点对应的所述上一帧关键帧中的特征点，得到多个当前特征点匹配对；
[0025]计算所述当前图像帧的特征点的当前描述子，并计算所述当前描述子与所述上一帧关键帧的特征点的历史描述子之间的距离；
[0026]根据所述当前描述子以及所述历史描述子之间的距离，计算各所述当前特征点匹配对之间的匹配得分；
[0027]将匹配得分大于预设分数的当前特征点匹配对进行剔除，并将剩余的当前特征点匹配对作为所述目标特征点匹配对；其中，所述预设分数为所述匹配得分的中值。
[0028]在本公开的一种示例性实施例中，所述建图方法还包括：
[0029]根据所述里程计的位姿增量预测所述当前图像帧的当前帧位姿。
[0030]在本公开的一种示例性实施例中，根据所述目标特征点匹配对以及与所述上一帧关键帧的特征点对应的历史地图点，计算所述当前图像帧在世界坐标系下的姿态旋转矩阵以及位置向量包括：
[0031]根据所述当前图像帧的二维像素点、所述历史地图点、双目相机的内参矩阵、所述当前图像帧在世界坐标系下的姿态旋转矩阵以及位置向量构建投影方程；
[0032]根据所述目标特征点匹配对以及所述投影方程构建最小二乘优化方案；
[0033]以所述当前帧位姿为初始值，根据高斯牛顿迭代法对所述最小二乘优化方案进行求解得到所述姿态旋转矩阵以及位置向量。
[0034]在本公开的一种示例性实施例中，根据所述姿态旋转矩阵以及位置向量生成新的
地图点包括：
[0035]根据所述内参矩阵、所述姿态旋转矩阵、所述位置向量、所述双目相机的左右目特征点的深度以及左右目匹配点构建约束方程；
[0036]根据所述约束方程计算所述左右目特征点的深度，并根据所述左右目特征点的深度以及所述左右目匹配点，计算所述双目相机坐标下的三维点；
[0037]根据所述当前帧位姿以及所述三维点得到所述新的地图点。
[0038]根据本公开的一个方面，提供一种建图装置，包括：
[0039]位姿增量计算模块，用于计算当前图像帧所在时刻的里程计的位姿增量，并根据所述里程计的位姿增量判断所述当前图像帧是否为关键帧；
[0040]特征点提取模块，用于在确定所述当前图像帧为所述关键帧时，提取所述当前图像帧的特征点，并根据所述当前图像帧的特征点与上一帧关键帧的特征点得到目标特征点匹配对；
[0041]计算模块，用于根据所述目标特征点匹配对以及与所述上一帧关键帧的特征点对应的历史地图点，计算所述当前图像帧在世界坐标系下的姿态旋转矩阵以及位置向量；
[0042]地图点生成模块，用于根据所述本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种建图方法，其特征在于，包括：计算当前图像帧所在时刻的里程计的位姿增量，并根据所述里程计的位姿增量判断所述当前图像帧是否为关键帧；在确定所述当前图像帧为所述关键帧时，提取所述当前图像帧的特征点，并根据所述当前图像帧的特征点与上一帧关键帧的特征点得到目标特征点匹配对；根据所述目标特征点匹配对以及与所述上一帧关键帧的特征点对应的历史地图点，计算所述当前图像帧在世界坐标系下的姿态旋转矩阵以及位置向量；根据所述姿态旋转矩阵以及位置向量生成新的地图点，并根据所述新的地图点对当前地图进行更新。2.根据权利要求1所述的建图方法，其特征在于，计算当前图像帧所在时刻的里程计的位姿增量包括：根据所述当前图像帧的时间戳以及所述里程计的时间戳之间的时间差，计算所述当前图像帧所在时刻的里程计的位姿增量。3.根据权利要求2所述的建图方法，其特征在于，根据所述当前图像帧的时间戳以及所述里程计的时间戳之间的时间差，计算所述当前图像帧所在时刻的里程计的位姿增量包括：获取码盘计中的与所述当前图像帧所在时刻对应的上一时刻的里程计的位姿信息以及下一时刻的里程计的位姿信息；根据所述当前图像帧的时间戳以及所述里程计的时间戳之间的时间差、所述上一时刻的里程计的位姿信息以及所述下一时刻的里程计的位姿信息计算所述当前图像帧所在时刻的里程计的位姿信息；根据所述当前图像帧所在时刻的里程计的位姿信息以及下一图像帧所在时刻的里程计的位姿信息，计算所述里程计的位姿增量。4.根据权利要求1所述的建图方法，其特征在于，所述里程计的位姿增量包括里程计的位移增量以及里程计的姿态角增量；其中，根据所述里程计的位姿增量判断所述当前图像帧是否为关键帧包括：根据所述里程计的位移增量是否大于第一预设阈值，和/或所述里程计的姿态角增量是否大于第二预设阈值判断所述当前图像帧是否为关键帧。5.根据权利要求4所述的建图方法，其特征在于，如果所述里程计的位移增量大于第一预设阈值，和/或所述里程计的姿态角增量大于第二预设阈值，则确定所述当前图像帧为关键帧。6.根据权利要求1所述的建图方法，其特征在于，根据所述当前图像帧的特征点与上一帧关键帧的特征点得到目标特征点匹配对包括：根据所述当前图像帧的特征点，以及与所述当前图像帧的各特征点对应的所述上一帧关键帧中的特征点，得到多个当前特征点匹配对；计算所述当前图像帧的特征点的当前描述子，并计算所述当前描述子与所述上一帧关键帧的特征点的历史描述子之间的距离；根据所述当前描述子以及所述历史描述子之间的...
【专利技术属性】
技术研发人员：张鹏，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。