位姿确定方法、装置以及存储介质制造方法及图纸

本申请公开了一种位姿确定方法、装置以及存储介质。其中，位姿确定方法，包括：获取视频流的图像帧集合，其中图像帧集合为有序图像帧序列；利用半直接法计算图像帧集合中当前图像帧的第一位姿估计以及第一位姿估计的第一位姿因子，其中第一位姿因子用于指示第一位姿估计的不确定性，当前图像帧为图像帧集合中任意一个图像帧；计算当前图像帧的第一特征二维坐标，并且在第一位姿因子小于预先设定的第一阈值的情况下，通过第一位姿估计利用光速平差法优化第一特征二维坐标，确定第二特征二维坐标；以及根据第二特征二维坐标以及第一位姿估计，确定当前图像帧的位姿。确定当前图像帧的位姿。确定当前图像帧的位姿。

【技术实现步骤摘要】
位姿确定方法、装置以及存储介质


[0001]本申请涉及计算机
，特别是涉及一种位姿确定方法、装置以及存储介质。

技术介绍

[0002]位姿估计在机器人自主定位导航、自动驾驶等领域有着十分重要的地位。通过良好的位姿估计，机器人可以重建周围场景的三维信息，从而制定导航及路径规划等决策。半直接法是较为常用的位姿估计方法之一，以速度快及可在特征缺乏的场景下有效估计位姿而被广泛接受。它基于灰度不变假设，根据前后两帧图像的灰度信息，通过最小化两帧间光度误差求得位姿。在传统半直接法中，随着机器人的运动和时间的推移，一方面，光照的变化会导致光度不变假设不再满足，另一方面，一部分图像特征块可能不再适合参与位姿估计，但半直接法仍会基于原有条件进行位姿估计，会增大位姿估计的不确定性，从而影响跟踪和建图。
[0003]针对上述的现有技术中存在的现有的半直接法确定位姿的过程中由于采用不适合进行位姿估计的图像特征块，从而增大位姿估计的不确定性，进而影响后续的跟踪和建图的技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本公开的实施例提供了一种位姿确定方法、装置以及存储介质，以至少解决现有技术中存在的现有的半直接法确定位姿的过程中由于采用不适合进行位姿估计的图像特征块，从而增大位姿估计的不确定性，进而影响后续的跟踪和建图的技术问题。
[0005]根据本公开实施例的一个方面，提供了一种位姿确定方法，包括：获取视频流的图像帧集合，其中图像帧集合为有序图像帧序列；利用半直接法计算图像帧集合中当前图像帧的第一位姿估计以及第一位姿估计的第一位姿因子，其中第一位姿因子用于指示第一位姿估计的不确定性，当前图像帧为图像帧集合中任意一个图像帧；计算当前图像帧的第一特征二维坐标，并且在第一位姿因子小于预先设定的第一阈值的情况下，通过第一位姿估计利用光速平差法优化第一特征二维坐标，确定第二特征二维坐标；以及根据第二特征二维坐标以及第一位姿估计，确定当前图像帧的位姿。
[0006]根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
[0007]根据本公开实施例的另一个方面，还提供了一种位姿确定装置，包括：获取模块，用于获取视频流的图像帧集合，其中图像帧集合为有序图像帧序列；第一计算模块，用于利用半直接法计算图像帧集合中当前图像帧的第一位姿估计以及第一位姿估计的第一位姿因子，其中第一位姿因子用于指示第一位姿估计的不确定性，当前图像帧为图像帧集合中任意一个图像帧；第一确定模块，用于计算当前图像帧的第一特征二维坐标，并且在第一位姿因子小于预先设定的第一阈值的情况下，通过第一位姿估计利用光速平差法优化第一特征二维坐标，确定第二特征二维坐标；以及第二确定模块，用于根据第二特征二维坐标以及
第一位姿估计，确定当前图像帧的位姿。
[0008]根据本公开实施例的另一个方面，还提供了一种位姿确定装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取视频流的图像帧集合，其中图像帧集合为有序图像帧序列；利用半直接法计算图像帧集合中当前图像帧的第一位姿估计以及第一位姿估计的第一位姿因子，其中第一位姿因子用于指示第一位姿估计的不确定性，当前图像帧为图像帧集合中任意一个图像帧；计算当前图像帧的第一特征二维坐标，并且在第一位姿因子小于预先设定的第一阈值的情况下，通过第一位姿估计利用光速平差法优化第一特征二维坐标，确定第二特征二维坐标；以及根据第二特征二维坐标以及第一位姿估计，确定当前图像帧的位姿。
[0009]在本公开实施例中，通过第一位姿因子与设置的第一阈值进行比较，确定当前图像帧的第一位姿估计是否适于作为位姿估计。进而解决了现有技术中存在的现有的半直接法确定位姿的过程中由于采用不适合进行位姿估计的图像特征块，从而增大位姿估计的不确定性，进而影响后续的跟踪和建图的技术问题。在半直接法求得的当前图像帧的第一位姿估计准确性低的情况下，采用特征点法重新确定当前图像帧的第二位姿估计。进而在传统的半直接法基础上增加了特征点法辅助功能，使位姿估计结果可信度更高，同时，提高了位姿估计的鲁棒性。
附图说明
[0010]此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
[0011]图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；
[0012]图2是根据本公开实施例1的第一个方面所述的位姿确定方法的流程示意图；
[0013]图3是根据本公开实施例1的第一个方面所述的位姿确定的另一流程示意图；
[0014]图4是根据本公开实施例1的第一个方面所述的第一位姿因子/第二位姿因子的计算流程图；
[0015]图5是根据本公开实施例1的第一个方面所述的当前图像帧和前一个图像帧之间的特征对以及重投影偏差示意图；
[0016]图6是根据本公开实施例1的第一个方面所述的当前图像帧和前一个图像帧之间的特征对及其周围8*8图像块示意图；
[0017]图7是根据本公开实施例2所述的位姿确定装置的示意图；以及
[0018]图8是根据本公开实施例3所述的位姿确定装置的示意图。
具体实施方式
[0019]为了使本
的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
[0020]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0021]实施例1
[0022]根据本实施例，还提供了一种位姿确定方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0023]本实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的计算设备中执行。图1示出了一种用于实现位姿确定方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种位姿确定方法，其特征在于，包括：获取视频流的图像帧集合，其中所述图像帧集合为有序图像帧序列；利用半直接法计算所述图像帧集合中当前图像帧的第一位姿估计以及所述第一位姿估计的第一位姿因子，其中所述第一位姿因子用于指示所述第一位姿估计的不确定性，所述当前图像帧为所述图像帧集合中任意一个图像帧；计算所述当前图像帧的第一特征二维坐标，并且在所述第一位姿因子小于预先设定的第一阈值的情况下，通过所述第一位姿估计利用光速平差法优化所述第一特征二维坐标，确定第二特征二维坐标；以及根据所述第二特征二维坐标以及所述第一位姿估计，确定所述当前图像帧的位姿。2.根据权利要求1所述的方法，其特征在于，还包括：在所述第一位姿因子大于所述第一阈值的情况下，利用特征点法计算所述当前图像帧的第二位姿估计以及所述第二位姿估计的第二位姿因子，所述第二位姿因子用于指示所述第二位姿估计的不确定性。3.根据权利要求2所述的方法，其特征在于，还包括：在所述第二位姿因子小于所述第一阈值的情况下，通过所述第二位姿估计利用光速平差法优化所述第一特征二维坐标，确定第三特征二维坐标；以及根据所述第二特征二维坐标和所述第二位姿估计，确定所述当前图像帧的所述位姿。4.根据权利要求1所述的方法，其特征在于，利用半直接法计算所述图像帧集合中当前图像帧的第一位姿估计的操作，包括：提取所述当前图像帧的第一特征点以及所述当前图像帧的前一个图像帧的第二特征点，并通过最近邻方法匹配所述第一特征点和所述第二特征点之间的匹配特征对；根据所述匹配特征对中所述当前图像帧的第一特征像素灰度以及所述前一个图像帧的第二特征像素灰度，确定所述当前图像帧和所述前一个图像帧之间的光度误差；以及通过最小化所述光度误差，确定所述当前图像帧的所述第一位姿估计。5.根据权利要求4所述的方法，其特征在于，利用半直接法计算所述图像帧集合中当前图像帧的第一位姿因子的操作，包括：逐一计算所述匹配特征对中所述当前图像帧的第一像素块和对应的所述前一个图像帧中的第二像素块之间的光度偏差；以及根据所述光度偏差和预先设定的第二阈值，确定所述第一位姿因子，其中所述第二阈值用于指示所述光度偏差的大小。6.根据权利要求2所述的方法，其特征在于，利用特征点法计算所述当前图像帧的第二位姿估计的操作，包括：提取所述当前图像帧的第一特征点以及所述当前图像帧的前一个图像帧的第...

【专利技术属性】
技术研发人员：李可润，周凯，欧阳鹏，
申请(专利权)人：江苏清微智能科技有限公司，
类型：发明
国别省市：