用于空间定位的方法及装置制造方法及图纸

本公开提供了一种用于空间定位的方法及装置。在该方法中，采集第二设备的第一图像，第一图像包括第二设备的2D点和2D点对应的描述子；利用第二设备的3D模型上的3D点对应的描述子和2D点对应的描述子对第二设备的2D点和第二设备的3D模型上的3D点进行特征点匹配，以得到至少三个不共线的第二设备的2D点与第二设备的3D模型的3D点之间的第一对应关系，第二设备的3D模型包括3D点和3D点对应的描述子；根据第二设备在世界坐标系中的定位以及第二设备与3D模型之间的第二对应关系，确定第二设备的3D模型在世界坐标系中的定位；以及根据第二设备的3D模型在世界坐标系中的定位以及第一对应关系，确定第一设备在世界坐标系中的位姿。确定第一设备在世界坐标系中的位姿。确定第一设备在世界坐标系中的位姿。

【技术实现步骤摘要】
用于空间定位的方法及装置


[0001]本公开涉及信息
，具体地，涉及用于空间定位的方法及装置。

技术介绍

[0002]随着计算机和通信等各种技术的快速发展，增强现实(Augmented Reality，AR)等技术也随之迅速发展。具体而言，在AR技术中，可以利用计算机技术来将虚拟信息应用到真实世界，也就是将真实场景和虚拟图像(例如，虚拟物体、虚拟场景等等)实时地叠加在同一画面下，使得人眼同时观看到真实场景和虚拟图像的混合图像，从而达到增强现实的效果。
[0003]用户可以通过交互设备与AR场景中的虚拟对象进行交互，以产生期望的效果。例如，用户可以移动交互设备，而交互设备的空间移动可以被转化为AR场景中的虚拟对象的移动，从而达到控制虚拟对象的目的。因此，在AR场景的交互过程中需要确定交互设备的空间定位，如何精确地确定交互设备在空间中的定位成为亟待解决的问题。

技术实现思路

[0004]鉴于上述，本公开提供了一种用于空间定位的方法及装置。
[0005]根据本公开的一个方面，提供了一种用于空间定位的方法，所述方法由第一设备执行，所述方法包括：采集第二设备的第一图像，所述第一图像包括所述第二设备的2D点和2D点对应的描述子；利用所述第二设备的3D模型上的3D点对应的描述子和所述2D点对应的描述子对所述第二设备的2D点和所述第二设备的3D模型上的3D点进行特征点匹配，以得到至少三个不共线的所述第二设备的2D点与所述第二设备的3D模型的3D点之间的第一对应关系，所述第二设备的3D模型包括3D点和3D点对应的描述子；根据所述第二设备在世界坐标系中的定位以及所述第二设备与所述3D模型之间的第二对应关系，确定所述第二设备的3D模型在所述世界坐标系中的定位；以及根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系，确定所述第一设备在所述世界坐标系中的位姿。
[0006]根据本公开的另一方面，还提供一种用于空间定位的装置，所述装置应用于第一设备，所述装置包括：图像采集单元，被配置为采集第二设备的第一图像，所述第一图像包括所述第二设备的2D点和2D点对应的描述子；特征点匹配单元，被配置为利用所述第二设备的3D模型上的3D点对应的描述子和所述2D点对应的描述子对所述第二设备的2D点和所述第二设备的3D模型上的3D点进行特征点匹配，以得到至少三个不共线的所述第二设备的2D点与所述第二设备的3D模型的3D点之间的第一对应关系，所述第二设备的3D模型包括3D点和3D点对应的描述子；定位单元，被配置为根据所述第二设备在世界坐标系中的定位以及所述第二设备与所述3D模型之间的第二对应关系，确定所述第二设备的3D模型在所述世界坐标系中的定位；以及位姿确定单元，被配置为根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系，确定所述第一设备在所述世界坐标系中的位姿。
[0007]根据本公开的另一方面，还提供一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处
理器执行如上所述的用于空间定位的方法。
[0008]根据本公开的另一方面，还提供一种非易失性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的用于空间定位的方法。
附图说明
[0009]通过参照下面的附图，可以实现对于本公开内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。
[0010]图1示出了根据本公开的空间定位方法的应用场景的一个示例的示意图。
[0011]图2示出了根据本公开的空间定位方法的一个示例的流程图。
[0012]图3示出了根据本公开的第二设备的3D模型的一个示例的示意图。
[0013]图4示出了根据本公开的第一图像中的2D点与3D模型的3D点之间的映射关系的一个示例的示意图。
[0014]图5示出了根据本公开的空间定位方法的另一个示例的流程图。
[0015]图6示出了根据本公开的第二设备、3D模型以及世界坐标系三者之间的一个示例的关系示意图。
[0016]图7示出了根据本公开的空间定位方法的另一个示例的流程图。
[0017]图8示出了根据本公开的空间定位装置的一个示例的方框图。
[0018]图9示出了根据本公开的空间定位装置的另一个示例的方框图。
[0019]图10示出了根据本公开的空间定位装置的另一个示例的方框图。
[0020]图11示出了本公开的实施例的用于实现空间定位方法的电子设备的方框图。
具体实施方式
[0021]以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
[0022]如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
[0023]在目前增强现实(Augmented Reality，AR)技术的应用中，可以是终端设备(比如，手机、个人电脑、平板电脑等移动终端)与AR眼镜连接，终端设备可以作为手柄用于控制通过AR眼镜显示的虚拟对象。终端设备在空间中移动，以对AR眼镜中显示的虚拟对象进行相应的操作，例如位置移动、姿态变化、界面切换、选择、取消、进入、退出等等。基于此，终端设备在空间中的定位在AR场景中很重要，直接影响了与AR场景中的虚拟对象的交互。
[0024]目前，终端设备通过内置的IMU(Inertial Measurement Unit，惯性测量单元)来进行姿态解算，而一般的用于消费类产品的IMU只能实现3DOF(degree of freedom)的功
能，3DOF仅包括偏航、俯仰和侧倾。基于此，终端设备只能通过偏航、俯仰和侧倾三个自由度来进行姿态解算，而偏航、俯仰和侧倾三个自由度有一定的局限性，如果仅使用该IMU进行6DOF的空间定位，则导致终端设备的空间定位不准，进而影响与AR场景中的虚拟对象的交互。
[0025]鉴于上述，本公开提供了一种用于空间定位的方法及装置。在该方法中，采集第二设备的第一图像，第一图像包括第二设备的2D点和2D点对应的描述子；利用第二设备的3D模型上的3D点对应的描述子和2D点对应的描述子对第二设备的2D点和第二设备的3D模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于空间定位的方法，所述方法由第一设备执行，所述方法包括：采集第二设备的第一图像，所述第一图像包括所述第二设备的2D点和2D点对应的描述子；利用所述第二设备的3D模型上的3D点对应的描述子和所述2D点对应的描述子对所述第二设备的2D点和所述第二设备的3D模型上的3D点进行特征点匹配，以得到至少三个不共线的所述第二设备的2D点与所述第二设备的3D模型的3D点之间的第一对应关系，所述第二设备的3D模型包括3D点和3D点对应的描述子；根据所述第二设备在世界坐标系中的定位以及所述第二设备与所述3D模型之间的第二对应关系，确定所述第二设备的3D模型在所述世界坐标系中的定位；以及根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系，确定所述第一设备在所述世界坐标系中的位姿。2.如权利要求1所述的方法，其中，所述第二设备在世界坐标系中的定位包括位姿，根据所述第二设备在世界坐标系中的定位以及所述第二对应关系，确定所述第二设备的3D模型在所述世界坐标系中的定位包括：根据所述第二设备在世界坐标系中的位姿以及所述第二对应关系，确定所述第二设备的3D模型在所述世界坐标系中的位姿；以及根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系，确定所述第一设备在所述世界坐标系中的位姿包括：使用PnP算法根据所述第一对应关系计算所述第一设备在所述第二设备的3D模型坐标系中的位姿；和基于所述第一设备在所述第二设备的3D模型坐标系中的位姿以及所述第二设备的3D模型在所述世界坐标系中的位姿，得到所述第一设备在所述世界坐标系中的位姿。3.如权利要求1所述的方法，其中，所述第二设备在世界坐标系中的定位包括位置，根据所述第二设备在世界坐标系中的定位以及所述第二对应关系，确定所述第二设备的3D模型在所述世界坐标系中的定位包括：根据所述第二设备在世界坐标系中的位置以及所述第二对应关系，确定所述第二设备的3D模型的3D点在所述世界坐标系中的位置；以及根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系，确定所述第一设备在所述世界坐标系中的位姿包括：根据所述第一对应关系和符合所述第一对应关系的所述第二设备的3D模型的3D点在所述世界坐标系中的位置，使用PnP算法计算所述第一设备在所述世界坐标系中的位姿。4.如权利要求2或3所述的方法，其中，在使用PnP算法之前，所述方法还包括：使用随机抽样一致性算法从所述第一图像中的至少三个不共线的所述第二设备的2D点与所述第二设备的3D模型的3D点之间的第一对应关系中确定内点；以及将所述内点确定为所述第一对应关系应用于PnP算法时待使用的点。5.如权利要求2或3所述的方法，其中，所使用的PnP算法是基于最小二乘法的PnP算法。6.如权利要求1至3中任一项所述的方法，其中，所述第二设备包括头戴式设备，所述头戴式设备用于显示所述第一设备提供的虚拟对象，所述第一设备包括手持设备，所述手持设备用于控制通过头戴式设备显示的虚拟对象并包括用于采集第一图像的摄像设备。
7.如权利要求1所述的方法，还包括：在所述第一设备采集到的第一图像中不包括至少三个不共线的所述第二设备的2D点时，采集包括指定对象的第二图像，所述第二图像包括可作为关键点的所述指定对象的2D点，所述指定对象与所述第二设备的相对位置固定；基于所述第二设备的3D模型在所述世界坐标系中的定位和预存的所述指定对象的3D模型与所述第二设备的3D模型之间的相对位置关系，确定所述指定对象的3D模型在所述世界坐标系中的定位，其中，所述指定对象的3D模型包括3D点和3D点对应的关键点；在所述第二图像中对至少三个不共线的所述指定对象的2D点进行关键点检测，得到至少三个不共线的所述指定对象的2D点和所述指定对象的3D模型的3D点之间的匹配关系，以得到所述第二图像和所述指定对象的3D模型之间的第三对应关系；基于所述指定对象的3D模型在所述世界坐标系中的定位和所述第三对应关系，确定所述第一设备在所述世界坐标系中的位姿。8.如权利要求1所述的方法，其中，所述第一图像还包括有指定对象，所述第一图像还包括可作为关键点的所述指定对象的2D点，所述指定对象与所述第二设备的相对位置固定，所述方法还包括：在所述第二图像中对至少三个不共线的所述指定对象的2D点进行关键点检测，得到至少三个不共线的所述指定对象的2D点和指定对象的3D模型的3D点之间的匹配关系，其中，所述指定对象的3D模型包括所述3D点和3D点对应的关键点；以及根据所述第二设备的3D模型在所述世界坐标系中的定位以及所述第一对应关系，确定所述第一设备在所述世界坐标系中的位姿包括：使用PnP算法根据所述第一对应关系和所述匹配关系计算所述第一设备在所述第二设备的3D模型坐标系中的位姿；和基于所述第一设备在所述第二设备的3D模型坐标系中的位姿以及所述第二设备的3D模型在所述世界坐标系中的位姿，得到所述第一设备在所述世界坐标系中的位姿。9.如权利要求8所述的方法，其中，在所述使用PnP算法根据所述第一对应关系和所述匹配关系计算所述第一设备在所述第二设备的3D模型坐标系中的位姿之前，所述方法还包括：依据预存的所述指定对象的3D模型与所述第二设备的3D模型之间的相对位置关系，将所述指定对象的3D模型的坐标系转换为所述第二设备的3D模型的坐标系。10.如权利要求7或8所述的方法，其中，在所述第二设备包括头戴式设备时，所述指定对象包括人脸。11.如权利要求1至3中任一项所述的方法，其中，采集所述第二设备的第一图像包括：确定先前帧图像中所述第二设备的位置；根据所述第一设备的预定移动速度和所述先前帧图像中所述第二设备的位置，确定所述第一设备的预估移动范围；和在所述第一图像中的所述预估移动范围内进行搜索，以在所述第一图像中确定所述第二设备的2D点的当前位置。12.如权利要求1至3中任一项所述的方法，其中，采集所述第二设备的第一图像包括：根据所述第二设备在世界坐标系中的位置和所述第一设备在所述世界坐标系中的位
置，确定所述第二设备和所述第一设备的相对位置；通过所述第二设备和所述第一设备的相对位置，计算所述第二设备...

【专利技术属性】
技术研发人员：吕宪伟，
申请(专利权)人：优奈柯恩北京科技有限公司，
类型：发明
国别省市：