System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种虚拟现实设备的定位方法及虚拟现实设备技术_技高网

一种虚拟现实设备的定位方法及虚拟现实设备技术

技术编号:43881341 阅读:12 留言:0更新日期:2024-12-31 19:05
本申请涉及VR技术领域,提供一种虚拟现实设备的定位方法及虚拟现实设备,用于提高SLAM定位的鲁棒性和精度。该方法针对虚拟现实设备上的多目相机,引入主相机和从相机的概念获得至少一组主从相机对,并对每个主相机连续采集的原始环境图像进行了帧间特征点匹配,从而节省了特征匹配的时间和算力,且主相机和从相机可以切换,从而克服帧间特征点跟踪失败的问题,且考虑到主相机和从相机朝向差异引发的图像间的尺度差异和旋转差异,对每组主从相机对中主相机和从相机在同一时刻采集的原始环境图像进行了极线矫正,并对极线矫正后的目标环境图像进行帧内特征点匹配,增加了双目特征点匹配的点对,提高了SLAM定位的精度。

【技术实现步骤摘要】

本申请涉及虚拟现实(virtual reality,vr),提供一种虚拟现实设备的定位方法及虚拟现实设备


技术介绍

1、目前,用户佩戴vr设备进行沉浸式体验时,一般会采集真实环境中的信息,并通过同步定位与建图(simultaneous localization and mapping,slam)技术来计算vr设备自身的位姿。

2、slam技术依赖于跟踪到的特征点进行定位,为了确保slam运行中能够跟踪到足够多的特征点,需要尽可能地保持相机视野中存在丰富的纹理信息。因此,相关技术通常会为vr设备配备多个相机,且为了获得更大的视野,这些相机的朝向各不相同。然而,如果各相机间的朝向差异过大,可能会导致同一特征点在同一时刻不同相机采集的环境图像中具有不同的尺度和旋转,从而影响位姿的计算精度。另一方面,由于使用了多个相机,也会增加图像间特征点匹配的算力,降低slam定位的实时性。


技术实现思路

1、本申请实施例提供了一种虚拟现实设备的定位方法及虚拟现实设备,用于保证实时定位的同时提高定位精度。

2、一方面,本申请实施例提供了一种虚拟现实设备的定位方法,所述虚拟现实设备包含至少一组主从相机对,所述方法包括:

3、获取主从相机对实时采集的原始环境图像,并对所述主从相机对中主相机和从相机同步采集的两张原始环境图像进行极线矫正以减小环境图像间的尺度差异和旋转差异,获得目标环境图像;

4、提取所述主从相机对中主相机采集的原始环境图像中的特征点,若提取的特征点数量小于预设数量阈值,则将所述主从相机对中的从相机切换为主相机;

5、对所述主从相机对中主相机采集的相邻两张原始环境图像中提取的特征点进行帧间匹配,获得帧间匹配点;

6、根据所述帧间匹配点,确定所述主从相机对中主相机和从相机在同一时刻的目标环境图像中的特征点,获得帧内匹配点对;

7、根据所述帧内匹配点对,结合预先标定的所述主从相机对中主相机和从相机的内参数和外参数,确定当前时刻所述虚拟现实设备的位姿。

8、另一方面,本申请实施例提供一种虚拟现实设备,包括处理器、存储器、显示器和至少一组主从相机对;

9、所述主从相机对用于实时采集原始环境图像;

10、所述显示器用于显示虚拟画面;

11、所述存储器存储有计算机程序,所述处理器根据所述计算机程序,执行以下操作:

12、获取主从相机对实时采集的原始环境图像,并对所述主从相机对中主相机和从相机同步采集的两张原始环境图像进行极线矫正以减小环境图像间的尺度差异和旋转差异,获得目标环境图像;

13、提取所述主从相机对中主相机采集的原始环境图像中的特征点,若提取的特征点数量小于预设数量阈值,则将所述主从相机对中的从相机切换为主相机;

14、对所述主从相机对中主相机采集的相邻两张原始环境图像中提取的特征点进行帧间匹配,获得帧间匹配点;

15、根据所述帧间匹配点,确定所述主从相机对中主相机和从相机在同一时刻的目标环境图像中的特征点,获得帧内匹配点对;

16、根据所述帧内匹配点对,结合预先标定的所述主从相机对中主相机和从相机的内参数和外参数,确定当前时刻所述虚拟现实设备的位姿。

17、另一方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机设备执行本申请实施例提供的一种虚拟现实设备的定位方法的步骤。

18、本申请实施例提供的一种虚拟现实设备的定位方法及虚拟现实设备中,为了减小由于主相机和从相机的朝向不同导致的环境图像间的尺度差异和旋转差异,对主相机和从相机同步采集的两张原始环境图像进行极线矫正,从而消除双目特征点间的尺度差异和旋转差异,增加双目特征点匹配的对数,提高slam定位的精度,且主相机和从相机可以进行切换,从而避免相机被遮挡或者采集纹理不丰富的情况对特征点提取的影响,提高slam定位的稳定性。另一方面,考虑到slam定位对实时性的要求,只对主相机进行了帧间匹配,从而减少了特征匹配的算力,保证slam定位的实时性。

19、本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其它优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

本文档来自技高网...

【技术保护点】

1.一种虚拟现实设备的定位方法,其特征在于,虚拟现实设备包括至少一组主从相机对,包括:

2.如权利要求1所述的方法,其特征在于,所述对所述主从相机对中主相机和从相机同步采集的两张原始环境图像进行极线矫正以减小环境图像间的尺度差异和旋转差异,获得目标环境图像,包括:

3.如权利要求2所述的方法,其特征在于,所述主相机采集的原始环境图像的极线矫正公式表示为:

4.如权利要求1所述的方法,其特征在于,所述根据所述帧间匹配点,确定所述主从相机对中主相机和从相机在同一时刻的目标环境图像中的特征点,获得帧内匹配点对,包括:

5.如权利要求1所述的方法,其特征在于,将所述主从相机对中的从相机切换为主相机之后,所述方法还包括:

6.一种虚拟现实设备,其特征在于,包括处理器、存储器和至少一组主从相机对;

7.如权利要求6所述的虚拟现实设备,其特征在于,所述处理器对所述主从相机对中主相机和从相机同步采集的两张原始环境图像进行极线矫正以减小环境图像间的尺度差异和旋转差异,获得目标环境图像,具体操作为:

8.如权利要求7所述的虚拟现实设备,其特征在于,所述主相机采集的原始环境图像的极线矫正公式表示为:

9.如权利要求6所述的虚拟现实设备,其特征在于,所述处理器根据所述帧间匹配点,确定所述主从相机对中主相机和从相机在同一时刻的目标环境图像中的特征点,获得帧内匹配点对,具体操作为:

10.如权利要求6所述的虚拟现实设备,其特征在于,将所述主从相机对中的从相机切换为主相机之后,所述处理器还执行:

...

【技术特征摘要】

1.一种虚拟现实设备的定位方法,其特征在于,虚拟现实设备包括至少一组主从相机对,包括:

2.如权利要求1所述的方法,其特征在于,所述对所述主从相机对中主相机和从相机同步采集的两张原始环境图像进行极线矫正以减小环境图像间的尺度差异和旋转差异,获得目标环境图像,包括:

3.如权利要求2所述的方法,其特征在于,所述主相机采集的原始环境图像的极线矫正公式表示为:

4.如权利要求1所述的方法,其特征在于,所述根据所述帧间匹配点,确定所述主从相机对中主相机和从相机在同一时刻的目标环境图像中的特征点,获得帧内匹配点对,包括:

5.如权利要求1所述的方法,其特征在于,将所述主从相机对中的从相机切换为主相机之后,所述方法还包括:

6.一种虚拟现实设...

【专利技术属性】
技术研发人员:黄志明翟嘉星
申请(专利权)人:海信电子科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1