一种动态曝光的方法、系统、VR虚拟现实设备及存储介质技术方案

本发明专利技术涉及空间定位追踪技术领域，尤其涉及一种动态曝光的方法、系统、VR虚拟现实设备及存储介质。包括步骤：基于若干拍摄模块获取图像数据；根据图像数据计算图像数据中的光斑在每一帧图片上的2D坐标；根据2D坐标和3D模型信息的对应关系计算手柄的位姿信息；根据位姿信息更新手柄的状态，并根据更新后的手柄状态对手柄的位姿进行优化；根据优化后的位姿预测手柄3D模型上每一个光源在每一拍摄模块下一帧所拍摄的图片中是否能形成光斑成像；根据预测图像中的每一图片中是否有光斑控制每一拍摄模块的曝光的开启和/或关闭，降低了VR虚拟现实设备的功耗。现实设备的功耗。现实设备的功耗。

【技术实现步骤摘要】
一种动态曝光的方法、系统、VR虚拟现实设备及存储介质


[0001]本专利技术涉及空间定位追踪
，尤其涉及一种动态曝光的方法、系统、VR虚拟现实设备及存储介质。

技术介绍

[0002]VR虚拟现实设备是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种虚拟环境，是一种多源信息融合、交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中，目前的虚拟现实(Virtual Reality)技术是通过视觉、听觉、触觉等方面的数字信息来生成一体化的虚拟环境，从而具有沉浸式、交互性、多感知性的特点，而在VR虚拟现实设备中，包括至少一个手柄，手柄的存在是为了能够控制或者是操作在虚拟环境中的角色，而一般为了手柄的操作性，因此手柄一般是相对独立的，因此就会有关于手柄的定位跟踪问题。
[0003]在常见的定位跟踪场景中，通常会按照观察者所处的角度区分为外向内和内向外两类，典型的外向内系统有OptiTrack、HTC VIVE等，典型的内向外类系统有微软MR、Meta Quest等等。但是不论何种分类，其核心技术都是利用相机对手柄的发光器件进行曝光成像，然后依照图像中光斑的位置反推手柄的位姿。在一般情况下，为了保证观察的一致性以及最大化覆盖率，会将多个相机配置成为同步曝光的工作没模式，即所有相机同时运作，然后在实际使用场景中，会经常出现仅有个别相机能够观测到手柄的情况，也就是部分相机其实做的是无用功，因此此时未能观测到手柄的相机就属于无效的工作状态，因此在功耗层面均产生了浪费。
[0004]综上所述，本专利技术实际解决的技术问题是，如何降低VR虚拟现实设备的功耗。

技术实现思路

[0005]为了克服上述技术缺陷，本专利技术的目的在于提供一种动态曝光的方法、系统、VR虚拟现实设备及存储介质，降低了VR虚拟现实设备的功耗。
[0006]本专利技术公开了一种动态曝光的方法，包括步骤：
[0007]基于若干拍摄模块获取图像数据；
[0008]根据图像数据计算图像数据中的光斑在每一帧图片上的2D坐标；
[0009]根据2D坐标和3D模型信息的对应关系获取手柄的位姿信息；
[0010]根据位姿信息联合IMU的信息对手柄的状态信息进行融合跟踪；
[0011]根据所述更新后的状态信息和优化后的位姿信息预测在下一帧中，是否有光斑会出现在在各个拍摄模块所对应的预测图像中；
[0012]根据所述预测图像中每一图片中是否有光斑出现来控制每一所述拍摄模块的曝光的开启和/或关闭，当所述预测图像中的某一图片中没有光斑时关闭所述图片对应的拍摄模块的曝光，当所述预测图像中的某一图片中有光斑时开启所述图片对应拍摄模块的曝光。
[0013]所有拍摄模块应当事先经过联合标定，标定参数会保存在存储介质上供软件读取。
[0014]优选地，图像数据为若干拍摄模块在同一时间拍摄的一帧和/或多帧图片。
[0015]优选地，当根据2D坐标获取手柄的位姿信息时，根据每一模块的成像参数和每一拍摄模块各自所拍摄图片中光斑的2D坐标以及3D模型信息通过PNP类算法计算出手柄的位姿信息。
[0016]优选地，位姿信息包括3个位置自由度和3个姿态自由度共6自由度信息，状态信息包括速度、加速度偏差、角速度偏差运动状态信息，根据位姿信息和状态信息可以跟踪和预测手柄的空间运动。
[0017]优选地，手柄内设有惯性传感单元，惯性传感单元获取手柄的IMU信息。
[0018]优选地，将获取到的IMU信息和手柄的位姿信息以及状态信息利用Kalman滤波器类算法进行融合，提高手柄的位姿预测精度；
[0019]将预测出的手柄发光设备所在的空间坐标依照拍摄模块的成像参数投影至焦距平面可以获得各光斑在各拍摄模块所对应的图像中的2D坐标；若投影获得的2D坐标无法落在图像宽高所约束的矩形范围内，则可以认为该光斑不会出现在下一帧图像中；
[0020]若投影获得的2D坐标可以落在图像宽高所约束的矩形范围内，还需进一步检定该光斑的可视性；通过计算手柄发光设备的出射法向与各拍摄模块主光轴法向的方向余弦，可以获得两个法线方向的夹角，当夹角大于某个经验阈值时，则光斑会出现在下一帧图像中，反之则仍然不会出现；
[0021]有鉴于此，本专利技术的目的之二在于提供一种运用上述控制方法的控制系统，包括：
[0022]拍摄模块：用于获取图像数据并发送至处理模块；
[0023]视觉模块：用于根据视觉图像数据计算手柄的位姿信息；
[0024]IMU模块：用于获取IMU数据并进行数据预处理；
[0025]滤波器模块：根据视觉位姿信息和IMU信息对述手柄的状态进行融合定位跟踪；
[0026]预测模块：用于根据定位跟踪信息提前判断下一帧到来时手柄各光源在每一拍摄模块中是否能够成像；
[0027]控制模块：用于根据预测图像中光斑是否会出现控制每一拍摄模块的曝光的开启和/或关闭，当预测图像中不会出现光斑时关闭拍摄模块的曝光，预测图像中会出现光斑时开启拍摄模块的曝光。
[0028]有鉴于此，本专利技术的目的之三在于提供一种VR虚拟现实设备，该VR虚拟现实设备上至少设有一个上述控制系统。
[0029]有鉴于此，本专利技术的目的之四在于提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述控制方法的步骤。
[0030]采用了上述技术方案后，与现有技术相比，本专利技术的有益效果在于降低了VR虚拟现实设备的功耗，进而延长了续航时间，进而提升了用户的体验感，并且在减少了拍摄模块拍摄的图片的前提下进而减少了算力需求。额外的，预测模块可通过复用视觉惯导滤波器的中间结果来实现，几乎不会带来额外的算力需求。
附图说明
[0031]图1为本专利技术一种动态曝光的方法、系统、VR虚拟现实设备及存储介质的工作流程步骤示意图；
[0032]图2为本专利技术一种动态曝光的方法、系统、VR虚拟现实设备及存储介质的“内向外”的示意图；
[0033]图3为本专利技术一种动态曝光的方法、系统、VR虚拟现实设备及存储介质的“外向内”的示意图。
[0034]附图标记：
[0035]1为头戴装置、101为拍摄模块、2为手柄、3为图像数据、4为预测光斑在图像中的位置示意、401为光斑不会出现在该成像区域、5为定位基站。
具体实施方式
[0036]以下结合附图与具体实施例进一步阐述本专利技术的优点。
[0037]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0038]在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态曝光的控制方法，应用于VR虚拟现实设备，其特征在于，包括步骤：基于若干拍摄模块获取图像数据；根据所述图像数据计算所述图像数据中的光斑在每一帧图片上的2D坐标；根据所述2D坐标和3D模型信息的对应关系计算手柄的位姿信息；根据所述位姿信息更新所述手柄的状态信息，并根据更新后的所述手柄的状态信息优化手柄的位姿信息；根据所述更新后的状态信息和优化后的位姿信息预测在下一帧中每一个光斑在各个拍摄模块所对应的预测图像中是否会出现；根据所述预测图像中每一图片中是否有光斑出现控制每一所述拍摄模块的曝光的开启和/或关闭，当所述预测图像中的某一图片中没有光斑时关闭拍摄所述图片中没有光斑所述拍摄模块的曝光，当所述预测图像中的某一图片中有光斑时开启拍摄所述图片中有光斑的所述拍摄模块的曝光。2.根据权利要求1所述的控制方法，其特征在于，所述图像数据为若干所述拍摄模块在同一时间拍摄的一帧和/或多帧图片。3.根据权利要求1所述的控制方法，其特征在于，软件系统内预设有拍摄模块的成像参数和3D模型信息，当根据每一所述2D坐标获取手柄的位姿信息时，根据每一所述拍摄模块的成像参数和每一所述拍摄模块各自拍摄的图片的光斑的2D坐标以及3D模型信息通过PNP类算法计算出所述手柄的位姿信息。4.根据权利要求1所述的控制方法，其特征在于，所述位姿信息包括3个位置自由度和3个姿态自由度共6自由度信息，所述状态信息包括速度、加速度偏差、角速度偏差运动状态信息，根据所述位姿信息和状态信息跟踪和预测所述手柄的空间运动。5.根据权利要求1所述的控制方法，其特征在于，所述手柄内设有惯性传感单元，所述惯性传感单元获取手柄的IMU信息。6.根据权利要求5所述的控制...

【专利技术属性】
技术研发人员：郭飞，胡林，
申请(专利权)人：南昌黑鲨科技有限公司，
类型：发明
国别省市：