【技术实现步骤摘要】
本申请涉及虚拟现实(virtual reality，vr)，提供一种虚拟现实场景中障碍物的预警方法及设备。
技术介绍
1、虚拟现实技术因能为用户提供身临其境般的沉浸式体验而深受用户的喜爱，特别是在游戏领域。用户佩戴vr设备时，与现实世界隔绝，因此，为保障用户在佩戴vr设备时能够安全地进行沉浸式体验，vr设备一般需要设置一个安全区域，一旦用户超出安全区域，vr设备会停止显示虚拟世界画面，转而开始显示现实世界的画面，防止意外发生。
2、实际应用中，用户在沉浸式体验时，现实世界环境复杂，在设置的安全区域时，通常无法识别安全区域内已存在的静态障碍物(如椅子、茶几等)，使得障碍物包含在安全区域内，这样，用户在安全区域内活动时存在与障碍物发生碰撞的危险。此外，用户在沉浸式体验时，由于视野完全被虚拟画面覆盖，无法感知闯入安全区域内的动态障碍物(如人、宠物等)，同样存在与障碍物发生碰撞的危险。
3、因此，在用户佩戴vr设备进行沉浸式体验时，对障碍物进行检测以及时预警是十分必要的。
技术实现思路
1、本申请提供一种虚拟现实场景中障碍物的检测方法及设备用于提高vr体验者的安全性。
2、一方面，本申请实施例提供一种虚拟现实场景中障碍物的预警方法，应用于包含双目相机的vr设备，包括：
3、对相机采集的rgb图像进行障碍物检测，在检测到至少一个障碍物时，输出各障碍物在连续图像帧中的二维位置信息；
4、针对每一障碍物，根据所述障碍物在历史图像帧中的目
5、对同一相机采集的不同图像帧中的所述障碍物进行匹配，并对所述障碍物的预测位置信息进行平滑，得到目标位置信息；
6、根据主相机采集的当前图像帧中，所述目标位置信息包含的障碍物关键点的目标2d坐标，确定所述障碍物关键点的初始3d坐标；
7、根据所述障碍物关键点与所述主相机间的深度信息，微调所述障碍物关键点的初始3d坐标，得到目标3d坐标；
8、根据所述障碍物关键点的目标3d坐标进行安全预警。
9、另一方面，本申请提供一种虚拟现实设备，包括处理器、存储器和双目相机，所述双目相机、所述存储器与所述处理器通过总线连接；
10、所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
11、对相机采集的rgb图像进行障碍物检测，在检测到至少一个障碍物时，输出各障碍物在连续图像帧中的二维位置信息；
12、针对每一障碍物，根据所述障碍物在历史图像帧中的目标位置信息，确定当前图像帧中所述障碍物的预测位置信息；
13、对同一相机采集的不同图像帧中的所述障碍物进行匹配，并对所述障碍物的预测位置信息进行平滑，得到目标位置信息；
14、根据主相机采集的当前图像帧中，所述目标位置信息包含的障碍物关键点的目标2d坐标，确定所述障碍物关键点的初始3d坐标；
15、根据所述障碍物关键点与所述主相机间的深度信息，微调所述障碍物关键点的初始3d坐标，得到目标3d坐标；
16、根据所述障碍物关键点的目标3d坐标进行安全预警。
17、另一方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行本申请实施例提供的虚拟现实场景中障碍物的检测方法。
18、本申请实施例提供的虚拟现实场景中障碍物的检测方法及设备中，通过vr设备相机采集的rgb图像进行障碍物检测，针对检测到的每一障碍物，根据障碍物在历史图像帧中的目标位置信息，预测当前图像帧中障碍物的位置信息，并对同一相机采集的不同图像帧中的障碍物进行匹配后，对预测位置信息进行平滑，通过对障碍物的位置信息进行预测和平滑，使得后续计算出的障碍物关键点的三维位置在时序上达到连续变化的效果，缓解了障碍物在相机坐标系下的位置抖动或突变问题，提高了障碍物检测准确性和稳定性；进一步地，根据平滑后主相机采集的当前图像帧中障碍物的目标位置信息包含的障碍物关键点的目标2d坐标，确定障碍物关键点的初始3d坐标，并根据障碍物关键点与主相机间的深度信息，微调障碍物关键点的初始3d坐标，得到更加准确的目标3d坐标，从而根据目标3d坐标进行安全预警，防止用户与障碍物发生碰撞，提高用户安全。
本文档来自技高网...【技术保护点】
1.一种障碍物预警方法，其特征在于，应用于包含双目相机的VR设备，包括：
2.如权利要求1所述的方法，其特征在于，所述二维位置信息至少包括所述障碍物关键点的2D坐标；
3.如权利要求1所述的方法，其特征在于，所述二维位置信息至少还包括所述障碍物的绝对尺度；
4.如权利要求1所述的方法，其特征在于，所述根据所述障碍物关键点与所述主相机间的深度信息，微调所述障碍物关键点的初始3D坐标，得到目标3D坐标，包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述主相机采集的当前图像帧中所述障碍物关键点的目标2D坐标，确定所述障碍物关键点与所述主相机间的第一深度信息，包括：
6.如权利要求4所述的方法，其特征在于，所述根据所述第一深度信息、所述第二深度信息以及障碍物关键点置信度，确定微调系数，包括：
7.如权利要求6所述的方法，其特征在于，所述目标深度信息的计算公式为：
8.如权利要求1所述的方法，其特征在于，对相机采集的RGB图像进行障碍物检测的网络为轻量级的3D目标检测网络，所述3D目标检测网络包括
9.一种虚拟现实设备，其特征在于，包括处理器、存储器和双目相机，所述双目相机、所述存储器与所述处理器通过总线连接；
10.如权利要求9所述的虚拟现实设备，其特征在于，所述处理器根据所述障碍物关键点与所述主相机间的深度信息，微调所述障碍物关键点的初始3D坐标，得到目标3D坐标，具体操作为：
...【技术特征摘要】
1.一种障碍物预警方法，其特征在于，应用于包含双目相机的vr设备，包括：
2.如权利要求1所述的方法，其特征在于，所述二维位置信息至少包括所述障碍物关键点的2d坐标；
3.如权利要求1所述的方法，其特征在于，所述二维位置信息至少还包括所述障碍物的绝对尺度；
4.如权利要求1所述的方法，其特征在于，所述根据所述障碍物关键点与所述主相机间的深度信息，微调所述障碍物关键点的初始3d坐标，得到目标3d坐标，包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述主相机采集的当前图像帧中所述障碍物关键点的目标2d坐标，确定所述障碍物关键点与所述主相机间的第一深度信息，包括：
6.如权利要求4所述的方法，...
【专利技术属性】
技术研发人员：卢锦亮，曾杰，
申请(专利权)人：海信电子科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。