一种XR设备及XR设备的障碍物信息感知方法技术

本发明专利技术提供一种XR设备及XR设备的障碍物信息感知方法，XR设备的障碍物信息感知方法包括：坐标系构建步骤、三维点云采集步骤、三维点云管理步骤、连通区域聚类步骤、有效簇筛选步骤以及渲染步骤。该方法使得XR设备能够向用户提供周围障碍物的警示信息。提供周围障碍物的警示信息。提供周围障碍物的警示信息。

【技术实现步骤摘要】
一种XR设备及XR设备的障碍物信息感知方法


[0001]本专利技术涉及计算机视觉领域，特别涉及一种XR设备及XR设备的障碍物信息感知方法。

技术介绍

[0002]XR设备是VR设备、AR设备及MR设备等智能头戴式设备的统称，是一种可以提供虚拟世界沉浸式体验的电子产品。在这一领域中，视觉SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)主要依赖的6DoF技术，指的是机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。
[0003]在满足XR设备自身6DoF定位的同时，为了避免用户与现实世界中的物体发生碰撞，尤其是当用户进行高强度运动或复杂任务时，需要XR设备向用户提供周围障碍物的警示信息以提醒用户，从而保证用户在虚拟世界中安全地体验游戏或者应用。

技术实现思路

[0004]本专利技术的目的在于，提供一种XR设备及XR设备的障碍物信息感知方法，以解决现有技术中XR设备不能够向用户提供周围障碍物的警示信息这一技术问题。
[0005]为解决上述问题，本专利技术提供一种XR设备的障碍物信息感知方法，包括如下步骤：坐标系构建步骤，建立世界坐标系，所述世界坐标系的Z轴方向与重力方向在同一直线上；三维点云采集步骤，通过XR设备的双目相机采集实时环境图像，根据实时环境图像获取XR设备的环境空间对应的三维点云，所述三维点云为表达所述实时环境图像的空间分布与表面光谱性的点集合；三维点云管理步骤，将当前帧之前的连续n帧的双目相机图像生成的三维点云筛选后插入至一数据结构中；连通区域聚类步骤，将所述数据结构中所有状态被占用的节点划分为多个簇，每个簇中的节点在空间上是连通的；有效簇筛选步骤，筛选出当前帧下所述数据结构中的有效簇；渲染步骤，将所述有效簇的所包含节点的坐标转化为线条图渲染到用户屏幕上。
[0006]进一步地，在所述坐标系构建步骤之前，所述XR设备的障碍物信息感知方法还包括初始化步骤，获取XR设备的双目相机的参数，根据该参数计算用于双目立体校正的映射矩阵。
[0007]进一步地，所述三维点云采集步骤，具体包括如下步骤：数据获取步骤，获取当前帧的双目相机图像，包括第一图像及第二图像；双目立体校正步骤，使用映射矩阵对所述双目相机图像进行双目立体校正处理，得到双目相机校正图像；双目立体匹配步骤，对所述双目相机校正图像进行双目立体匹配处理，得到第一图像与第二图像的视差图；三维点云计算步骤，根据所述视差图计算所述视差图对应的三维点云的坐标集。
[0008]进一步地，在所述双目立体校正步骤中,
[0009]dst(x,y)＝src(map_x(x,y),map_y(x,y))
[0010]其中，src为双目相机图像，dst(x,y)为被校正处理后的双目相机校正图像，map_x、map_y为映射矩阵。
[0011]进一步地，所述双目立体匹配步骤具体包括如下步骤：半稠密光流计算步骤，根据双目相机图像计算半稠密光流，得到所述双目相机图像中多个像素点的运动向量；运动向量筛选步骤，从多个像素点的运动向量筛选出水平方向的运动向量；以及视差图构建步骤，根据每一所述像素点的视差值构建双目相机图像的视差图。
[0012]进一步地，所述三维点云计算步骤中，任一像素点在三维点云空间中的坐标(X,Y,Z)为：
[0013][0014][0015][0016]其中双目相机的基线长度为b，焦距为f，主点为(cx,cy)，该像素点坐标为(u,v)，其视差值为disparity(u,v)。
[0017]进一步地，在所述三维点云管理步骤中，三维点云的筛选条件包括：任一点与所述XR设备之间的距离小于第一阈值；任一点与地面之间的距离大于0且小于第二阈值；点与所述XR设备之间的距离和点的深度不确定度成正相关，限制点的深度不确定度，能够得出第一阈值；
[0018]H
max
＝α1H1+α2H2+α3H3[0019]其中H
max
为第二阈值，α1、α2、α3为权重系数，H1为人类最大身高，H2为用户的身高数据，H3为所述XR设备与地面之间的距离。
[0020]进一步地，所述连通区域聚类步骤具体包括如下步骤：障碍物感知范围定义步骤，设置障碍物感知范围，所述障碍物感知范围是以所述原点为中心的圆柱体区域，所述圆柱体区域的半径与高度能够被用户实时调整；节点聚类步骤，递归当前帧时所述障碍物感知范围内每一个节点的相邻节点，并将每一节点与其相邻的节点纳入同一个簇；簇计算步骤，计算并存储所述每一个簇的属性，所述属性包括簇包含的节点数量、簇包围盒的大小、簇的坐标以及簇与所述原点之间的距离。
[0021]进一步地，所述有效簇筛选步骤包括：从所述数据结构中所有簇中去除包含节点数量不足且与其他有效簇的距离相远的簇。
[0022]进一步地，所述有效簇筛选步骤与所述渲染步骤之间还包括节点优化步骤，所述节点优化步骤具体包括如下步骤：缩小节点规模步骤，访问每一有效簇中的所有节点，当一个节点的正上方存在其他节点时，去除该节点；点对构建步骤，将每一节点与其在地面上的投影点组成一个点对。
[0023]进一步地，所述渲染步骤具体包括如下步骤：缩略图构建步骤，构建一个与所述双目相机图像长宽比相同的缩略图，所述缩略图的大小为所述双目相机图像大小的1/10至1/4；点对投影步骤，将所述点对投影至所述缩略图中，再填充所述点对之间的全部像素，形成
一个像素线段；膨胀步骤，对所述缩略图进行膨胀处理，填补所述像素线段中的空洞；屏幕渲染步骤，对所述缩略图执行边缘检测算法，得到包含障碍物信息的线条图，将所述线条图渲染至所述XR设备的显示器上。
[0024]本专利技术还提供了一种XR设备，包括存储器以及处理器。存储器用以存储可执行程序代码；处理器用以读取所述可执行程序代码，以运行与所述可执行程序代码对应的计算机程序，以执行上述方法中的至少一步骤。
[0025]进一步地，所述的XR设备还包括壳体以及双目相机。所述壳体包括电路板，用以安装所述存储器及所述处理器；所述双目相机安装至所述壳体，且电连接至所述处理器。
[0026]本专利技术的优点在于，提供一种XR设备及XR设备的障碍物信息感知方法，建立世界坐标系，通过XR设备的双目相机实时采集实时环境图像，根据实时环境图像获取XR设备所处的环境空间对应的多个点组成的三维点云。将点云经过筛选后插入至一数据结构，再通过连通区域聚类并筛选出有效簇，最后将包含有障碍物坐标信息的有效簇转化为代表障碍物边界的线条图渲染到XR设备的显示器上，从而使得XR设备能够向用户提供周围障碍物的警示信息。
附图说明
[0027]图1为本专利技术实施例1和实施例2中XR设备的示意图；
[0028]图2为本专利技术实施例1和实施例2中XR设备的障碍物信息感知方法的流程图；
[0029]图3为本专利技术实施例1和实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种XR设备的障碍物信息感知方法，其特征在于，包括：坐标系构建步骤，建立世界坐标系，所述世界坐标系的Z轴方向与重力方向在同一直线上；三维点云采集步骤，通过XR设备的双目相机采集实时环境图像，根据实时环境图像获取XR设备的环境空间对应的三维点云；三维点云管理步骤，将当前帧之前的连续n帧的双目相机图像生成的三维点云筛选后插入至一数据结构中；连通区域聚类步骤，将所述数据结构中所有状态被占用的节点划分为多个簇，每个簇中的节点在空间上是连通的；有效簇筛选步骤，筛选出当前帧下所述数据结构中的有效簇；以及渲染步骤，将所述有效簇的所包含节点的坐标转化为线条图渲染到所述XR设备的显示器上。2.如权利要求1所述的XR设备的障碍物信息感知方法，其特征在于，在所述坐标系构建步骤之前，还包括：初始化步骤，获取XR设备的双目相机的参数，根据该参数计算用于双目立体校正的映射矩阵。3.如权利要求1所述的XR设备的障碍物信息感知方法，其特征在于，所述三维点云采集步骤，具体包括如下步骤：数据获取步骤，获取当前帧的双目相机图像，包括第一图像及第二图像；双目立体校正步骤，使用映射矩阵对所述双目相机图像进行双目立体校正处理，得到双目相机校正图像；双目立体匹配步骤，对所述双目相机校正图像进行双目立体匹配处理，得到第一图像与第二图像的视差图；以及三维点云计算步骤，根据所述视差图计算所述视差图对应的三维点云的坐标集。4.如权利要求3所述的XR设备的障碍物信息感知方法，其特征在于，在所述双目立体校正步骤中,dst(x,y)＝src(map_x(x,y),map_y(x,y))其中，src为双目相机图像，dst(x,y)为被校正处理后的双目相机校正图像，map_x、map_y为映射矩阵。5.如权利要求3所述的XR设备的障碍物信息感知方法，其特征在于，所述双目立体匹配步骤具体包括如下步骤：半稠密光流计算步骤，根据双目相机图像计算半稠密光流，得到所述双目相机图像中多个像素点的运动向量；运动向量筛选步骤，从多个像素点的运动向量筛选出水平方向的运动向量；以及视差图构建步骤，根据每一所述像素点的视差值构建双目相机图像的视差图。6.如权利要求3所述的XR设备的障碍物信息感知方法，其特征在于，所述三维点云计算步骤中，任一像素点在三维点云空间中的坐标(X,Y,Z)为：
其中双目相机的基线长度为b，焦距为f，主点为(cx,cy)，该像素点坐标为(u,v)，其视差值为disparity(u,v)。7.如权利要求1所述的XR设备的障碍物信息感知方法，其特征在于，在所述三维点云管理步骤中，三维点云的筛选条件包括：任一点与所述XR设备之间的距离小于第一阈值；任一点与地面之间的距离...

【专利技术属性】
技术研发人员：周子越，王俊，张腾，张逸伦，李卓，
申请(专利权)人：上海鱼微阿科技有限公司，
类型：发明
国别省市：