一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统技术方案

本申请公开了一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：包括双目相机单元和设置于头戴显示设备内的IMU、数据处理服务端；所述双目相机单元包括左目相机和右目相机，采用前向平视的空间分布方式设置；IMU包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，三轴陀螺仪和三轴加速度计设置于双目相机单元上；所述双目相机单元的左目相机和右目相机分别位于IMU的两侧，双目相机单元的输出端、惯性测量单元的输出端与双目视觉定位装置电连接。本发明专利技术的优点在于它能克服现有技术的弊端，结构设计合理新颖。

A virtual reality head mounted display device positioning system based on binocular camera and IMU

【技术实现步骤摘要】
一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统
本专利技术涉及一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，属于计算机视觉、虚拟现实(VR)

技术介绍
近年来，随着虚拟现实(VirtualReality，VR)产业的火热发展，各类虚拟现实设备层出不穷。对于虚拟现实设备来说，实时追踪定位是最基本的问题之一，它可以使虚拟现实的体验更加真实。但虚拟现实头戴显示设备的定位技术发展相对缓慢。现阶段的VR设备大都依赖外部套件，采用Outside-In(由外向内)的技术方案进行追踪，但外部套件对于移动的VR头戴显示设备来说并不是一个合理的解决方案，因为这些外部套件会使移动的VR头戴显示设备失去便携性。一些厂商针对移动设备开发了双目摄像头，SLAM(simultaneouslocalizationandmapping，同步定位与建图)等追踪方案，但是存在成本较高，计算复杂的问题。当前，VR场景下的追踪定位方法主要有红外光学定位、激光定位、低功耗蓝牙定位、视觉定位四种，这几种定位方法主要有以下缺点：1)激光定位：基本原理就是利用定位光塔，对定位空间发射横竖两个方向扫射的激光，在被定位物体上放置多个激光感应接收器，通过计算两束光线到达定位物体的角度差，解算出待测定位节点的坐标。但激光定位价格高，不利用VR产品的大面积推广。2)红外光学定位：利用多个红外摄像头对室内空间进行覆盖，还需要在被追踪物体上放置红外反光点，通过捕捉这些反光点来确定物体在空间中的位置信息。这种定位系统定位精度较高，但造价昂贵，供货量很小，不适合消费级的虚拟现实设备。3)蓝牙定位:即利用低功耗蓝牙设备向周围发送自己特有的ID，接收到该ID的应用软件会根据其信息采取一些动作。缺点是定位精度很低且设备要求较高，不适用于VR应用。4)视觉定位：视觉定位方案利用摄像头采集信息，并提取图像中的特征来进行定位，该方法的精度没有激光定位、红外光学定位等方案高，但其算法简单、价格便宜、且容易扩展，使它成为了目前VR市场上相对主流的定位方案。但纯视觉定位算法存在以下问题：尺度不确定性、三角化算法退化、不能与重力对齐、对环境干扰敏感等问题。因此可以利用惯性传感器(InertialMeasurementUnit，IMU)等额外的传感器来提高算法的精度和鲁棒性。当前虚拟现实领域中，大多数的视觉定位方法不能重复利用建好的地图，而大量的虚拟现实应用位于室内，地图重复率非常高，如何利用已建好的地图值得思考。
技术实现思路
本专利技术提供一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，利用视觉信息和IMU信息来确定设备在空间中的三维坐标和朝向信息，该系统部署简单、功耗低、硬件成本小、不会产生对人体有害的电磁波谱、实用性好。本专利技术采取的技术方案是，一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，包括双目相机单元和设置于头戴显示设备内的IMU、数据处理服务端；所述双目相机单元包括左目相机和右目相机，采用前向平视的空间分布方式设置；IMU包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，三轴陀螺仪和三轴加速度计设置于双目相机单元上；所述双目相机单元的左目相机和右目相机分别位于IMU的两侧，双目相机单元的输出端、惯性测量单元的输出端与双目视觉定位装置电连接；所述数据处理服务端接收左目相机、右目相机和IMU传输的数据，数据处理服务端将接收到的左目相机、右目相机和IMU传输的数据进行解析后计算出VR设备的具体坐标位置值，数据处理服务端将解析后计算出的VR设备的具体坐标位置值反馈给相应的VR头戴显示设备；数据服务端包括双目图像获取模块、IMU信息读取与预处理模块、图像特征提取模块、立体匹配模块、位姿估计模块；双目图像获取模块获得左目相机、右目相机中的双目图像，并完成左目相机图像、右目相机图像之间的时间同步；IMU信息读取与预处理模块读取IMU传感器中的加速度数据和角速度数据，利用预积分完成IMU数据与双目相机之间的同步；图像特征提取模块对通过左目相机、右目相机获取图像进行处理，提取左目相机图像、右目相机图像中的特征点，并利用左目相机图像、右目相机图像恢复特征点的深度信息；立体匹配模块对左目相机图像、右目相机图像提取出的特征点进行匹配，得到特征点的对应匹配关系；根据三角化原理对从左目相机图像、右目相机图像中提取出的特征匹配点对计算对应特征点的深度，得到特征点的空间位置；位姿估计模块利用图像中提取的特征对应关系和IMU信息计算位姿估计及效果。优化的，上述基于双目相机和IMU的虚拟现实头戴显示设备定位系统，头戴显示设备启动时，数据处理服务端对双目相机单元和IMU的内部参数和外部参数进行标定，IMU需要标定的内部参数包括加速度计的随机游走和噪声密度、陀螺仪的随机游走和噪声密度；双目相机需要标定的内部参数包括各个摄像头的畸变系数、投影矩阵和时间戳信息；需要标定的外部参数包括IMU与左目相机之间、IMU与右目相机之间的转换矩阵。优化的，上述基于双目相机和IMU的虚拟现实头戴显示设备定位系统，双目图像获取模块获得左目相机、右目相机中的左目图像、右目图像，利用左目图像、右目图像携带中的时间戳信息完成右目图像序列、右目图像序列之间的对齐，得到时间一致的图像配对序列；IMU信息读取与预处理模块读取IMU传感器中的加速度计数据和陀螺仪的角速度数据，IMU信息读取与预处理模块对加速度计数据和角速度数据进行预积分以完成图像配对序列与IMU数据在时间上的同步；图像特征提取模块根据左目相机、右目相机获取的左目图像、右目图像的平移量和旋转量计算左目图像前后两帧间、右目图像前后两帧间的平均视差，并且根据图像特征提取模块内存储的预定阈值判断平均视差是否符合关键帧提取条件，提取图像配对序列中的符合关键帧提取条件的左目图像、右目图像作为关键帧，利用ORB算子提取关键帧中的特征点；所述立体匹配模块对左目图像、右目图像的关键帧中提取出的特征点进行匹配，得到特征点的对应匹配关系；立体匹配模块根据三角化原理对从左目图像、右目图像中提取出的特征匹配点对计算对应特征点的深度，得到特征点的空间位置；位姿估计模块根据匹配好的3D特征点计算前后两帧间的位姿变换矩阵，得到图像间初步的位姿变换矩阵；利用IMU预积分结果作为运动的初步约束，再由各特征点对计算得出位姿变换矩阵进行初步筛选，保存与IMU预积分结果相近的变换；最后再上一步的基础上，利用RANSAC算法排除离群点，得到与大部分特征点变化相吻合的位姿估计矩阵。优化的，上述基于双目相机和IMU的虚拟现实头戴显示设备定位系统，IMU信息读取与预处理模块利用滤波算法对IMU传感器中的加速度计数据和陀螺仪的角速度数据进行噪声过滤；图像特征提取模块提取图像配对序列中的符合关键帧提取条件的左目图像、右目图像作为关键帧，并利用左目图像、右目图像的时间戳记进行左目图像关键帧、右目图像关键帧的配对；利用ORB算子提取左目图像关键帧、右目图像关键帧中的特征点，并本文档来自技高网...

【技术保护点】
1.一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：包括双目相机单元和设置于头戴显示设备内的IMU、数据处理服务端；所述双目相机单元包括左目相机和右目相机，采用前向平视的空间分布方式设置；IMU包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，三轴陀螺仪和三轴加速度计设置于双目相机单元上；所述双目相机单元的左目相机和右目相机分别位于IMU的两侧，双目相机单元的输出端、惯性测量单元的输出端与双目视觉定位装置相连接；所述数据处理服务端接收左目相机、右目相机和IMU传输的数据，数据处理服务端将接收到的左目相机、右目相机和IMU传输的数据进行解析后计算出VR设备的具体坐标位置值，数据处理服务端将解析后计算出的VR设备的具体坐标位置值反馈给相应的VR头戴显示设备；/n数据服务端包括双目图像获取模块、IMU信息读取与预处理模块、图像特征提取模块、立体匹配模块、位姿估计模块；/n双目图像获取模块获得左目相机、右目相机中的双目图像，并完成左目相机图像、右目相机图像之间的时间同步；/nIMU信息读取与预处理模块读取IMU传感器中的加速度数据和角速度数据，利用预积分完成IMU数据与双目相机之间的同步；/n图像特征提取模块对通过左目相机、右目相机获取图像进行处理，提取左目相机图像、右目相机图像中的特征点，并利用左目相机图像、右目相机图像恢复特征点的深度信息；/n立体匹配模块对左目相机图像、右目相机图像提取出的特征点进行匹配，得到特征点的对应匹配关系；根据三角化原理，利用从左目相机图像、右目相机图像中提取出的特征匹配点对计算对应特征点的深度，得到特征点的空间位置；/n位姿估计模块利用图像中提取的特征点对应关系和IMU信息计算位姿估计及效果。/n...

【技术特征摘要】
1.一种基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：包括双目相机单元和设置于头戴显示设备内的IMU、数据处理服务端；所述双目相机单元包括左目相机和右目相机，采用前向平视的空间分布方式设置；IMU包括用于获得加速度的三轴陀螺仪和用于获得角速度的三轴加速度计，三轴陀螺仪和三轴加速度计设置于双目相机单元上；所述双目相机单元的左目相机和右目相机分别位于IMU的两侧，双目相机单元的输出端、惯性测量单元的输出端与双目视觉定位装置相连接；所述数据处理服务端接收左目相机、右目相机和IMU传输的数据，数据处理服务端将接收到的左目相机、右目相机和IMU传输的数据进行解析后计算出VR设备的具体坐标位置值，数据处理服务端将解析后计算出的VR设备的具体坐标位置值反馈给相应的VR头戴显示设备；
数据服务端包括双目图像获取模块、IMU信息读取与预处理模块、图像特征提取模块、立体匹配模块、位姿估计模块；
双目图像获取模块获得左目相机、右目相机中的双目图像，并完成左目相机图像、右目相机图像之间的时间同步；
IMU信息读取与预处理模块读取IMU传感器中的加速度数据和角速度数据，利用预积分完成IMU数据与双目相机之间的同步；
图像特征提取模块对通过左目相机、右目相机获取图像进行处理，提取左目相机图像、右目相机图像中的特征点，并利用左目相机图像、右目相机图像恢复特征点的深度信息；
立体匹配模块对左目相机图像、右目相机图像提取出的特征点进行匹配，得到特征点的对应匹配关系；根据三角化原理，利用从左目相机图像、右目相机图像中提取出的特征匹配点对计算对应特征点的深度，得到特征点的空间位置；
位姿估计模块利用图像中提取的特征点对应关系和IMU信息计算位姿估计及效果。


2.根据权利要求1所述的基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：头戴显示设备启动时，数据处理服务端对双目相机单元和IMU的内部参数和外部参数进行标定，IMU需要标定的内部参数包括加速度计的随机游走和噪声密度、陀螺仪的随机游走和噪声密度；双目相机需要标定的内部参数包括各个摄像头的畸变系数、投影矩阵和时间戳信息；需要标定的外部参数包括IMU与双目相机各摄像头之间的转换矩阵。


3.根据权利要求2所述的基于双目相机和IMU的虚拟现实头戴显示设备定位系统，其特征在于：双目图像获取模块获得左目相机、右目相机中的左目图像、右目图像，利用左目图像、右目图像携带中的时间戳信息完成右目图像序列、右目图像序列之间的对齐，得到时间一致的图像配对序列；
IMU信息读取与预处理模块读取IMU传感器中的加速度计数据和陀螺仪的角速度数据，IMU信息读取与预处理模块对加速度计数据和角速度数据进行预积分以完成图像配对序列与IMU数据在时间上的同步；
图像特征提取模块根据左目相机、右目相机获取的左目图像、右目图像的平移量和旋转量计算左目图像前后两帧间、右目图像前...

【专利技术属性】
技术研发人员：郭犇，乔洋洋，于洋，牛建伟，任涛，王平平，姚立群，
申请(专利权)人：北京航空航天大学青岛研究院，
类型：发明
国别省市：山东;37