一种工业增强现实组合定位系统技术方案

一种工业增强现实组合定位系统包括智能感知模块、基站定位模块和服务决策模块；所述基站定位模块以现有的HTCVIVE定位系统为基础，其包括基站、头盔和服务器，基站通过发射激光，头盔上面的传感器接收激光信号，数据传输到服务器进行解析，计算出头盔相对于基站的位姿，所述智能感知模块包括便携式微处理器和集成在头盔上的相机，相机将图像信息传输到微型处理器中，通过内置的定位及识别算法，对物体进行识别并计算出头场景物体的位姿，所述服务决策模块接受来自智能感知模块的位姿与基站检测的头盔信息，通过坐标转换关系得到最终的位姿，同时根据应用场景的不同，实时的根据位姿将三维模型融合在视频流中，实现增强现实的效果。

【技术实现步骤摘要】
一种工业增强现实组合定位系统
本专利技术涉及增强现实定位
，具体为一种工业增强现实组合定位系统。
技术介绍
增强现实，简称AR，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。现阶段HTCVIVE的基站是Lighthouse追踪系统的基础，由若干个定位基站、头戴式显示器和交互手柄等组成，它会使用交替扫描的横向和纵向激光来检测HTCVive头显，而头显里面的小型传感器同时会检测经过的激光。然后系统会智能地把所有的数据结合起来，从而识别出设备的转动，以及在3D空间中的位置。但是这种定位方式只能得到用户相对于基站的位姿，难以满足需要交互以及识别的AR场景。由此可见，提供一种工业增强现实组合定位系统是本领域亟需解决的问题。
技术实现思路
针对上述问题，本专利技术工业增强现实组合定位系统包括智能感知模块、基站定位模块和服务决策模块；所述基站定位模块以现有的HTCVIVE定位系统为基础，其包括基站、头盔和服务器，基站通过发射激光，头盔上面的传感器接收激光信号，数据传输到服务器进行解析，计算出头盔相对于基站的位姿，所述智能感知模块包括便携式微处理器和集成在头盔上的相机，相机将图像信息传输到微型处理器中，通过内置的定位及识别算法，对物体进行识别并计算出头场景物体的位姿，所述服务决策模块接受来自智能感知模块的位姿与基站检测的头盔信息，通过坐标转换关系得到最终的位姿，同时根据应用场景的不同，实时的根据位姿将三维模型融合在视频流中，实现增强现实的效果。进一步的，所述定位系统的工作流程如下：步骤1：构建感知空间；步骤2：获取相机的位姿；步骤3：获取头盔位姿；步骤4：计算HTCVIVE定位系统位姿步骤5：构建融合的AR场景；步骤6：渲染显示。进一步的，所述坐标转换的过程及方法如下：步骤一：相机采用VINS-Fusion算法的前端对采集到图像进行处理，首先利用Opencv对图像进行SIFT特征点提取，根据前后两帧图像之间的特征匹配关系计算出两帧图像之间的运动关系。步骤二：相机坐标系以左目为基准，首先利用坐标变换计算出头盔相对于场景的位姿，然后通过服务器发送至HTCVIVE定位系统。步骤三：在HTCVIVE定位系统中，通过头盔相机坐标系和基站坐标系以及世界坐标系的变换，计算出HTCVIVE虚拟场景的坐标系相对于真实世界的坐标变换。进一步的，所述步骤1包括打开服务器、头盔、相机和便携式微处理器并统一坐标系，连接HTCVIVE和便携式微型处理器，将相机固定在头盔正前方，同时测量相机坐标系与头盔坐标系，计算两者的R和T。进一步的，所述步骤2包括相机采集到场景的图像，然后对图像进行预处理、对图像进行光流特征提取，并对连续帧图像光流跟踪、对稳定可持续跟踪的光流点进行图像匹配，得到两帧图像之间的Rotation和Position。进一步的，所述步骤2通过两个基站定位头盔的位姿，基站发射激光，当头盔上的传感器检测到激光信号之后，可以计算出头盔相对于基站的位姿，即位置Position和Rotation，并发送至服务器。本专利技术工业增强现实组合定位系统具有以下有益效果：1.在HTCVIVE定位系统的基础上实现增强现实效果，并在HTCVIVE原有的效果上进行拓展，实现了更大的活动范围。2.本系统携带的智能感知模块，除具备场景感知功能外，可拓展性强，如可增加物体识别模块、行人检测模块等，可进行多人联动，在真实场景中实现多人娱乐、交互等功能。【附图说明】图1是本专利技术的系统架构图。图2是本专利技术中坐标转换关系图。图3是本专利技术中相机匹配模型图。图4是本专利技术中基站坐标系、大地坐标系和头盔坐标系的示意图。图5是本专利技术中相机坐标系与头盔坐标系的示意图。【具体实施方式】本专利技术所提到的方向用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」等，仅是附图中的方向，只是用来解释和说明本专利技术，而不是用来限定本专利技术的保护范围。参见图1，本专利技术工业增强现实组合定位系统包括智能感知模块、基站定位模块和服务决策模块；所述基站定位模块以现有的HTCVIVE定位系统为基础，其包括基站1、头盔2和服务器3，基站通过发射激光，头盔上面的传感器接收激光信号，数据传输到服务器进行解析，计算出头盔相对于基站的位姿。所述智能感知模块包括便携式微处理器4和集成在头盔2上的相机5，相机将图像信息传输到微型处理器中，通过内置的定位及识别算法，对物体进行识别并计算出场景物体的位姿。所述服务决策模块接受来自智能感知模块的位姿与基站检测的头盔信息，通过坐标转换关系得到最终的位姿，同时根据应用场景的不同，实时的根据位姿将三维模型融合在视频流中，实现增强现实的效果。参见图2，上述坐标转换的过程及方法如下：步骤一：相机采用VINS-Fusion算法的前端对采集到图像进行处理，首先利用Opencv对图像进行SIFT特征点提取，根据前后两帧图像之间的特征匹配关系计算出两帧图像之间的运动关系。步骤二：相机坐标系以左目为基准，首先利用坐标变换计算出头盔相对于场景的位姿，然后通过服务器发送至HTCVIVE定位系统。步骤三：在HTCVIVE定位系统中，通过头盔相机坐标系和基站坐标系以及世界坐标系的变换，计算出HTCVIVE虚拟场景的坐标系相对于真实世界的坐标变换。图2中相机相对于物体的R1和T1(其中R代表旋转矩阵，T代表位移矩阵)计算过程如下，如图3所示，相机5在连续运动过程中，以运动过程中的两帧图像I1和I2，设两帧之间的图像运动为R,T。两个相机运动的中心为O1和O2，现在考虑I1中有一个特征点p1，它在I2中对应着特征点p2，这两个特征点是通过特征匹配得到的。在第一帧的坐标系下，设P的空间位置为：P＝[X，Y，Z]T(1)根据相机的针孔模型，两个像素点p1和p2的像素位置为：s1p1＝KP,s2p2＝K(RP+t)(2)取：x1＝K-1p1,x2＝K-1p2(3)其中x1,x2是两个像素点的归一化平面上的坐标。代入上式，得：x2＝Rx1+t(4)同时两边左乘tΛ和重新代入p1和p2，有：上式称为对极约束，对极约束中同时包含了平移和旋转，其中间的两个矩阵：基础矩阵F和本质矩阵E，其中：E＝tΛR(7)根据本质矩阵E，恢复出相机的运动R,t。可以根据奇异值分解(SVD)的方法得到R,t。此过程中计算出来的R,t为图2中的R1,T1。图2中头盔相对于物体的R3和T3(其中R代表旋转矩阵，T代表位移矩阵)计算过程如下，如图4所示，定义三个相关坐标系：大地坐标系(世界坐标系)G,Lighthouse光学坐标系C以及头盔坐标系b。本文档来自技高网...

【技术保护点】
1.一种工业增强现实组合定位系统，其特征在于，工业增强现实组合定位系统包括智能感知模块、基站定位模块和服务决策模块；/n所述基站定位模块以现有的HTC VIVE定位系统为基础，其包括基站(1)、头盔(2)和服务器(3)，基站通过发射激光，头盔上面的传感器接收激光信号，数据传输到服务器进行解析，计算出头盔相对于基站的位姿；/n所述智能感知模块包括便携式微处理器(4)和集成在头盔(2)上的相机(5)，相机将图像信息传输到微型处理器中，通过内置的定位及识别算法，对物体进行识别并计算出头场景物体的位姿；/n所述服务决策模块接受来自智能感知模块的位姿与基站检测的头盔信息，通过坐标转换关系得到最终的位姿，同时根据应用场景的不同，实时的根据位姿将三维模型融合在视频流中，实现增强现实的效果。/n

【技术特征摘要】
1.一种工业增强现实组合定位系统，其特征在于，工业增强现实组合定位系统包括智能感知模块、基站定位模块和服务决策模块；
所述基站定位模块以现有的HTCVIVE定位系统为基础，其包括基站(1)、头盔(2)和服务器(3)，基站通过发射激光，头盔上面的传感器接收激光信号，数据传输到服务器进行解析，计算出头盔相对于基站的位姿；
所述智能感知模块包括便携式微处理器(4)和集成在头盔(2)上的相机(5)，相机将图像信息传输到微型处理器中，通过内置的定位及识别算法，对物体进行识别并计算出头场景物体的位姿；
所述服务决策模块接受来自智能感知模块的位姿与基站检测的头盔信息，通过坐标转换关系得到最终的位姿，同时根据应用场景的不同，实时的根据位姿将三维模型融合在视频流中，实现增强现实的效果。


2.根据权利要求1所述的一种工业增强现实组合定位系统，其特征在于，所述定位系统的工作流程如下：
步骤1：构建感知空间；
步骤2：获取相机的位姿；
步骤3：获取头盔位姿；
步骤4：计算HTCVIVE定位系统位姿
步骤5：构建融合的AR场景；
步骤6：渲染显示。


3.根据权利要求1所述的一种工业增强现实组合定位系统，其特征在于，所述坐标转换的过程及方法如下：
步骤一：相机采用VINS-Fusion算法的前端对采集到图像进行处理，首先利...

【专利技术属性】
技术研发人员：兰卫旗，
申请(专利权)人：江苏瑞科科技有限公司，
类型：发明
国别省市：江苏;32