基于多摄像头的多目标位置捕获定位系统及方法技术方案

本发明专利技术公开了一种基于多摄像头的多目标位置捕获定位系统，包括服务端、至少两个摄像头、多个VR眼镜、客户端和光球；客户端、光球和VR眼镜的个数均相同；LED光球为摄像头提供体验者位置；服务端接收摄像头发送的图像数据并处理得到体验者位置数据；客户端读取VR眼镜发送的数据并发给服务端；接收和处理由服务端发来的体验者位置数据，将所有体验者的位置数据换算为虚拟环境的坐标，实时生成虚拟环境或模型，将虚拟画面实时渲染给VR眼镜。本发明专利技术克服了现有的VR眼镜只支持小范围头部运动和通过手柄操作运动的局限性，使得体验者完全脱离之前的限制自由移动，提供跟接近真实环境的虚拟现实体验；能支持多人共同在同一虚拟环境中交互。

【技术实现步骤摘要】
基于多摄像头的多目标位置捕获定位系统及方法
本专利技术属于虚拟现实多位置追踪领域，具体涉及一种定位系统及方法，特别是一种基于多摄像头的多目标位置捕获定位系统及方法。
技术介绍
虚拟现实(VirtualReality：VR)是近年来出现的高新技术：利用电脑模拟产生的一个三维空间的虚拟环境，通过提供给体验者视觉、听觉、触觉等感官上的模拟体验，让体验着身临其境的感受这个虚拟环境，甚至同虚拟环境进行交互。近年来，虚拟现实在某些专业领域，如军事、医疗甚至房地产开发等方面都有了较大应用。但随着美国公司Oculus开发的一款沉浸式虚拟现实眼镜OculusRift，拉近了虚拟现实和普通民用的距离。OculusRift内置高分辨显示屏可以给用户提供1280X800分辨率的高清画面，水平可视角度为90度，垂直可视角度为110度，9自由度的姿态与运动传感器以1000HZ的频率追踪头部运动轨迹，以全方位的视觉体验为使用者提供一种全新的虚拟感受。随着OculusRift的推出，国外和国内各大厂商以及一些初创公司都推出了各自的虚拟现实眼镜。它们存在以下不足：对头部位置捕捉的局限性使得体验者只能坐在椅子上通过键盘、鼠标或者手柄进行交互或者控制运动，无法让体验者感受到身临其境，真正融入到虚拟环境中，体验效果不佳。VR眼镜作为虚拟视觉的提供者只能作为虚拟现实整个框架下的一部分，如何将体验者投影到虚拟的环境中并通过体验者自身的运动来控制虚拟人物的运动将是虚拟现实下一步亟待解决的问题。而这一问题的解决最直接的方法便是利用室内定位、位置捕获技术；现有的室内无线定位系统主要采用移动基站、红外、超声波、蓝牙、Wi-Fi、RFID等短距离无线技术，这些设备不仅价格高昂，安装配置复杂，同时精度也无法满足虚拟现实体验的要求。目前，采用计算机视觉技术通过摄像头捕捉眼镜的位置移动被各大厂商广泛使用，但由于单摄像头的局限性，也只能对单目标小范围的头部简单运动进行捕捉，无法扩展到整个房间或更大区域。
技术实现思路
针对以上现有技术存在的不足，本专利技术的目的在于，提供一种基于多摄像头的多目标位置捕获定位系统及方法。本专利技术的系统和方法能够实现捕获多名体验者的全向立体运动，并准确实时反馈到虚拟环境。为了实现上述目的，本专利技术采用如下技术方案予以解决：一种基于多摄像头的多目标位置捕获定位系统，包括服务端、客户端和VR眼镜，其特征在于，所述客户端和VR眼镜均有多个，还包括至少两个摄像头、服务端、多个LED光球；其中，客户端、LED光球和VR眼镜的个数均相同；每个摄像头均与服务端连接；VR眼镜与客户端连接；服务端与客户端通过无线网络连接；多个摄像头均匀分布在体验室顶部；服务端安装在体验室内。以上各部件用于完成如下功能：所述摄像头用于采集体验者佩戴光球的图像数据，并传送给所述服务端；所述LED光球用于发光为摄像头提供体验者的位置；所述服务端用于对VR眼镜、LED光球、摄像头进行初始化；用于接收所有摄像头发送的图像数据并进行处理，将处理得到的体验者位置数据分发给每个客户端；所述客户端采用便携式计算机，用于读取VR眼镜发送的数据并发给服务端；并用于接收和处理由服务端发来的体验者位置数据，将所有体验者的位置数据换算为虚拟环境的坐标，并实时生成虚拟环境或模型，最终将虚拟画面实时渲染给VR眼镜；所述VR眼镜实时自动获取内置的陀螺仪数据、磁力计数据、重力计数值，并用来显示3D虚拟场景，显示佩戴该VR眼镜的体验者和其他体验者的位置。进一步的，所述服务端包括如下相连接的功能模块：去噪及二值化模块，用于实现：对所有摄像头传来的图像数据进行高斯平滑去除噪声；对去除噪声后的图像处理得到二值化图像；轮廓图像提取模块，用于实现：对二值化图像处理得到轮廓图像，并得到该二值化图像中的轮廓个数；轮廓坐标图像提取模块，用于实现：对每个轮廓图像提取坐标序列；光球提取模块，用于实现：对每个坐标序列利用最小二乘法拟合圆曲线，判断每个坐标序列是否符合圆曲线，是则将该坐标序列的半径作为LED光球半径，并记录光球中心点坐标；否则，删去坐标序列；光球坐标计算模块，用于实现：确定LED光球半径，获得每个LED光球相对于捕获摄像头坐标系的坐标：光球真实三维坐标计算模块，用于实现：通过得到的坐标及捕获摄像头的相对坐标，实时计算得到每个LED光球对应的体验者在房间内的真实三维坐标。进一步的，所述光球坐标计算模块用于实现：确定LED光球半径，获得每个LED光球相对于捕获摄像头坐标系的坐标，具体是指：根据摄像头投影原理、摄像头广角、广角投影角度这三个预设参数及光球半径，利用皮尔森型分布算法计算每个LED光球到摄像头距离：最终获得每个LED光球相对于捕获摄像头坐标系的坐标值(x,y,distance)：其中，radius＝R；公式中其余参数为函数内参。一种基于多摄像头的多目标位置捕获定位方法，包括以下步骤：步骤1：服务端初始化VR眼镜、LED光球、摄像头，与客户端建立tcp连接；同时为每个体验者分配不同颜色的LED光球；步骤2：每个摄像头实时拍摄，当摄像头视场范围内出现LED光球时，摄像头将图像数据发传送到服务端；每个客户端读取与自身连接的VR眼镜的姿态陀螺仪数据、磁力计数据、重力计数值，实时传送到服务端；步骤3：服务端根据接收到的图像数据，实时计算每个LED光球在摄像机捕获画面上的平面坐标和光球大小；再通过LED光球的平面坐标和光球大小计算得到每个LED光球的所处房间内的真实三维坐标。步骤4：服务端将每个LED光球在房间的真实三维坐标连同该VR眼镜的陀螺仪姿态数据、磁力计数据和重力计数据打包，实时分发给每个VR眼镜对应的客户端；步骤5：客户端将所有体验者的真实三维坐标换算为虚拟环境的坐标，并实时生成虚拟环境或模型，最终将虚拟画面实时渲染给体验者的VR眼镜。进一步的，所述步骤1中，服务端对摄像头初始化设置包括摄像头坐标；所述摄像头坐标初始化包括：设定其中一个摄像头二维基坐标为(0,0)，一个体验者佩戴LED光球环绕体验室内一周，其他摄像头通过与基准摄像头的相互关系以及获取的重叠区域LED光球坐标位置，生成自身的相对坐标参数并保存。其中，第i个摄像头的相对坐标(xi，yi)由以下公式计算：(xi,yi)＝(x标-x,y标-y)式中，(x标,y标)为根据基准摄像头捕获LED光球的标准室内平面坐标；(x,y)为第i个摄像头所捕获图像中的LED光球坐标；i＝2，…，p；p为体验室中摄像头的数量。进一步的，步骤3的具体步骤如下：步骤31：服务端对所有摄像头传来的图像数据进行高斯平滑去除噪声；然后对去除噪声后的图像进行处理得到二值化图像；步骤32：服务端利用对二值化图像处理得到轮廓图像，并得到该二值化图像中的轮廓个数；步骤33：对每个轮廓图像提取坐标序列；步骤34：对每个坐标序列利用最小二乘法拟合圆曲线，判断每个坐标序列是否符合圆曲线，是则将该坐标序列的半径作为LED光球半径，并记录光球中心点坐标；否则，删去坐标序列；步骤35：确定LED光球半径，获得每个LED光球相对于捕获摄像头坐标系的坐标：步骤36：通过步骤35得到的坐标值及捕获摄像头的相对坐标，计算得到每个LED光球对应的体验者在房间内的真实三维坐标；进一步的，所述步骤35，确定LED本文档来自技高网...

【技术保护点】
一种基于多摄像头的多目标位置捕获定位系统，其特征在于，包括服务端、客户端和VR眼镜，其特征在于，所述客户端和VR眼镜均有多个，还包括至少两个摄像头、服务端、多个LED光球；其中，客户端、LED光球和VR眼镜的个数均相同；每个摄像头均与服务端连接；VR眼镜与客户端连接；服务端与客户端通过无线网络连接；多个摄像头均匀分布在体验室顶部；服务端安装在体验室内；以上各部件用于完成如下功能：所述摄像头用于采集体验者佩戴光球的图像数据，并传送给所述服务端；所述LED光球用于发光为摄像头提供体验者的位置；所述服务端用于对VR眼镜、LED光球、摄像头进行初始化；用于接收所有摄像头发送的图像数据并进行处理，将处理得到的体验者位置数据分发给每个客户端；所述客户端采用便携式计算机，用于读取VR眼镜发送的数据并发给服务端；并用于接收和处理由服务端发来的体验者位置数据，将所有体验者的位置数据换算为虚拟环境的坐标，并实时生成虚拟环境或模型，最终将虚拟画面实时渲染给VR眼镜；所述VR眼镜实时自动获取内置的陀螺仪数据、磁力计数据、重力计数值，并用来显示3D虚拟场景，显示佩戴该VR眼镜的体验者和其他体验者的位置。

【技术特征摘要】
1.一种基于多摄像头的多目标位置捕获定位系统，其特征在于，包括服务端、客户端和VR眼镜，其特征在于，所述客户端和VR眼镜均有多个，还包括至少两个摄像头、服务端、多个LED光球；其中，客户端、LED光球和VR眼镜的个数均相同；每个摄像头均与服务端连接；VR眼镜与客户端连接；服务端与客户端通过无线网络连接；多个摄像头均匀分布在体验室顶部；服务端安装在体验室内；以上各部件用于完成如下功能：所述摄像头用于采集体验者佩戴光球的图像数据，并传送给所述服务端；所述LED光球用于发光为摄像头提供体验者的位置；所述服务端用于对VR眼镜、LED光球、摄像头进行初始化；用于接收所有摄像头发送的图像数据并进行处理，将处理得到的体验者位置数据分发给每个客户端；所述客户端采用便携式计算机，用于读取VR眼镜发送的数据并发给服务端；并用于接收和处理由服务端发来的体验者位置数据，将所有体验者的位置数据换算为虚拟环境的坐标，并实时生成虚拟环境或模型，最终将虚拟画面实时渲染给VR眼镜；所述VR眼镜实时自动获取内置的陀螺仪数据、磁力计数据、重力计数值，并用来显示3D虚拟场景，显示佩戴该VR眼镜的体验者和其他体验者的位置。2.如权利要求1所述的基于多摄像头的多目标位置捕获定位系统，其特征在于，所述服务端包括如下相连接的功能模块：去噪及二值化模块，用于实现：对所有摄像头传来的图像数据进行高斯平滑去除噪声；对去除噪声后的图像处理得到二值化图像；轮廓图像提取模块，用于实现：对二值化图像处理得到轮廓图像，并得到该二值化图像中的轮廓个数；轮廓坐标图像提取模块，用于实现：对每个轮廓图像提取坐标序列；光球提取模块，用于实现：对每个坐标序列利用最小二乘法拟合圆曲线，判断每个坐标序列是否符合圆曲线，是则将该坐标序列的半径作为LED光球半径，并记录光球中心点坐标；否则，删去坐标序列；光球坐标计算模块，用于实现：确定LED光球半径，获得每个LED光球相对于捕获摄像头坐标系的坐标：光球真实三维坐标计算模块，用于实现：通过得到的坐标及捕获摄像头的相对坐标，实时计算得到每个LED光球对应的体验者在房间内的真实三维坐标。3.如权利要求2所述的基于多摄像头的多目标位置捕获定位系统，其特征在于，所述光球坐标计算模块用于实现：确定LED光球半径，获得每个LED光球相对于捕获摄像头坐标系的坐标，具体是指：根据摄像头投影原理、摄像头广角、广角投影角度这三个预设参数及光球半径，利用皮尔森型分布算法计算每个LED光球到摄像头距离：最终获得每个LED光球相对于捕获摄像头坐标系的坐标值(x,y,distance)：其中，radius＝R；公式中其余参数为函数内参。4.一种基于多摄像头的多目标位置捕获定位方法，其特征在于，包括以下步骤：步骤1：服务端初始化VR眼镜、LED光球、摄像头，与客户端建立tcp连接；同时为每个体验者...

【专利技术属性】
技术研发人员：赵万青，李光辉，罗迒哉，范建平，彭进业，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西,61