沉浸式智能全景视听系统技术方案

一种沉浸式智能全景视听系统，用于超视距远程控制。井下设备端的VR摄像头经USB通用串行总线与VR视频服务器连接，四个广角网络摄像头分别通过网线与车载POE交换机连接，VR视频服务器与车载POE交换机连接；车载POE交换机通过矿山局域网向远程操作台端的视频客户端发送视频与音频信号，视频客户端经USB与VR头盔连接，视频客户端通过音频线分别与四个音响连接。本发明专利技术可还原井下设备驾驶室视角，帮助远程操作员全面监视设备作业现场，提供设备360度无盲区鸟瞰视角，自动快速检测环境中的人体并预警，并用立体声音响系统还原井下设备环境声音，准确感知设备和其工作环境状况，可提升远程操作员作业效率和人身及设备安全。远程操作员作业效率和人身及设备安全。远程操作员作业效率和人身及设备安全。

【技术实现步骤摘要】
沉浸式智能全景视听系统


[0001]本专利技术涉及井下设备全景视听与计算机视觉
，具体是一种应用于超视距远程控制的沉浸式智能全景视听系统。

技术介绍

[0002]由于井下设备作业环境狭窄复杂，超视距远程操作员需要看到井下设备的360度环境视频，并听到设备周围的立体声音，才能准确感知设备和其工作环境的状况，避免发生磕碰，保障高效生产和人身安全。
[0003]然而，现有的超视距远程控制系统的视听方案主要基于传统的安防监控系统，通过在井下设备上安装多个摄像头，采集设备周围的环境视频与音频后，在操作台端的显示器上呈现多路分割画面，但画面视角被摄像头固定，操作员要同时兼顾多路视频画面；同时，安防监控系统一次只能播放一路摄像头所采集的音频，这种单声道音频丧失了声音的方位感，会造成远程操作员不能及时准确地判断井下设备环境中声音的来源方向，无法做出及时正确的反应，从而影响生产安全，降低工作效率，并造成工作疲劳。

技术实现思路

[0004]为克服现有技术的不足，本专利技术的专利技术目的在于提供一种沉浸式智能全景视听系统，以还原并完整监视井下设备作业现场。
[0005]为实现上述专利技术目的，本专利技术井下设备端的VR摄像头经USB通用串行总线与VR视频服务器连接，前广角网络摄像头、左广角网络摄像头、右广角网络摄像头、后广角网络摄像头分别通过网线与车载POE交换机连接，VR视频服务器与车载POE交换机连接；车载POE交换机通过矿山局域网向远程操作台端的视频客户端发送视频与音频信号，视频客户端经USB通用串行总线与VR头盔连接，视频客户端通过音频线分别与前音响、左音响、右音响、后音响连接；VR视频服务器、前音响、左音响、右音响、后音响分别接12V直流电源，车载POE交换机接48V直流电源。
[0006]所述VR摄像头安装在井下设备的驾驶室内；VR视频服务器安装在井下设备上。
[0007]所述前广角网络摄像头、左广角网络摄像头、右广角网络摄像头、后广角网络摄像头分别固定在井下设备的前方、左侧、右侧、后方。
[0008]所述VR头盔佩戴在远程操作员眼睛前方；前音响、后音响、左音响、右音响分别装在操作台的前、后、左、右位置。
[0009]所述车载POE交换机安装在井下设备的电箱里，从井下设备的电箱里接48V直流电源给前广角网络摄像头、左广角网络摄像头、右广角网络摄像头、后广角网络摄像头供电，并将摄像头接入网络。
[0010]所述视频客户端安装在操作台的电箱里，从操作台的电箱里接12V直流电源。
[0011]本专利技术与现有技术相比，使用VR（VirtualReality，虚拟现实）技术，还原井下设备的驾驶室视角，帮助远程操作员全面监视设备作业现场，提供设备360度无盲区鸟瞰视角，
自动快速检测环境中的人体并预警，并用立体声音响系统还原井下设备的环境声音，准确感知设备和其工作环境状况，避免发生磕碰，可有效提升远程操作员的作业效率，保障人身和设备安全。
附图说明
[0012]图1为本专利技术的电气连接结构方框图。
[0013]图2为图1的VR摄像头与各广角网络摄像头的安装位置结构示意图。
[0014]图3为本专利技术的360度鸟瞰形成原理示意图。
[0015]图4为图1的VR头盔视角示意图。
[0016]图5为本专利技术的VR头盔与立体声音响系统布置示意图。
[0017]图6为图1的VR视频服务器的电气连接方框图。
[0018]图7为图1的视频客户端的电气连接方框图。
具体实施方式
[0019]如图1、图2、图3、图4、图5、图6、图7所示，本专利技术井下设备端的VR摄像头1经USB通用串行总线与VR视频服务器6连接，前广角网络摄像头2、左广角网络摄像头3、右广角网络摄像头4、后广角网络摄像头5分别通过网线与车载POE交换机7连接，VR视频服务器6与车载POE交换机7连接；车载POE交换机7通过矿山局域网向远程操作台端的视频客户端8发送视频与音频信号，视频客户端8经USB与VR头盔9连接，视频客户端8通过音频线分别与前音响10、左音响11、右音响12、后音响13连接。
[0020]本专利技术还原井下设备14的驾驶室视角。将一个VR摄像头1安装在井下设备14的驾驶室内，并通过USB通用串行总线连接至井下设备14上的VR视频服务器6。VR视频服务器6是一台嵌入式Linux计算机，它将VR摄像头1所采集到的视频信息，经过WebRTC（Web Real
‑
Time Communication网络实时通信）接口，发送至矿山局域网内的远程操作台端的视频客户端8，视频客户端8是一台嵌入式Linux计算机，把从WebRTC接收到的VR视频，通过USB在VR头盔9上播放。所述VR头盔9佩戴在远程操作员15眼睛的前方，VR头盔9采用HTC VIVE Cosmos规格的VR头盔，VR摄像头1采用Insta360onex2720度的摄像头。
[0021]所述前广角网络摄像头2、后广角网络摄像头5、左广角网络摄像头3、右广角网络摄像头4分别固定在井下设备14的前方、后方、左侧、右侧。本专利技术将四路180度广角网络摄像头分别安装于井下设备14的前、后、左、右，可实现360度设备鸟瞰。同时，这四个广角网络摄像头支持音频采集，用POE（Power Over Ethernet，有源以太网）以太网接口供电和传输信号，并通过ONVIF（Open Network Video Interface Forum，开放式网络视频接口论坛）协议向视频客户端8发送视频与音频信号，视频客户端6接收到四路180度广角视频后，由OpenCV软件进行视频处理，OpenCV是一个计算机视觉和机器学习软件库，可实现图像处理和计算机视觉方面的通用算法。视频客户端6先经过OpenCV fisheye模块矫正鱼眼，然后用OpenCV的视角变换PerspectiveTransform函数，把四路平视视角视频转换成俯视视角视频，最后用OpenCV的图像拼接Stitcher函数，把四路俯视视频缝合成一个完整连贯的360度鸟瞰视角显示在VR头盔9中。此360度鸟瞰视角可覆盖驾驶室里的VR摄像头1视角的盲区，以避免井下设备14发生磕碰，尤其在狭小的巷道内。本专利技术可将安装在井下设备14上的前、
后、左、右四个广角网络摄像头所采集的四路独立音频，通过视频客户端8的ONVIF（Open Network Video Interface Forum，开放式网络视频接口论坛）协议传送到远程操作台端的视频客户端8，再用分别布置在操作台16前、后、左、右的前音响10、后音响13、左音响11、右音响12四个音响播放出来，还原井下设备14环境立体声音，帮助远程操作员15通过立体声辨别井下声音的方位，提高作业安全性。所述广角网络摄像头的型号规格为海康威视400万180度广角DS
‑
2CD3T45P1
‑
I POE网络监控摄像头。
[0022]所述车载POE交换机7安装在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种沉浸式智能全景视听系统，其特征在于：井下设备端的VR摄像头（1）经USB通用串行总线与VR视频服务器（6）连接，前广角网络摄像头（2）、左广角网络摄像头（3）、右广角网络摄像头（4）、后广角网络摄像头（5）分别通过网线与车载POE交换机（7）连接，VR视频服务器（6）与车载POE交换机（7）连接；车载POE交换机（7）通过矿山局域网向远程操作台端的视频客户端（8）发送视频与音频信号，视频客户端（8）经USB通用串行总线与VR头盔（9）连接，视频客户端（8）通过音频线分别与前音响（10）、左音响（11）、右音响（12）、后音响（13）连接；VR视频服务器（6）、前音响（10）、左音响（11）、右音响（12）、后音响（13）分别接12V直流电源，车载POE交换机（7）接48V直流电源。2.根据权利要求1所述的沉浸式智能全景视听系统，其特征在于：所述VR摄像头（1）安装在井下设备（14）的驾驶室内；VR视频服务器（6）安装在井下设备（14）上。3.根据...

【专利技术属性】
技术研发人员：王为民，王尚顺，
申请(专利权)人：深圳市善能物联网科技有限责任公司，
类型：发明
国别省市：