基于混合现实技术的无盲区远程操控系统及工程车辆技术方案

本实用新型专利技术实施例提供一种基于混合现实技术的无盲区远程操控系统及车辆，远程操控系统包括：相机阵列，包括安装在被控设备四周的多部相机，用于无盲区采集被控设备四周的视频；现场控制器，与所述相机阵列的视频输出端连接，用于接收所述相机阵列采集的视频并传输到远端的混合现实眼镜，并接收远程控制器传输的操作信号，控制被控设备工作；混合现实眼镜，用于远程接收所述现场控制器传输的视频，并将所述视频拼接成全景视频进行显示；远程操作部件，用于产生操作信号；操作人员根据所述全景视频操作所述远程驾驶舱操作部件控制所述被控设备；远程控制器，用于采集所述远程操作部件的操作信号，并传输到所述现场控制器。

【技术实现步骤摘要】
基于混合现实技术的无盲区远程操控系统及工程车辆
本技术涉及远程控制
，具体地涉及一种基于混合现实技术的无盲区远程操控系统以及一种应用基于混合现实技术的无盲区远程操控系统的工程车辆。
技术介绍
MR(MixedReality，混合现实)指的是合并现实和虚拟世界而产生的新的可视化环境。混合现实技术是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。在很多施工环境恶劣的场合，如存在辐射、易燃易爆环境等，驾驶工程车辆在这些环境下进行工作，驾驶员的生命安全将面临很大的威胁，针对这些场景，出现了可以远程控制的工程车辆系统，以及基于虚拟现实技术进行相机画面查看的装置，但都较简单，没有充分发挥该技术的优势。申请号为201720266098.4的专利公开了一种基于虚拟现实技术的控制塔吊，包括塔吊和地面控制室，塔吊上设置有数据采集模块和图像采集模块，地面控制室内设置有电源、主控制器、设备控制单元、VR(VirtualReality，虚拟现实)头显和智能座椅，数据采集模块设置于塔吊顶部塔吊本体和钢丝绳的结合处，图像采集模块由可水平旋转摄像机和两个分摄像机构成，可水平旋转摄像机设置于塔吊上的塔吊臂和塔吊本体连接处，一个分摄像机设置于塔吊臂的小车底部且镜头朝下上，所述另一个分摄像机设置于塔吊顶部塔吊本体和钢丝绳的结合处且镜头倾斜向下。该方案中提出了采用分离的地面控制室进行控制，同时采用VR头显感知现场环境，分离的地面控制室能够有效保障操作人员的安全，但是VR头显为全封闭式头显，会完全屏蔽用户对现实场景的观察，用户在使用VR头显的同时并不能够操作地面控制室内的按钮、操作杆等，另一方面，该方案中图像采集模块采用的是设置于塔吊上的塔吊臂和塔吊本体连接处的可水平旋转摄像机、设置于塔吊臂的小车底部且镜头朝下的一个分摄像机以及设置于塔吊顶部塔吊本体和钢丝绳的结合处且镜头倾斜向下的另一个分摄像机。对于操作人员来说摄像机会被工程车辆自身结构遮挡，存在视觉盲区，容易发生事故，带来损失。
技术实现思路
本技术实施例的目的是提供一种基于混合现实技术的无盲区远程操控系统及工程车辆，该远程操控系统采用安装在被控设备四周的相机阵列采集被控设备四周的视频，全面覆盖被控设备四周，操作人员可得到被控设备四周无盲区的实时画面，且观看侧面和后面时被控设备本身无需旋转；在施工现场附近的安全区域部署远程操作部件，操作人员佩戴混合现实眼镜查看工被控设备周围实时视频画面，混合现实眼镜为透明眼镜体，不影响操作人员操作远程操作部件，对操作的干扰较小，实现对被控设备的远程控制。为了实现上述目的，本技术第一方面提供一种基于混合现实技术的无盲区远程操控系统，所述远程操控系统包括：相机阵列，包括安装在被控设备四周的多部相机，用于无盲区采集所述被控设备四周的视频；现场控制器，与所述相机阵列的视频输出端连接，用于接收所述相机阵列采集的视频并传输到远端的混合现实眼镜，并根据接收自远程控制器的操作信号控制被控设备工作；混合现实眼镜，用于远程接收所述现场控制器传输的视频，并将所述视频拼接成全景视频进行显示；远程操作部件，用于在操作人员的操作下产生所述操作信号，所述操作人员根据所述全景视频操作所述远程操作部件；所述远程控制器，用于采集来自所述远程操作部件的所述操作信号并传输到所述现场控制器。可选的，所述远程操控系统还包括显示大屏，所述显示大屏与所述现场控制器连接，用于远程接收所述现场控制器传输的所述视频并进行显示。可选的，所述远程操控系统还包括被控设备信息传感器，所述被控设备信息传感器安装在所述被控设备上，用于采集所述被控设备的实时工作状态信息并传输到所述现场控制器；所述现场控制器还用于接收所述实时工作状态信息并传输到远端的所述混合现实眼镜。进一步的，所述被控设备信息传感器至少包括卫星定位传感器、方向传感器和倾角传感器。传感器采集被控设备的实时工作状态信息，向远程操作人员提供被控设备实时状态的判断依据。可选的，所述远程操作部件包括与被控设备控制室相同的操纵杆、按钮、开关和仪表。远程操作部件采用与被控设备上一致的操作部件，操作人员操作操纵杆、按钮、开关等产生操作信号，经由远程控制器传输到被控设备上的现场控制器，并由现场控制器控制被控设备执行，从而实现远程操控。可选的，所述混合现实眼镜至少包括：处理器、视频拼接模块和显示模块；所述处理器用于接收所述现场控制器传输的所述视频并传输到所述视频拼接模块；以及从所述视频拼接模块接收所述全景视频并传输到所述显示模块；所述视频拼接模块与所述处理器的第一路数据输入输出端连接，用于接收所述处理器传输的视频，对接收到的所述视频进行拼接生成所述全景视频，以及将所述全景视频回传到所述处理器；所述显示模块的控制端与所述处理器的显示控制端连接，用于接收所述处理器传输的所述全景视频并进行显示。混合现实眼镜将视频拼接为全景视频进行显示，操作人员可以以全息显示的形式查看实时的视频画面。进一步的，所述视频拼接模块包括：畸变校正模块，用于根据相机标定参数，对接收到的所述视频进行畸变校正；全景拼接模块，用于对畸变校正后的所述视频进行全景拼接；球面投影变换模块，用于对全景拼接后的图像进行球面投影变换，得到最终显示的全景视频。接收到的视频经过畸变校正、拼接和球面投影变换后通过混合现实眼镜显示出来。进一步的，所述混合现实眼镜还包括三轴加速度传感器和视频编号计算模块；所述三轴加速度传感器的数据输出端与所述处理器的第一路数据接收端连接，用于采集所述混合现实眼镜的转动方向数据和角度数据并传输到所述处理器；所述处理器还用于接收所述混合现实眼镜的转动方向数据和角度数据并传输到所述视频编号计算模块；以及从所述视频编号计算模块接收视频的编号，并将接收到的编号所对应的视频传输到所述视频拼接模块；所述视频编号计算模块与所述处理器的第二路数据输入输出端连接，用于根据所述混合现实眼镜的转动方向数据和角度数据、混合现实眼镜的可视角度、相机安装方位和相机的可视角度计算所述混合现实眼镜在当前转动角度下能够观看到的相机所采集的视频的编号，以及将计算得到的视频的编号回传到所述处理器。三轴加速度传感器采集混合现实眼镜佩戴者头部的位移和旋转，然后通过视频编号计算模块计算佩戴者头部旋转到的角度对应的相机和视频的编号，然后处理器将对应编号的视频传输到视频拼接模块进行拼接，并在拼接完后通过混合现实眼镜进行显示。操作人员转头时进行实时视角切换，符合直观感受，接近真实的观察体验，能减少因视觉冲突造成的头晕等情况。本技术第二方面提供一种工程车辆，所述工程车辆配置有上述的基于混合现实技术的无盲区远程操控系统。该工程车辆能够进行远程操控，同时操作人员通过佩戴混合现实眼镜能够查看工程被控设备周围实时视频画面，在施工环境恶劣的场合能够有效保障本文档来自技高网...

【技术保护点】
1.一种基于混合现实技术的无盲区远程操控系统，其特征在于，所述远程操控系统包括：/n相机阵列，包括安装在被控设备四周的多部相机，用于无盲区采集所述被控设备四周的视频；/n现场控制器，与所述相机阵列的视频输出端连接，用于接收所述相机阵列采集的视频并传输到远端的混合现实眼镜，并根据接收自远程控制器的操作信号控制被控设备工作；/n混合现实眼镜，用于远程接收所述现场控制器传输的视频，并将所述视频拼接成全景视频进行显示；/n远程操作部件，用于在操作人员的操作下产生所述操作信号，所述操作人员根据所述全景视频操作所述远程操作部件；/n所述远程控制器，用于采集来自所述远程操作部件的所述操作信号并传输到所述现场控制器。/n

【技术特征摘要】
1.一种基于混合现实技术的无盲区远程操控系统，其特征在于，所述远程操控系统包括：
相机阵列，包括安装在被控设备四周的多部相机，用于无盲区采集所述被控设备四周的视频；
现场控制器，与所述相机阵列的视频输出端连接，用于接收所述相机阵列采集的视频并传输到远端的混合现实眼镜，并根据接收自远程控制器的操作信号控制被控设备工作；
混合现实眼镜，用于远程接收所述现场控制器传输的视频，并将所述视频拼接成全景视频进行显示；
远程操作部件，用于在操作人员的操作下产生所述操作信号，所述操作人员根据所述全景视频操作所述远程操作部件；
所述远程控制器，用于采集来自所述远程操作部件的所述操作信号并传输到所述现场控制器。


2.根据权利要求1所述的基于混合现实技术的无盲区远程操控系统，其特征在于，所述远程操控系统还包括显示大屏，所述显示大屏与所述现场控制器连接，用于远程接收所述现场控制器传输的所述视频并进行显示。


3.根据权利要求1所述的基于混合现实技术的无盲区远程操控系统，其特征在于，所述远程操控系统还包括被控设备信息传感器，所述被控设备信息传感器安装在所述被控设备上，用于采集所述被控设备的实时工作状态信息并传输到所述现场控制器；
所述现场控制器还用于接收所述实时工作状态信息并传输到远端的所述混合现实眼镜。


4.根据权利要求3所述的基于混合现实技术的无盲区远程操控系统，其特征在于，所述被控设备信息传感器至少包括卫星定位传感器、方向传感器和倾角传感器。


5.根据权利要求1所述的基于混合现实技术的无盲区远程操控系统，其特征在于，所述远程操作部件包括与被控设备控制室相同的操纵杆、按钮、开关和仪表。


6.根据权利要求2所述的基于混合现实技术的无盲区远程操控系统，其特征在于，所述混合现实眼镜至少包括：处理器、视频拼接模块和显示模块；

【专利技术属性】
技术研发人员：陈任，于晓颖，曾杨，付玲，余闯，
申请(专利权)人：中联重科股份有限公司，
类型：新型
国别省市：湖南;43