用于塔吊辅助操作的现场全景视频采集方法技术

本申请实施例提供一种用于塔吊辅助操作的现场全景视频采集方法和系统。该方法包括：在塔吊中控室内安装至少两个摄像头，用于采集中控室内不同方向的视频并发送给全景视频模拟器，根据中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备；用户根据模拟的塔吊中控室的驾驶现场视频图像，操作和控制塔吊操作模拟器，以将塔吊操作指令发送给程控计算机；将塔吊操作指令通过无线命令发射模块发送给无线命令接收模块，并传输给塔吊中控室的控制器；塔吊中控室的控制器根据塔吊操作指令控制塔吊，以执行相应的塔吊施工任务。本申请现场全景视频采集方式使得远在施工现场之外的操作人员现场体验感强，得到类似实际现场操作的效果。作的效果。作的效果。

【技术实现步骤摘要】
用于塔吊辅助操作的现场全景视频采集方法


[0001]本申请涉及智能塔吊
，尤其涉及一种用于塔吊辅助操作的现场全景视频采集方法和系统。

技术介绍

[0002]目前的塔吊，基本都是人员在塔吊上的中控室进行操控。对于塔吊行业来说，目前的发展方向是无人塔吊、智能塔吊，那么在产业升级的过程中会遇到很多的技术问题。
[0003]目前的远程控制塔吊，控制人员只能根据肉眼远远观看施工效果，无法达到身临驾驶室、中控室的控制感觉，可能导致操作不准确甚至失误等问题。

技术实现思路

[0004]有鉴于此，本申请的目的在于提出一种用于塔吊辅助操作的现场全景视频采集方法和系统，本申请能够针对性的解决现有的遥控塔吊的问题。
[0005]基于上述目的，本申请提出了一种用于塔吊辅助操作的现场全景视频采集方法，包括：
[0006]在塔吊中控室内安装至少两个摄像头，用于采集所述中控室内不同方向的视频并发送给全景视频模拟器；
[0007]所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备；
[0008]所述用户根据所述模拟的塔吊中控室的驾驶现场视频图像，操作和控制塔吊操作模拟器，以将塔吊操作指令发送给程控计算机；
[0009]所述程控计算机将所述塔吊操作指令通过无线命令发射模块发送给无线命令接收模块，并传输给塔吊中控室的控制器；
[0010]塔吊中控室的控制器根据所述塔吊操作指令控制所述塔吊，以执行相应的塔吊施工任务。
[0011]优选地，所述塔吊进一步包括运输车，所述运输车能够承载所述塔吊的主体并根据所述程控计算机的指令进行相应移动，以执行相应的塔吊任务。
[0012]优选地，所述在塔吊中控室内安装至少两个摄像头，用于采集所述中控室内不同方向的视频并发送给全景视频模拟器，包括：
[0013]在塔吊中控室内安装至少六个摄像头，所述六个摄像头分别对准驾驶座位的前、后、左、右、上、下六个方位；
[0014]所述六个摄像头采集所述六个方位的视频并通过有线或者无线的方式发送给全景视频模拟器。
[0015]优选地，所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备，包括：
[0016]通过六个摄像头的视频在深度为无穷远处的六个图像，计算图像变换矩阵，获得
深度为无穷远处的参考平面图像变换矩阵；
[0017]将其它深度信息值标定多个不同的深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是指物体到成像平面的距离；
[0018]利用所述的参考平面图像变换矩阵，将六个视频在深度为无穷远处的六个图像进行几何变换，获得合成图像，作为参考全景图像；
[0019]计算六个视频的重叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图像变换矩阵，获得合成图像，作为重叠区域全景图像；
[0020]将所述重叠区域全景图像和所述参考全景图像进行混合渲染，形成当前的全景视频图像；
[0021]将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
[0022]优选地，所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备，包括：
[0023]采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述中控室内不同方向的视频图像进行图像增强处理；
[0024]根据预设查找表文件和图像增强后的所述中控室内不同方向的视频图像进行图像拼接；根据所述查找表文件，以所述中控室正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成图像的拼接；
[0025]根据拼接后的所述中控室内不同方向的视频图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
[0026]将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
[0027]优选地，所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备，包括：
[0028](1)对系统进行初始化，系统使用同一配置线同时对多个摄像头的每个进行配置；(2)通过FPGA分时段分别读取每块摄像头的视频数据；(3)进行图像畸变校正；(4)通过FPGA进行图像配准拼接；(5)进行图像融合；(6)将全景拼接后的视频发送给用户佩戴的虚拟现实设备。
[0029]优选地，所述塔吊操作模拟器，包括模拟塔吊操作的开关、按键、仪表、指示灯及操纵杆。
[0030]基于上述目的，本申请还提出了一种用于塔吊辅助操作的现场全景视频采集系统，包括：
[0031]电动受控塔吊，所述电动受控塔吊至少包括塔吊主体、主横梁、挂钩、夹具及中控室；
[0032]至少两个摄像头，实时采集所述电动受控塔吊中控室在不同方向上的视频，并输入全景视频模拟器；
[0033]全景视频模拟器，根据所述电动受控塔吊的中控室的视频进行全景拼接，模拟塔吊驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备；
[0034]虚拟现实设备，由用户佩戴，将所述模拟塔吊驾驶现场视频图像播放给所述用户；
[0035]塔吊操作模拟器，包括模拟塔吊操作的开关、按键、仪表、指示灯及操纵杆；所述用户根据所述模拟的塔吊驾驶现场视频图像，操作和控制塔吊操作模拟器，以将塔吊操作指
令发送给所述程控计算机；
[0036]程控计算机，将所述塔吊操作指令通过无线命令发射模块发送给无线命令接收模块，并传输给塔吊中控室的控制器；
[0037]所述中控室包括控制器，根据所述塔吊操作指令控制所述塔吊，以执行相应的塔吊施工任务。
[0038]总的来说，本申请的优势及给用户带来的体验在于：
[0039]本申请现场全景视频采集方式使得远在施工现场之外的操作人员现场体验感强，得到类似实际现场操作的效果，获得了身临其境的塔吊远程操作体验。
附图说明
[0040]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
[0041]图1示出本申请的系统架构原理示意图。
[0042]图2示出根据本申请实施例的用于塔吊辅助操作的现场全景视频采集方法的流程图。
[0043]图3示出根据本申请实施例的用于塔吊辅助操作的现场全景视频采集系统的构成图。
[0044]图4示出了本申请一实施例所提供的一种电子设备的结构示意图；
[0045]图5示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
[0046]下面结合附图和实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于塔吊辅助操作的现场全景视频采集方法，其特征在于，包括：在塔吊中控室内安装至少两个摄像头，用于采集所述中控室内不同方向的视频并发送给全景视频模拟器；所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备；所述用户根据所述模拟的塔吊中控室的驾驶现场视频图像，操作和控制塔吊操作模拟器，以将塔吊操作指令发送给程控计算机；所述程控计算机将所述塔吊操作指令通过无线命令发射模块发送给无线命令接收模块，并传输给塔吊中控室的控制器；塔吊中控室的控制器根据所述塔吊操作指令控制所述塔吊，以执行相应的塔吊施工任务。2.根据权利要求1所述的方法，其特征在于，所述塔吊进一步包括运输车，所述运输车能够承载所述塔吊的主体并根据所述程控计算机的指令进行相应移动，以执行相应的塔吊任务。3.根据权利要求2所述的方法，其特征在于，所述在塔吊中控室内安装至少两个摄像头，用于采集所述中控室内不同方向的视频并发送给全景视频模拟器，包括：在塔吊中控室内安装至少六个摄像头，所述六个摄像头分别对准驾驶座位的前、后、左、右、上、下六个方位；所述六个摄像头采集所述六个方位的视频并通过有线或者无线的方式发送给全景视频模拟器。4.根据权利要求3所述的方法，其特征在于，所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备，包括：通过六个摄像头的视频在深度为无穷远处的六个图像，计算图像变换矩阵，获得深度为无穷远处的参考平面图像变换矩阵；将其它深度信息值标定多个不同的深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是指物体到成像平面的距离；利用所述的参考平面图像变换矩阵，将六视频在深度为无穷远处的六个图像进行几何变换，获得合成图像，作为参考全景图像；计算六个视频的重叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图像变换矩阵，获得合成图像，作为重叠区域全景图像；将所述重叠区域全景图像和所述参考全景图像进行混合渲染，形成当前的全景视频图像；将全景拼接后的视频发送给用户佩戴的虚拟现实设备。5.根据权利要求3所述的方法，其特征在于，所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备，包括：采用同态滤波、直方图均衡化和最...

【专利技术属性】
技术研发人员：陈德木，蒋云，陆建江，陈曦，赵晓东，
申请(专利权)人：杭州大杰智能传动科技有限公司，
类型：发明
国别省市：