一种水下全景视频拼接系统和方法技术方案

本发明专利技术公开了一种水下全景视频拼接系统和方法，涉及水下视频观测领域。该系统包括：摄像头组、全景拼接处理器、水下移动平台、工控机和多屏显示器；摄像头组用于采集水下图像，并发送给全景拼接处理器；全景拼接处理器用于根据水下图像和预设查找表文件进行实时拼接和编码，并将编码后的水下图像通过网络接口经由水下移动平台的传输线上传给工控机；工控机用于解码编码后的水下图像，还原成视频帧，并将视频帧进行切割，将切割后的视频帧发送到多屏显示器中；多屏显示器用于实时显示切割后的视频帧。实现了在水面上实时观看水下移动平台周围水平和垂直全向空间的实时拼接视频。

An underwater panoramic video splicing system and method

【技术实现步骤摘要】
一种水下全景视频拼接系统和方法
本专利技术涉及水下视频观测领域，尤其涉及一种水下全景视频拼接系统和方法。
技术介绍
现有的水下移动平台多视角视频观测采用独立显示的方式，各个视频之间存在重叠和角度偏差，使得视频的观看人员的视线需要在多个视频间跳转，不利于直观的获取观测信息。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供一种水下全景视频拼接系统和方法。本专利技术解决上述技术问题的技术方案如下：一种水下全景视频拼接系统，包括：摄像头组、全景拼接处理器、水下移动平台、工控机和多屏显示器；所述摄像头组用于采集水下图像，并发送给所述全景拼接处理器；所述全景拼接处理器用于根据所述水下图像和预设查找表文件进行实时拼接和编码，并将编码后的所述水下图像通过网络接口经由所述水下移动平台的传输线上传给所述工控机；所述工控机用于解码所述编码后的水下图像，还原成视频帧，并将所述视频帧进行切割，将切割后的所述视频帧发送到所述多屏显示器中；所述多屏显示器用于实时显示切割后的视频帧。本专利技术的有益效果是：通过多个摄像头采集水下环境的全景图像，全景拼接处理器根据预设查找表文件对水下图像进行实时拼接，通过预设查找表的水下图像进行拼接相对传统的帧匹配的方式提高了全景拼接的实时性，并对拼接后的水下图像进行编码，工控机再将编码后的图像进行解码，还原出全景视频，并进行切割，再发送给多屏显示器进行显示，本方案实现了在水面上实时观看水下移动平台周围水平和垂直全向空间的实时拼接视频，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利，同时全景图像多屏显示提升了观看质量。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步地，所述摄像头组包括多个摄像头，根据预设规则将所述多个摄像头分别安装在所述水下移动平台的各个外表面，用于采集水下全景图像。采用上述进一步方案的有益效果是：通过在水下移动平台各个外表面安装摄像头，实现了水下环境的720度实时全景视频采集，或者根据需要调整摄像头以调整水下图像的采集范围。进一步地，还包括：查找表建立模块用于在摄像头安装完成后，进行全景标定，获得所述多个摄像头的内参数、畸变参数和相邻摄像头之间的外参数，再根据所述内参数、所述畸变参数和所述外参数计算出所述多个摄像头的变换矩阵，再对所述变换矩阵进行转换，得到预设查找表文件。采用上述进一步方案的有益效果是：通过对摄像头进行全景标定，并对摄像头的全景标定参数计算各个摄像头的变换矩阵，然后将变换矩阵转换成查找表文件，以供全景拼接处理器实时调用，处理器通过调用查找表文件实现水下图像的拼接相对传统的帧匹配方式进行拼接提高了全景拼接的实时性。进一步地，所述全景拼接处理器具体包括：图像增强模块、图像拼接模块、图像融合模块和图像处理模块；所述图像增强模块用于采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述水下图像进行图像增强处理；所述图像拼接模块用于根据所述预设查找表文件和图像增强后的所述水下图像进行图像拼接；所述图像融合模块用于根据拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；所述图像处理模块用于根据接缝融合后的所述水下图像进行投影处理，对投影处理后的所述水下图像进行预设算法编码，并将编码后的所述水下图像上传给工控机。采用上述进一步方案的有益效果是：采用同态滤波、直方图均衡化和最小二乘法滤波算法对水下图像进行图像增强处理，实现了去雾和解决光照不均，并减小了图像引起的模糊现象，以减少后续图像匹配的影响；根据拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合，解决了相邻摄像头的图像拼接接缝处对应点不完全一致导致的合成图像重影的现象；对水下图像进行投影处理，以便于人眼观看。进一步地，所述图像拼接模块具体用于：根据所述查找表文件，以所述水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成所述水下图像的拼接。采用上述进一步方案的有益效果是：根据查找表文件，并以水下平台正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成水下图像拼接，实现了水下环境视角与水上工作人员在多屏显示的水下环境视角一致，不需要再做视觉角度适应，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利。本专利技术解决上述技术问题的另一种技术方案如下：一种水下全景视频拼接方法，包括以下步骤：S1，采集水下图像，并发送给所述全景拼接处理器；S2，根据预设查找表文件对所述水下图像进行实时拼接，并对拼接后的所述水下图像进行编码，并将编码后的所述水下图像通过网络接口经由所述水下移动平台的传输线上传给所述工控机；S3，解码所述编码后的水下图像，还原成视频帧，并将所述视频帧进行切割，将切割后的所述视频帧发送到所述多屏显示器中；S4，多屏显示器用于实时显示切割后的视频帧。本专利技术的有益效果是：通过多个摄像头采集水下环境的全景图像，全景拼接处理器根据预设查找表文件对水下图像进行实时拼接，通过预设查找表的水下图像进行拼接相对传统的帧匹配的方式提高了全景拼接的实时性，并对拼接后的水下图像进行编码，工控机再将编码后的图像进行解码，还原出全景视频，并进行切割，再发送给多屏显示器进行显示，本方案实现了在水面上实时观看水下移动平台周围水平和垂直全向空间的实时拼接视频，便于操作人员直观的获取水下环境信息，为水下监测和作业提供便利，同时全景图像多屏显示提升了观看质量。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步地，所述摄像头组包括多个摄像头，根据预设规则将所述多个摄像头分别安装在所述水下移动平台的各个外表面，用于采集水下全景图像。采用上述进一步方案的有益效果是：通过在水下移动平台各个外表面安装摄像头，实现了水下环境的720度实时全景视频采集，或者根据需要调整摄像头以调整水下图像的采集范围。进一步地，还包括：在摄像头安装完成后，进行全景标定，获得所述多个摄像头的内参数、畸变参数和相邻摄像头之间的外参数，再根据所述内参数、所述畸变参数和所述外参数计算出所述多个摄像头的变换矩阵，再对所述变换矩阵进行转换，得到预设查找表文件。采用上述进一步方案的有益效果是：通过对摄像头进行全景标定，并对摄像头的全景标定参数计算各个摄像头的变换矩阵，然后将变换矩阵转换成查找表文件，以供全景拼接处理器实时调用，处理器通过调用查找表文件实现水下图像的拼接相对传统的帧匹配方式进行拼接提高了全景拼接的实时性。进一步地，所述S2具体包括：S21，采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述水下图像进行图像增强处理；S22，根据所述预设查找表文件和图像增强后的所述水下图像进行图像拼接；S23，根据所述拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；S24，根本文档来自技高网...

【技术保护点】
1.一种水下全景视频拼接系统，其特征在于，包括：摄像头组、全景拼接处理器、水下移动平台、工控机和多屏显示器；/n所述摄像头组用于采集水下图像，并发送给所述全景拼接处理器；/n所述全景拼接处理器用于根据预设查找表文件对所述水下图像进行实时拼接，并对拼接后的所述水下图像进行编码，并将编码后的所述水下图像通过网络接口经由所述水下移动平台的传输线上传给所述工控机；/n所述工控机用于解码所述编码后的水下图像，还原成视频帧，并将所述视频帧进行切割，将切割后的所述视频帧发送到所述多屏显示器中；/n所述多屏显示器用于实时显示切割后的视频帧。/n

【技术特征摘要】
1.一种水下全景视频拼接系统，其特征在于，包括：摄像头组、全景拼接处理器、水下移动平台、工控机和多屏显示器；
所述摄像头组用于采集水下图像，并发送给所述全景拼接处理器；
所述全景拼接处理器用于根据预设查找表文件对所述水下图像进行实时拼接，并对拼接后的所述水下图像进行编码，并将编码后的所述水下图像通过网络接口经由所述水下移动平台的传输线上传给所述工控机；
所述工控机用于解码所述编码后的水下图像，还原成视频帧，并将所述视频帧进行切割，将切割后的所述视频帧发送到所述多屏显示器中；
所述多屏显示器用于实时显示切割后的视频帧。


2.根据权利要求1所述的一种水下全景视频拼接系统，其特征在于，所述摄像头组包括多个摄像头，根据预设规则将所述多个摄像头分别安装在所述水下移动平台的各个外表面，用于采集水下全景图像。


3.根据权利要求2所述的一种水下全景视频拼接系统，其特征在于，还包括：查找表建立模块用于在摄像头安装完成后，进行全景标定，获得所述多个摄像头的内参数、畸变参数和相邻摄像头之间的外参数，再根据所述内参数、所述畸变参数和所述外参数计算出所述多个摄像头的变换矩阵，再对所述变换矩阵进行转换，得到预设查找表文件。


4.根据权利要求3所述的一种水下全景视频拼接系统，其特征在于，所述全景拼接处理器具体包括：图像增强模块、图像拼接模块、图像融合模块和图像处理模块；
所述图像增强模块用于采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述水下图像进行图像增强处理；
所述图像拼接模块用于根据所述预设查找表文件和图像增强后的所述水下图像进行图像拼接；
所述图像融合模块用于根据拼接后的所述水下图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；
所述图像处理模块用于根据接缝融合后的所述水下图像进行投影处理，对投影处理后的所述水下图像进行预设算法编码，并将编码后的所述水下图像上传给工控机。


5.根据权利要求1-4任一项所述的一种水下全景视频拼接系统，其特征在于，所述图像拼接模块具体用于：根据所述查找表文件，以所述水下平台正...

【专利技术属性】
技术研发人员：熊明磊，刘召斌，王文斌，
申请(专利权)人：博雅工道北京机器人科技有限公司，
类型：发明
国别省市：北京;11