【技术实现步骤摘要】
本申请涉及水下图像热扰动去除，具体为一种基于无监督学习的水下图像热扰动去除系统。
技术介绍
1、由于水是优异的冷却剂与核辐射屏蔽材料，在现代核电站设计中，核燃料转运、反应堆芯和乏燃料池等重要的工作流程和场景几乎完全浸没在水下；在核电站运维检修工作中，存在着大量的水下应用和工作场景。其中，水下图像热扰动是核电站水下运维检修工作中一个重要的技术难题和挑战。
2、水下图像热扰动是相机水下成像中的一个重要挑战，它会对相机水下拍摄的视频画面产生显著的劣化效果，导致图像扭曲形变、模糊不清、对比度下降等问题，严重限制了相机水下图像在核电站观测和测量等应用场景的可用性和价值。
3、水下热扰动主要由两个因素引起：一是温度梯度的存在，当水体中存在温度差异时，不同温度层的密度也会有所不同；二是水体的湍流运动，水体流动会加剧温度梯度的变化，从而加剧扰动效应。这些因素共同作用，使得光线在穿过水体时会发生折射和散射，光线传播路径非线性弯曲，导致图像变得模糊、扭曲和失真。
4、水下图像热扰动去除算法，旨在通过图像算法改善由热扰动引起的图像模糊和失真问题。当前现有的水下热扰动处理算法大多是基于大气湍流或改进的湍流模型对水下成像过程进行建模，然后使用时域均值滤波、双边滤波、幸运帧选择等传统图像处理算法，对水下热扰动失真的图像进行复原。传统算法在处理这类问题时面临诸多困难和局限性，其存在以下明显的缺陷：
5、1、处理效果不佳：现有算法多数基于人工设计的简化湍流模型，在特定测试集上效果较好，面对现实世界复杂多变的真实水
6、2、应用场景受限：现有的热扰动去除算法大多要求相机在进行拍摄时，相机和拍摄目标保持静止，使得算法的应用场景严重受限。
7、3、实时处理能力有限：大部分现有技术侧重于离线处理，无法实现在水下拍摄过程中实时去除。
8、近年来，随着深度学习技术的发展，深度学习在图像处理领域取得长足的进展。在使用监督学习的方式进行水下热扰动图像复原模型训练时，其存在以下问题：
9、1、标注数据集缺失：使用监督学习的方式进行网络模型训练时，需要输入与“有热扰动图像”相配对的“无热扰动图像”，从而让网络模型能够学习如何从输入数据中预测出正确的输出。由于水下湍流环境的复杂多变和不可预知，在现实世界中，水下热扰动图像的标注数据集，包括有热扰动-无热扰动图像对几乎是无法获取的，导致了水下热扰动去除模型的标注训练数据集缺失。
10、2、水下热扰动模拟仿真极其困难。由于流体的湍流运动模式极其复杂，在物理学上至今仍未能找到湍流运动力学的准确数学模型描述，当前主要的研究手段是使用有限元分析，进行流体运动的近似模拟仿真。由于仿真数据的图像特征和真实世界的图像湍流特征存在明显的差异，导致使用仿真数据训练的网络模型在复杂多变的真实世界数据集上几乎无效，无法用于真实世界的图像恢复。
技术实现思路
1、本申请提供一种基于无监督学习的水下图像热扰动去除系统以解决上述
技术介绍
中的问题。
2、本申请解决其技术问题所采用的技术方案是：一种基于无监督学习的水下图像热扰动去除系统，包括：
3、采用无监督学习训练方法训练得到的水下图像热扰动去除网络模型videodeturb，所述水下图像热扰动去除网络模型videodeturb包括特征提取模块、特征融合模块和图像重建模块，
4、特征提取模块用于将获取的相机在水下拍摄的连续拍摄的n张视频图像，分别进行空域特征提取和时域特征提取得到空域特征和时域特征，并将提取的空域特征和时域特征使用concat算子进行连接并使用2d卷积处理后输出，得到图像特征图；
5、特征融合模块用于利用rnn循环神经网络中的gru门控循环单元实现视频帧间有效的特征融合得到图像融合特征图，并进行序列信息的传递；
6、图像重建模块用于对图像融合特征图进行降维和可视化图像重建得到去除了图像热扰动的图像。
7、本基于无监督学习的水下图像热扰动去除系统使用无监督学习的训练方法，使得网络模型训练免去了对标注数据集的依赖，解决现有水下图像热扰动去除算法泛化能力不足的问题、在面对真实世界复杂多变的水下热扰动环境时，泛化能力明显不足，处理效果不佳以及标注数据集缺失的问题。
8、作为优选，视频图像n的个数，由用户根据实际水下环境中热扰动的剧烈程度在6-16帧之间进行调节，当图像热扰动效果较为轻微，n可选择较小数字，当图像热扰动效果较为剧烈时，n选择较大的数字。
9、作为优选，空域特征提取时采用若干个2d残差模块负责每帧图像内图像空间特征的提取，2d残差模块卷积核大小为3*3，时域特征时采用若干个3d残差模块负责多帧图像间的时域特征提取，关注视频图像帧与帧之间的差异和变化，3d残差模块卷积核大小为3*5*5，为了提高计算效率，在进行3d卷积计算前，使用2d卷积对特征图进行了降采样处理，特征图尺寸为（n,32,128,128）。
10、作为优选，特征融合模块包括融合层1 、融合层2、融合层3和融合层4，融合层1的gru单元的输入为特征提取模块输出的图像特征图以及前一个gru单元的隐藏状态更新，融合层2、3、4的gru单元的输入为上一层gru单元的输出以及前一个gru单元的隐藏状态更新，每一层第一个gru循环单元的隐藏状态更新输入与特征图输入相同。
11、作为优选，图像重建模块包括3个2d残差模块1和3个2d卷积，图像重建模块的输入为图像融合模块的输出的图像融合特征图以及特征提取模块提取特征使用的相机在水下拍摄的连续拍摄的n张视频图像，输出为经过模型处理后去除了图像热扰动的图像。
12、作为优选，无监督学习训练方法包括：
13、步骤一：采集水下热扰动视频的图像帧，分别输入至videodeturb网络和posenet网络，当前帧的相邻帧原图像为i，videodeturb网络输出图像帧i’；
14、步骤二：posenet对图像帧i中当前帧和其相邻帧之间的相机相对位姿[r t]进行估计并返回；
15、步骤三：根据posenet返回的相机相对位姿，对当前帧的前后6帧相邻帧进行透视变换，结合图像帧i’进行图像重建，获得6张透视变换重建后的图像；
16、步骤四：使用6张重建后的图像作为当前帧的学习目标，使用losstotal损失函数进行无监督模型训练。
17、作为优选，获得重建后的图像包括：
18、a、获取拍摄图像相机的内参矩阵k，，其中，fx和fy分别是相机在像素坐标系x轴和y轴方向上的焦距，cx和cy是图像中心在像素坐标系中的坐标，将videodeturb与posenet进行联合学习和训练，posenet的输出获得相机拍摄相邻帧时相对于拍摄当前帧时相机的相对位姿矩阵[r t]；
19、b、获得相机拍摄相邻帧时的投影矩阵p,；
20、c、获得相邻帧的单应本文档来自技高网...
【技术保护点】
1.一种基于无监督学习的水下图像热扰动去除系统，其特征在于，包括：采用无监督学习训练方法训练得到的水下图像热扰动去除网络模型VideoDeTurb，所述水下图像热扰动去除网络模型VideoDeTurb包括特征提取模块、特征融合模块和图像重建模块，
2.根据权利要求1所述基于无监督学习的水下图像热扰动去除系统，其特征在于，视频图像N的个数，由用户根据实际水下环境中热扰动的剧烈程度在6-16帧之间进行调节，当图像热扰动效果较为轻微，N可选择较小数字，当图像热扰动效果较为剧烈时，N选择较大的数字。
3.根据权利要求1所述基于无监督学习的水下图像热扰动去除系统，其特征在于，空域特征提取时采用若干个2D残差模块负责每帧图像内图像空间特征的提取，时域特征时采用若干个3D残差模块负责多帧图像间的时域特征提取，关注视频图像帧与帧之间的差异和变化。
4.根据权利要求1所述基于无监督学习的水下图像热扰动去除系统，其特征在于，特征融合模块包括融合层1 、融合层2、融合层3和融合层4，融合层1的GRU单元的输入为特征提取模块输出的图像特征图以及前一个GRU单元的隐藏状
5.根据权利要求1所述基于无监督学习的水下图像热扰动去除系统，其特征在于，图像重建模块包括3个2D残差模块1和3个2D卷积，图像重建模块的输入为图像融合模块的输出的图像融合特征图以及特征提取模块提取特征使用的相机在水下拍摄的连续拍摄的N张视频图像，输出为经过模型处理后去除了图像热扰动的图像。
6.根据权利要求1所述基于无监督学习的水下图像热扰动去除系统，其特征在于，无监督学习训练方法包括：
7.根据权利要求6所述基于无监督学习的水下图像热扰动去除系统，其特征在于，获得重建后的图像包括：
8.根据权利要求7所述基于无监督学习的水下图像热扰动去除系统，其特征在于，步骤四中，Losstotal损失函数包括：
...【技术特征摘要】
1.一种基于无监督学习的水下图像热扰动去除系统，其特征在于，包括：采用无监督学习训练方法训练得到的水下图像热扰动去除网络模型videodeturb，所述水下图像热扰动去除网络模型videodeturb包括特征提取模块、特征融合模块和图像重建模块，
2.根据权利要求1所述基于无监督学习的水下图像热扰动去除系统，其特征在于，视频图像n的个数，由用户根据实际水下环境中热扰动的剧烈程度在6-16帧之间进行调节，当图像热扰动效果较为轻微，n可选择较小数字，当图像热扰动效果较为剧烈时，n选择较大的数字。
3.根据权利要求1所述基于无监督学习的水下图像热扰动去除系统，其特征在于，空域特征提取时采用若干个2d残差模块负责每帧图像内图像空间特征的提取，时域特征时采用若干个3d残差模块负责多帧图像间的时域特征提取，关注视频图像帧与帧之间的差异和变化。
4.根据权利要求1所述基于无监督学习的水下图像热扰动去除系统，其特征在于，特征融合模块包括融合层1 、融合层2、融合层3和融合层4...
【专利技术属性】
技术研发人员：许文航，程乔乔，吕焱飞，朱斌才，罗炎斌，顾辉刚，石林，李翔，张博武，蒋约鹏，
申请(专利权)人：杭州径上科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。