【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种水下连续视频帧增强并保持时间一致性的方法。
技术介绍
1、视觉信息作为一种易于获取的信息，在水下机器人探测与感知环境时扮演着重要的角色。由于水下环境不确定性因素较多，水体对光的吸收和散射对水下光学成像有着不利的影响，导致直接采集到的水下视频图像质量退化严重。低质量的视频图像不利于人眼的感受，更会对后续的计算机视觉任务，例如视频图像分割、目标检测、三维重建等视觉处理任务带来不利影响。
2、在实际应用中，低质量水下视频图像对水下考古、水下生物研究、水下采集等工程带来巨大挑战。如何使用现有技术获得高质量的水下视频图像十分重要。改善水下成像环境、优化采集设备等从视频图像获取途径进行加强的方式有着一定的效果，但往往成本过高。与之相比，使用计算机设备通过数字图像处理手段获得高质量图像更加的方便快捷。
3、水下图像增强是一项重要任务，具有广泛的应用前景。现有的方法大多采用单一图像方法，尽管它们在静态图像上的表现令人满意，但是在增强过后的水下视频会遭受严重的时间不稳定性的问题，导致增强后的水下视频质量较差。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够解决在增强过后的水下视频会遭受严重的时间不稳定性的问题，导致增强后的水下视频质量较差的水下连续视频帧增强并保持时间一致性的方法。
2、一种水下连续视频帧增强并保持时间一致性的方法，所述方法包括：
3、获取待增强视频的水下连续视频帧序列；
4
5、将所述待增强的水下连续视频帧输入到所述训练好的水下视频帧增强模型的特征融合单元进行处理，获得第二水下特征图；
6、将所述第一水下特征图和所述第二水下特征图进行特征串联，获得串联后的水下特征图；
7、将所述串联后的水下特征图输入到所述训练好的水下视频帧增强模型的特征增强网络单元进行处理，获得具有时间一致性的增强水下视频帧。
8、在其中一个实施例中，所述改进u-net网络单元包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一下采样、第二下采样、第三下采样、第一特征融合模块、第二特征融合模块、第三特征融合模块、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第一上采样、第二上采样、第三上采样、第四上采样；
9、所述将所述待增强的水下连续视频帧输入到训练好的水下视频帧增强模型的改进u-net网络单元进行处理，获得第一水下特征图，包括：
10、所述待增强的水下连续视频帧输入第一卷积层进行处理，获得第一特征图；
11、将所述第一特征图依次经过所述第一下采样、所述第一特征融合模块和所述第二卷积层进行处理，获得第二特征图；
12、将所述第二特征图依次经过所述第二下采样、所述第二特征融合模块和所述第三卷积层进行处理，获得第三特征图；
13、将所述第三特征图依次经过所述第三下采样、所述第三特征融合模块和所述第四卷积层进行处理，获得第四特征图；
14、将所述第四特征图依次经过所述第一反卷积层和所述第一上采样进行处理，获得第五特征图；
15、将所述第五特征图和所述第三特征图进行拼接后经过所述第二反卷积层和所述第二上采样进行处理，获得第六特征图；
16、将所述第六特征图和所述第二特征图进行拼接后经过所述第三反卷积层和所述第三上采样进行处理，获得第七特征图；
17、将所述第七特征图和所述第一特征图进行拼接后经过所述第四反卷积层和所述第四上采样进行处理，获得第一水下特征图。
18、在其中一个实施例中，所述特征融合单元包括：第五卷积层和第四特征融合模块；
19、所述将所述待增强的水下连续视频帧输入到所述训练好的水下视频帧增强模型的特征融合单元进行处理，获得第二水下特征图，包括：
20、所述待增强的水下连续视频帧依次经过所述第五卷积层和所述第四特征融合模块处理，获得第二水下特征图。
21、在其中一个实施例中，所述特征增强网络单元包括：n个依次连接的特征融合模块和第六卷积层；
22、所述将所述串联后的水下特征图输入到所述训练好的水下视频帧增强模型的特征增强网络单元进行处理，获得具有时间一致性的增强水下视频帧，包括：
23、所述串联后的水下特征图经过n个依次连接的特征融合模块进行处理后，再经过第六卷积层处理，获得第八特征图；
24、将所述串联后的水下特征图与所述第八特征图相加，获得具有时间一致性的增强水下视频帧。
25、在其中一个实施例中，所述特征融合模块包括：全局平均池化、全局最大值池化、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层和sigmoid激活函数；
26、输入到所述特征融合模块的特征fin经过所述全局最大值池化层后得到特征fmax，输入到所述特征融合模块的特征fin经过所述全局平均池化层后得到特征favg，所述特征fmax经过所述第七卷积层得到特征conv1(fmax)，所述特征conv1(fmax)和所述特征favg相加后经过所述第八卷积层得到特征conv1(favg)，所述特征conv1(fmax)和所述特征conv1(favg)进行特征相加后通过所述第九卷积层得到特征f1，所述conv1(favg)和所述特征f1相加经过所述第十卷积层得到特征f2，然后将所述特征f1和所述特征f2进行特征串联后经过所述第十一卷积层和所述sigmoid激活函数后输出与所述特征fin相乘，得到特征f3，将所述特征f3经过所述第十二卷积层后输出的特征与所述特征fin相加，得到特征fout，所述特征fout为所述特征融合模块的输出。
27、在其中一个实施例中，所述水下视频帧增强模型的训练方式为：
28、步骤1：获取水下视频帧样本集，所述水下视频帧样本集中的每个水下视频帧样本包括：清晰水下视频帧、所述清晰水下视频帧的退化后水下视频帧和所述清晰水下视频帧的光流信息；
29、步骤2：将所述清晰水下视频帧的退化后水下视频帧输入第一水下视频帧增强模型进行视频帧增强，获得第一增强结果；
30、步骤3：采用所述清晰水下视频帧的光流信息对所述第一增强结果进行扭曲，获得扭曲后的第一增强结果；
31、步骤4：采用所述清晰水下视频帧的光流信息对所述退化后水下视频帧进行扭曲后，输入第二水下视频帧增强模型进行视频帧增强，获得第二增强结果，其中，所述第一水下视频帧增强模型和所述第二水下视频帧增强模型的网络结构相同且训练权重共享；
32、步骤5：根据所述扭曲后的第一增强结果、所述第二增强结果和所述清晰水下视频帧，采用l1损失函数计算损失，确定损失值；
33、步骤6：根本文档来自技高网...
【技术保护点】
1.一种水下连续视频帧增强并保持时间一致性的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述改进U-Net网络单元包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一下采样、第二下采样、第三下采样、第一特征融合模块、第二特征融合模块、第三特征融合模块、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第一上采样、第二上采样、第三上采样、第四上采样；
3.根据权利要求1所述的方法，其特征在于，所述特征融合单元包括：第五卷积层和第四特征融合模块；
4.根据权利要求1所述的方法，其特征在于，所述特征增强网络单元包括：n个依次连接的特征融合模块和第六卷积层；
5.根据权利要求4所述的方法，其特征在于，所述特征融合模块包括：全局平均池化、全局最大值池化、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层和sigmoid激活函数；
6.根据权利要求1所述的方法，其特征在于，所述水下视频帧增强模型的训练方式为：
7.根据权利要求6所述的方法，其特征在于，所
8.根据权利要求6所述的方法，其特征在于，获取所述水下视频帧样本集中的每个水下视频帧样本的方式为：
...【技术特征摘要】
1.一种水下连续视频帧增强并保持时间一致性的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述改进u-net网络单元包括：第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一下采样、第二下采样、第三下采样、第一特征融合模块、第二特征融合模块、第三特征融合模块、第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第一上采样、第二上采样、第三上采样、第四上采样；
3.根据权利要求1所述的方法，其特征在于，所述特征融合单元包括：第五卷积层和第四特征融合模块；
4.根据权利要求1所述的方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。