一种基于深度技术的水下风格化图像生成方法技术

本发明专利技术涉及一种基于深度技术的水下风格化图像生成方法，包括以下步骤：S1、利用图像处理技术对原始水下数据集进行数据扩充，扩大其数量规模，得到扩充后数据集；S2、预估扩充后数据集中水下图像所对应的深度图；S3、采用高斯低通滤波器对扩充后数据集中水下图像进行平滑处理，生成相应的光场图并获得水下场景中各像素点处的光强度信息；S4、在U

【技术实现步骤摘要】
一种基于深度技术的水下风格化图像生成方法


[0001]本专利技术属于图像处理
，具体涉及一种基于深度技术的水下风格化图像生成方法。

技术介绍

[0002]受限于水下复杂的成像环境以及拍摄手段的限制，所能获取的水下图像资源及其匮乏，且人工成本过高，故水下图像生成技术的研究成为目前的研究热点。水下图像的生成方法主要分为两类：基于传统物理成像模型的生成方法和基于深度模型的生成方法。基于传统物理模型的生成方法主要是依靠特定水域的先验知识(如：特定水深处光的衰减系数等)以及深度信息来模拟水下图像的质量退化过程。深度学习技术在2012年左右被提出，鉴于其强大的非线性建模能力和数据特征学习能力，深度模型在水下图像生成领域有着广阔的应用前景。
[0003]专利CN202210418314.8公开了一种基于改进Cycle GAN的图像生成方法，包括从X域图像数据库中获取输入图像；将所述输入图像输入至编码器并输出特征图像；将所述特征图像输入至特征权重自适应模块，对所述特征图像提取背景信息和目标特征信息，并针对提取的背景信息和目标特征信息进行不同权重的特征融合；将处理后的特征图像依次输入至转换器和解码器中还原生成输出图像。
[0004]专利CN202210536540.6公开了一种场景图像生成方法，应用于客户端，方法包括：获取第一相机参数、第一场景图像及多个第一像素点的第一空间信息，第一场景图像为虚拟相机根据第一相机参数拍摄获得；向服务器输出交互指令以使服务器生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像；获取服务器根据第二场景图像生成的场景图像编码并提取出目标单元编码；解析目标单元编码获取目标单元的第二空间信息，并根据第一空间信息、第二空间信息、第一相机参数及交互指令确定参考像素点；根据第一场景图像与参考像素点确定第二像素点的像素信息；根据多个第二像素点的像素信息生成目标场景图像。
[0005]以上两种技术方案的目的都是通过对原始图像进行编码处理并最终生成目标图像，前者为基于深度模型的图像生成方法，后者为基于传统模型的图像生成方法。但现有方法存在一定的局限性，具体包括：基于传统物理成像模型的方法高度依赖水下场景中的先验知识，无可避免的存在估计误差，故生成效果与真实样本有较大差异。而基于深度技术的方法受到水下数据短缺的限制，无法满足数据驱动的深度模型训练的需求。

技术实现思路

[0006]本专利技术的目的在于提供一种基于深度技术的水下风格化图像生成方法，该方法有利于生成更具真实性和多样性的水下风格化图像。
[0007]为实现上述目的，本专利技术采用的技术方案是：一种基于深度技术的水下风格化图像生成方法，包括以下步骤：
[0008]S1、利用图像处理技术对原始水下数据集进行数据扩充，扩大其数量规模，得到扩充后数据集；
[0009]S2、预估扩充后数据集中水下图像所对应的深度图；
[0010]S3、采用高斯低通滤波器对扩充后数据集中水下图像进行平滑处理，生成相应的光场图并获得水下场景中各像素点处的光强度信息；
[0011]S4、在U
‑
net模型的基础上增加基于注意力机制的特征融合操作和批量归一化操作，构建改进后的U
‑
net模型；将原始水下图像和深度图输入改进后的U
‑
net模型，结合模型输出和光场图，得到水下风格化图像。
[0012]进一步地，所述步骤S1中，利用图像处理技术对原始水下数据集进行数据扩充，具体实现方法为：
[0013]在符合实际和人类认知，以及不改变样本场景分布特性的前提下，通过对UIEB数据集中原始图像分别进行包括顺时针或逆时针旋转设定角度、水平翻转以及注入噪声的物理变换的方式得到扩充图像，进而得到扩充后数据集，为后续的生成模型训练以及深度估计工作做准备。
[0014]进一步地，所述步骤S2中，预估扩充后数据集中水下图像所对应的深度图，具体实现方法为：
[0015]利用预训练的hourglass网络来预估深度图，并根据预估的深度信息和地面真实的深度信息之间的差异具有放缩不变性，通过放缩不变的损失函数L
si
来对hourglass网络进行联合优化，L
si
的计算式如下式所示：
[0016]L
si
＝L
data
+αL
gra
+βL
ord (1)
[0017]其中，L
data
，L
gra
和L
ord
分别为深度数据损失项、多尺度的梯度匹配损失项和鲁棒的有序深度损失项，α和β为模型可自动学习的参数；设预测的深度图为L，地面真实深度图为L
*
，则定义像素点i处的预估差值为故深度数据损失项L
data
如下式所示：
[0018][0019]其中，n表示深度图中像素点的个数；
[0020]为了让预测的深度图梯度变化更加平滑，减少尖锐梯度值的出现频率，对于不同尺度下的深度图计算梯度匹配损失项L
gra
如下式所示：
[0021][0022]其中，k为尺度变换因子，x、y分别表示在像素点i处的横轴方向和纵轴方向；
[0023]有序深度损失项的表达式如下式所示：
[0024][0025]其中，P
i,j
为自动标记的有序深度关系变量，c为常量，(i,j)为图像中的一组像素点对，τ＝0.25。
[0026]进一步地，所述步骤S3中，采用高斯低通滤波器对扩充后数据集中水下图像进行平滑处理，生成相应的光场图并获得水下场景中各像素点处的光强度信息，具体实现方法
为：
[0027]利用一个卷积模板来扫描图像中的每一个像素，并使用模板内所有像素点加权平均的结果代替模板中心像素点处的值，从而消除高频信号的影响，让图像效果更加平滑；高斯低通滤波的二维形式如下式所示：
[0028][0029]其中，H(i,j)表示卷积模板内索引为(i,j)处的像素点对于中心像素点的影响系数；D(i,j)为索引为(i,j)处的像素点到频率中心，即模板中心像素点的距离，σ＝D0，即到频率中心的截止频率；D0值越大，低通滤波器的带宽就越宽，越多的低频分量被保留下来；反之，D0值越小，低通滤波器的带宽就越窄，越少的低频分量被保留下来，导致大量的细节信息的丢失；故选用了三种不同的σ来对输入图像x
in
进行滤波处理再平均，如下式所示：
[0030][0031]其中，Gauss()表示高斯低通滤波处理操作，处理对象为整张输入图像x
in
，x
g
为生成的光场图。
[0032]进一步地，所述步骤S4中，在U
‑
net模型的基础上增加基于注意力机制的特征融合操作和批量归一化操作，构建改进后的U
‑
net模型，具体实现方法为：...

【技术保护点】

【技术特征摘要】
1.一种基于深度技术的水下风格化图像生成方法，其特征在于，包括以下步骤：S1、利用图像处理技术对原始水下数据集进行数据扩充，扩大其数量规模，得到扩充后数据集；S2、预估扩充后数据集中水下图像所对应的深度图；S3、采用高斯低通滤波器对扩充后数据集中水下图像进行平滑处理，生成相应的光场图并获得水下场景中各像素点处的光强度信息；S4、在U
‑
net模型的基础上增加基于注意力机制的特征融合操作和批量归一化操作，构建改进后的U
‑
net模型；将原始水下图像和深度图输入改进后的U
‑
net模型，结合模型输出和光场图，得到水下风格化图像。2.根据权利要求1所述的一种基于深度技术的水下风格化图像生成方法，其特征在于，所述步骤S1中，利用图像处理技术对原始水下数据集进行数据扩充，具体实现方法为：在符合实际和人类认知，以及不改变样本场景分布特性的前提下，通过对UIEB数据集中原始图像分别进行包括顺时针或逆时针旋转设定角度、水平翻转以及注入噪声的物理变换的方式得到扩充图像，进而得到扩充后数据集，为后续的生成模型训练以及深度估计工作做准备。3.根据权利要求1所述的一种基于深度技术的水下风格化图像生成方法，其特征在于，所述步骤S2中，预估扩充后数据集中水下图像所对应的深度图，具体实现方法为：利用预训练的hourglass网络来预估深度图，并根据预估的深度信息和地面真实的深度信息之间的差异具有放缩不变性，通过放缩不变的损失函数L
si
来对hourglass网络进行联合优化，L
si
的计算式如下式所示：L
si
＝L
data
+αL
gra
+βL
ord
ꢀꢀꢀꢀ
(1)其中，L
data
，L
gra
和L
ord
分别为深度数据损失项、多尺度的梯度匹配损失项和鲁棒的有序深度损失项，α和β为模型可自动学习的参数；设预测的深度图为L，地面真实深度图为L
*
，则定义像素点i处的预估差值为故深度数据损失项L
data
如下式所示：其中，n表示深度图中像素点的个数；为了让预测的深度图梯度变化更加平滑，减少尖锐梯度值的出现频率，对于不同尺度下的深度图计算梯度匹配损失项L
gra
如下式所示：其中，k为尺度变换因子，x、y分别表示在像素点i处的横轴方向和纵轴方向；有序深度损失项的表达式如下式所示：其中，P
i,j
为自动标记的有序深度关系变量，c为常量，(i,j)为图像中的一组像素点对，τ＝0.25。
4.根据权利要求1所述的一种基于深度技术的水下风格化图像生成方法，其特征在于，所述步骤S3中，采用高斯低通滤波器对扩充后数据集中水下图像进行平滑处理，生成相应的光场图并获得水下场景中各像素点处的光强度信息，具体实现方法为：利用一个卷积模板来扫描图像中的每一个像素，并使用模板内所有像素点加权平均的结果代替模板中心像素点处的值，从而消除高频信号的...

【专利技术属性】
技术研发人员：兰诚栋，王智超，
申请(专利权)人：福州大学，
类型：发明
国别省市：