图像处理方法、装置及存储介质、电子设备制造方法及图纸

本发明专利技术公开了一种图像处理方法、装置及存储介质、电子设备。其中，该图像处理方法，包括：获取包含第一区域的待处理图像；将所述待处理图像输入至经过训练的神经网络，获得去除所述第一区域的结果图，其中，所述神经网络包含双分支网络。本发明专利技术可以解决现有技术中容易在消除干扰区域的同时对图像背景层产生副作用且对硬件平台要求高的技术问题。对硬件平台要求高的技术问题。对硬件平台要求高的技术问题。

【技术实现步骤摘要】
图像处理方法、装置及存储介质、电子设备


[0001]本专利技术涉及图像处理技术，具体而言，涉及一种图像处理方法、装置及存储介质、电子设备。

技术介绍

[0002]摄影获得的图像含有反光、阴影、水渍、遮挡物等干扰区域是一种常见的现象，这些干扰区域通常会对图像的美观程度和质量产生负面影响。
[0003]现有的一种基于凸优化的快速单帧反光消除算法(Fast Single Image Reflection Suppression via Convex Optimization)是一种基于先验知识的通过求解凸优化问题进行反光消除的方法，通过“反光图是背景层和反光层的线性叠加”这一先验得到待求解的凸函数，然后通过凸优化方法求解最优解，将最优解作为反光消除的结果返回。但该算法忽视了实际场景中反光的复杂性和多样性，只在简单的反光情形下有一定的效果，当处理反光复杂、纹理多样的场景时，不仅反光无法准确消除，同时会错误地消除其他非反光区域的纹理。此外，该算法需要进行复杂度很高的余弦变换和余弦反变换，耗时非常长，在普通的移动设备上的可用性较差。
[0004]现有的另一种基于深度学习的反光消除方法，通过输入反光图样本，用背景图样本作为监督，训练卷积神经网络，同时通过多样的损失函数对训练过程进行监督，从而得到一个反光消除的网络模型，使用该网络模型对反光图进行处理，可以得到去反光后的结果。但该算法采用的网络模型十分庞大，包含了复杂的VGG19预训练头和13个残差网络块，推理速度非常慢，同时对设备的性能要求非常高，无法在手机上部署。此外，该算法在训练时，仅用背景图作为监督，忽略了反光层的成分，因此无法充分地让网络学习到反光层的特征，效果不佳。
[0005]因此，有必要提出一种图像处理技术，能够在有效消除反光、阴影、水渍、遮挡物等干扰区域的同时不对背景层产生显著的副作用，同时有较快的运行速度和可以接受的硬件配置要求。

技术实现思路

[0006]本专利技术实施例提供了一种图像处理方法、装置及存储介质、电子设备，以至少解决现有技术中容易在消除干扰区域的同时对图像背景层产生副作用且对硬件平台要求高的技术问题。
[0007]根据本专利技术实施例的一个方面，提供了一种图像处理方法，包括：获取包含第一区域的待处理图像；将所述待处理图像输入至经过训练的神经网络，获得去除所述第一区域的结果图，其中，所述神经网络包含双分支网络。
[0008]可选地，所述神经网络包括：特征提取模块，包含编码器，用于逐层提取所述待处理图像的特征，获得特征数据；第一图像输出模块，与所述特征提取模块的输出连接，包含第一解码器，用于基于所述特征数据输出第一图像；第二图像输出模块，与所述特征提取模
块的输出连接，包含第二解码器，用于基于所述特征数据输出第二图像；结果图输出模块，与所述第一图像输出模块和/或所述第二图像输出模块连接，用于根据所述第一图像和/或所述第二图像输出去除所述第一区域的结果图。
[0009]可选地，所述第一区域为以下至少一种类型：反光区域、阴影区域、水渍区域、遮挡区域。
[0010]可选地，所述第一图像为背景图，所述第二图像为以下至少一种类型：反光图、阴影图、水渍图、遮挡图。
[0011]可选地，所述第一解码器和所述第二解码器各层的输出通过跨层连接与所述编码器对应层的输出沿着通道轴进行拼接，在所述编码器和所述第一解码器、所述第二解码器的跨层连接上添加多尺度金字塔池化模块，多尺度金字塔池化模块将不同尺度的特征进行融合。
[0012]可选地，在所述编码器和所述第一解码器、所述第二解码器的跨层连接上添加多尺度特征选择模块，所述多尺度特征选择模块动态地选择和调整每一种尺度的特征及比例。
[0013]可选地，所述编码器中的卷积层为分组卷积。
[0014]可选地，所述神经网络中的卷积算子为门控卷积。
[0015]可选地，在获取包含第一区域的待处理图像之后，所述图像处理方法还包括：采用图像金字塔算法对所述待处理图像进行降采样，并且在降采样的同时保存各级图层的梯度信息形成拉普拉斯金字塔；将尺寸最小的图层送入经过训练的神经网络，获得输出图像；使用拉普拉斯金字塔对所述输出图像进行低分辨率到高分辨率的重建，获得去除所述第一区域的结果图。
[0016]可选地，上述图像处理方法还包括：构建初始神经网络；使用样本数据对所述初始神经网络进行训练，获得所述经过训练的神经网络，其中，所述样本数据包括第一样本图像和使用图像合成方法获得的第二样本图像。
[0017]可选地，使用图像合成方法获得第二样本图像包括：获取原始图像和参考图像；确定所述原始图像上的第一区域；生成一张与所述原始图像相同尺寸的掩模图像，并对与所述第一区域对应的第二区域的边界进行羽化处理，获得模糊效果的掩模图像；对所述参考图像进行高斯模糊，获得模糊效果的参考图像；根据所述原始图像、所述模糊效果的掩模图像和所述模糊效果的参考图像，合成所述第二样本图像。
[0018]可选地，根据所述原始图像、所述模糊效果的掩模图像和所述模糊效果的参考图像，合成所述第二样本图像包括：对所述模糊效果的掩模图像进行归一化，获得归一化的掩模图像；在与所述第一区域对应的所述第二区域中，将所述归一化的掩模图像中的像素与所述模糊效果的参考图像进行逐元素相乘，得到中间图像；将所述原始图像和所述中间图像进行线性叠加，合成所述第二样本图像。
[0019]可选地，使用样本数据对所述初始神经网络进行训练时，损失函数包含以下至少一项：像素损失、特征损失、结构相似性损失和对抗损失。
[0020]可选地，所述像素损失包含像素截断损失，当所述初始神经网络的输出图像和标签图像中对应的两个像素的绝对差值大于给定阈值时，计算所述两个像素的损失；当所述初始神经网络的输出图像和所述标签图像中对应的两个像素的绝对差值不大于所述给定
阈值时，忽略所述两个像素的差异。
[0021]可选地，上述图像处理方法，使用VGG19网络作为初始神经网络的特征提取器，用于计算所述特征损失。
[0022]根据本专利技术实施例的另一个方面，提供了一种图像处理装置，包括：图像采集单元，用于获取包含第一区域的待处理图像；处理单元，用于接收待处理图像，并使用经过训练的神经网络对待处理图像进行处理，获得去除第一区域的结果图，其中，所述神经网络包含双分支网络。
[0023]可选地，所述神经网络包括：特征提取模块，包含编码器，用于逐层提取所述待处理图像的特征，获得特征数据；第一图像输出模块，与所述特征提取模块的输出连接，包含第一解码器，用于基于所述特征数据输出第一图像；第二图像输出模块，与所述特征提取模块的输出连接，包含第二解码器，用于基于所述特征数据输出第二图像；结果图输出模块，与所述第一图像输出模块和/或所述第二图像输出模块连接，用于根据所述第一图像和/或所述第二图像输出去除所述第一区域的结果图。
[0024]可选地，所述第一解码器和所述第二解码器各层的输出通过跨层连接与所述编码器对应层的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取包含第一区域的待处理图像；将所述待处理图像输入至经过训练的神经网络，获得去除所述第一区域的结果图，其中，所述神经网络包含双分支网络。2.根据权利要求1所述的图像处理方法，其特征在于，所述神经网络包括：特征提取模块，包含编码器，用于逐层提取所述待处理图像的特征，获得特征数据；第一图像输出模块，与所述特征提取模块的输出连接，包含第一解码器，用于基于所述特征数据输出第一图像；第二图像输出模块，与所述特征提取模块的输出连接，包含第二解码器，用于基于所述特征数据输出第二图像；结果图输出模块，与所述第一图像输出模块和/或所述第二图像输出模块连接，用于根据所述第一图像和/或所述第二图像输出去除所述第一区域的结果图。3.根据权利要求1所述的图像处理方法，其特征在于，所述第一区域为以下至少一种类型：反光区域、阴影区域、水渍区域、遮挡区域。4.根据权利要求2所述的图像处理方法，其特征在于，所述第一图像为背景图，所述第二图像为以下至少一种类型：反光图、阴影图、水渍图、遮挡图。5.根据权利要求2所述的图像处理方法，其特征在于，所述第一解码器和所述第二解码器各层的输出通过跨层连接与所述编码器对应层的输出沿着通道轴进行拼接，在所述编码器和所述第一解码器、所述第二解码器的跨层连接上添加多尺度金字塔池化模块，所述多尺度金字塔池化模块将不同尺度的特征进行融合。6.根据权利要求5所述的图像处理方法，其特征在于，在所述编码器和所述第一解码器、所述第二解码器的跨层连接上添加多尺度特征选择模块，所述多尺度特征选择模块动态地选择和调整每一种尺度的特征及比例。7.根据权利要求2所述的图像处理方法，其特征在于，所述编码器中的卷积层为分组卷积。8.根据权利要求1所述的图像处理方法，其特征在于，所述神经网络中的卷积算子为门控卷积。9.根据权利要求1所述的图像处理方法，其特征在于，在获取包含第一区域的待处理图像之后，所述图像处理方法还包括：采用图像金字塔算法对所述待处理图像进行降采样，并且在降采样的同时保存各级图层的梯度信息形成拉普拉斯金字塔；将尺寸最小的图层送入经过训练的神经网络，获得输出图像；使用拉普拉斯金字塔对所述输出图像进行低分辨率到高分辨率的重建，获得去除所述第一区域的结果图。10.根据权利要求1所述的图像处理方法，还包括：构建初始神经网络；使用样本数据对所述初始神经网络进行训练，获得所述经过训练的神经网络，其中，所述样本数据包括第一样本图像和使用图像合成方法获得的第二样本图像。11.根据权利要求10所述的图像处理方法，其特征在于，使用图像合成方法获得第二样
本图像包括：获取原始图像和参考图像；确定所述原始图像上的第一区域；生成一张与所述原始图像相同尺寸的掩模图像，并对与所述第一区域对应的第二区域的边界进行羽化处理，获得模糊效果的掩模图像；对所述参考图像进行高斯模糊，获得模糊效果的参...

【专利技术属性】
技术研发人员：鲍天龙，叶平，张志伟，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：