一种图像增强模型的训练方法、装置及存储介质制造方法及图纸

本公开涉及一种图像增强模型的训练方法、装置及存储介质，此方法包括：将每个训练输入图像组输入图像增强模型，获得图像增强模型输出的预测图像；使用与每个训练对分别对应的损失函数，训练图像增强模型直至收敛；损失函数包括与多个频率区间一一对应的多个灰度损失分量，每个灰度损失分量是基于每个频率区间内预测图像的灰度分频图像与对应的目标图像的灰度分频图像之间的差值确定的，不同的灰度损失分量对应于不同的频率区间。本公开中，使损失函数体现相应训练对中预测图像和目标图像的细节内容信息和语义信息，有效缓解图像增强模型训练过程中的不适定问题导致的过平滑问题。

【技术实现步骤摘要】
一种图像增强模型的训练方法、装置及存储介质
本公开涉及图像处理技术，尤其涉及一种图像增强模型的训练方法、装置及存储介质。
技术介绍
移动终端一般都具有拍照功能。移动终端中的图像传感器采样率不足，以及来源于图像采集、传输、压缩等各个方面的噪声导致移动终端拍摄到的图像存在细节丢失以及过多彩噪的问题。在低光环境下拍摄的图像和视频也存在此问题，并且此问题在小光圈摄像头的智能手机所拍摄的图像中更为严重。另外，采集图像过程中，采样率较低时还会导致混叠现象。随着用户对图像效果的需求不断提高，如何进一步提高图像解析力、丰富图像细节和减少图像噪声是一直需要解决的技术问题。传统的图像增强方法中，对多个图像中相同位置的像素进行加权平均获得处理后的图像，达到去噪效果，或者进行亚像素对齐和图像融合来保持图像中位于高频部分的细节。如何有效地选择合适的像素点进行加权融合以及完成亚像素对齐是影响图像增强效果的关键。随着深度学习技术的快速发展，人们开始使用深度图像增强模型来完成图像增强。首先，使用大量的自然图像作为训练数据，使深度图像增强模型学习低质量图像到高质量图像之间的映射，但是大部分深度图像增强模型存在过平滑的问题，难以有效的在进行去噪的同时增强图像细节，其中深度图像增强模型中的损失函数对此效果的影响非常大。考虑到图像复原属于低特征级视觉任务，目前通常采用像素级损失函数。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种图像增强模型的训练方法、装置及存储介质。根据本文实施例的第一方面，提供了一种图像增强模型的训练方法，包括：确定通过拍摄设备拍摄的多个样本图像组；确定每个样本图像组相关联的目标图像以及训练输入图像组；构建多个训练对，每个训练对包括一个训练输入图像组和对应的目标图像；将每个训练输入图像组输入所述图像增强模型，获得所述图像增强模型输出的预测图像；将所述预测图像的灰度分量图像进行分频处理，获得所述预测图像在多个频率区间的灰度分频图像，并将对应的目标图像的灰度分量图像进行分频处理，获得所述目标图像在所述多个频率区间的灰度分频图像；使用与每个训练对分别对应的损失函数，训练所述图像增强模型直至收敛；所述损失函数包括与所述多个频率区间一一对应的多个灰度损失分量，每个灰度损失分量是基于每个频率区间内所述预测图像的灰度分频图像与对应的目标图像的灰度分频图像之间的差值确定的，不同的灰度损失分量对应于不同的频率区间。在一实施方式中，表征频率越高的频率区间对应的灰度损失分量中的加权系数越大。在一实施方式中，所述损失函数包括两个灰度损失分量；所述两个灰度损失分量包括低频损失分量和高频损失分量；所述将所述预测图像的灰度分量图像进行分频处理，获得所述预测图像在多个频率区间的灰度分频图像，包括：对所述预测图像的灰度分量图像进行低通滤波，获得第一灰度低频图像，计算所述预测图像的灰度分量图像与所述第一灰度低频图像的差值作为第一灰度高频图像；所述预测图像在两个频率区间的灰度分频图像包括所述第一灰度低频图像和第一灰度高频图像；所述将所述目标图像的灰度分量图像进行分频处理，获得所述目标图像在多个频率区间的灰度分频图像，包括：对所述目标图像的灰度分量图像进行低通滤波，获得第二灰度低频图像，计算所述目标图像的灰度分量图像与所述第二灰度低频图像的差值作为第二灰度高频图像；所述目标图像在两个频率区间的灰度分频图像包括所述第二灰度低频图像和第二灰度高频图像。在一实施方式中，所述损失函数包括两个灰度损失分量；所述两个灰度损失分量包括低频损失分量和高频损失分量；所述将所述预测图像的灰度分量图像进行分频处理，获得所述预测图像在多个频率区间的灰度分频图像，包括：对所述预测图像的灰度分量图像进行高通滤波，获得第一灰度高频图像，计算所述预测图像的灰度分量图像与所述第一灰度高频图像的差值作为第一灰度低频图像；所述预测图像在两个频率区间的灰度分频图像包括所述第一灰度低频图像和第一灰度高频图像；所述将所述目标图像的灰度分量图像进行分频处理，获得所述目标图像在多个频率区间的灰度分频图像，包括：对所述目标图像的灰度分量图像进行高通滤波，获得第二灰度高频图像，计算所述目标图像的灰度分量图像与所述第二灰度高频图像的差值作为第二灰度低频图像；所述目标图像在两个频率区间的灰度分频图像包括所述第二灰度低频图像和第二灰度高频图像。在一实施方式中，所述方法还包括：对每个训练对中的目标图像的灰度分量图像进行边缘检测获得边缘图像，根据所述边缘图像确定边缘概率图；所述损失函数中，表征频率最高的频率区间对应的灰度损失分量包括所述预测图像在此频率区间的灰度分频图像和对应的目标图像在此频率区间的灰度分频图像之间的差值与所述边缘概率图的点乘矩阵。在一实施方式中，所述根据所述边缘图像确定边缘概率图，包括：对所述边缘图像进行导向滤波获得边缘概率图，所述导向滤波中的引导图是所述目标图像或者是所述目标图像的灰度分量图像。在一实施方式中，所述损失函数包括多个灰度损失分量的和；或者，所述损失函数包括多个灰度损失分量的和，与色度损失分量的和；或者，所述损失函数包括多个灰度损失分量的和，与色饱和度损失分量的和；或者，所述损失函数包括多个灰度损失分量的和，与色度损失分量以及色饱和度损失分量的和；所述色度损失分量是所述图像增强模型输出的预测图像的色度分量图像和对应的目标图像的色度分量图像之间的差；所述色饱和度损失分量是所述图像增强模型输出的预测图像的色饱和度分量图像和对应的目标图像的色饱和度分量图像之间的差。在一实施方式中，同一样本图像组中的样本图像的拍摄场景相同，不同样本图像组中样本图像的拍摄场景不同；所述确定每个样本图像组相关联的目标图像，包括以下中的一种：根据样本图像组中各样本图像计算相同位置的像素平均值获得目标图像；根据样本图像组中各样本图像计算相同位置的像素加权平均值获得目标图像；从样本图像组中选择清晰度最高的样本图像、第一帧样本图像或者最后一帧样本图像作为参考图像，根据样本图像组中各样本图像计算特征点，根据所述参考图像对所述样本图像组中其它样本图像进行特征点对齐操作，将对齐操作后的样本图像进行多帧图像融合，获得目标图像；所述确定每个样本图像组相关联的训练输入图像组，包括以下中的一种：将所述样本图像组作为训练输入图像组；从所述样本图像组中选择部分样本图像构成训练输入图像组。根据本文实施例的第二方面，提供了一种图像增强模型的训练装置，包括：第一确定模块，被配置为确定通过拍摄设备拍摄的多个样本图像组；第二确定模块，被配置为确定每个样本图像组相关联的目标图像以及训练输入图像组；构建模块，被配置为构建多个训练对，每个训练对包括一个训练输入图像组和对应的目标图像；输入模块，被配置为将每个训练输入图像组输入所述图像增强模型，获得所述图像增强模本文档来自技高网...

【技术保护点】
1.一种图像增强模型的训练方法，其特征在于，包括：/n确定通过拍摄设备拍摄的多个样本图像组；/n确定每个样本图像组相关联的目标图像以及训练输入图像组；/n构建多个训练对，每个训练对包括一个训练输入图像组和对应的目标图像；/n将每个训练输入图像组输入所述图像增强模型，获得所述图像增强模型输出的预测图像；/n将所述预测图像的灰度分量图像进行分频处理，获得所述预测图像在多个频率区间的灰度分频图像，并将对应的目标图像的灰度分量图像进行分频处理，获得所述目标图像在所述多个频率区间的灰度分频图像；/n使用与每个训练对分别对应的损失函数，训练所述图像增强模型直至收敛；/n所述损失函数包括与所述多个频率区间一一对应的多个灰度损失分量，每个灰度损失分量是基于每个频率区间内所述预测图像的灰度分频图像与对应的目标图像的灰度分频图像之间的差值确定的，不同的灰度损失分量对应于不同的频率区间。/n

【技术特征摘要】
1.一种图像增强模型的训练方法，其特征在于，包括：
确定通过拍摄设备拍摄的多个样本图像组；
确定每个样本图像组相关联的目标图像以及训练输入图像组；
构建多个训练对，每个训练对包括一个训练输入图像组和对应的目标图像；
将每个训练输入图像组输入所述图像增强模型，获得所述图像增强模型输出的预测图像；
将所述预测图像的灰度分量图像进行分频处理，获得所述预测图像在多个频率区间的灰度分频图像，并将对应的目标图像的灰度分量图像进行分频处理，获得所述目标图像在所述多个频率区间的灰度分频图像；
使用与每个训练对分别对应的损失函数，训练所述图像增强模型直至收敛；
所述损失函数包括与所述多个频率区间一一对应的多个灰度损失分量，每个灰度损失分量是基于每个频率区间内所述预测图像的灰度分频图像与对应的目标图像的灰度分频图像之间的差值确定的，不同的灰度损失分量对应于不同的频率区间。


2.如权利要求1所述的训练方法，其特征在于，
表征频率越高的频率区间对应的灰度损失分量中的加权系数越大。


3.如权利要求1所述的训练方法，其特征在于，
所述损失函数包括两个灰度损失分量；所述两个灰度损失分量包括低频损失分量和高频损失分量；
所述将所述预测图像的灰度分量图像进行分频处理，获得所述预测图像在多个频率区间的灰度分频图像，包括：对所述预测图像的灰度分量图像进行低通滤波，获得第一灰度低频图像，计算所述预测图像的灰度分量图像与所述第一灰度低频图像的差值作为第一灰度高频图像所述预测图像在两个频率区间的灰度分频图像包括所述第一灰度低频图像和第一灰度高频图像；
所述将所述目标图像的灰度分量图像进行分频处理，获得所述目标图像在多个频率区间的灰度分频图像，包括：对所述目标图像的灰度分量图像进行低通滤波，获得第二灰度低频图像，计算所述目标图像的灰度分量图像与所述第二灰度低频图像的差值作为第二灰度高频图像；所述目标图像在两个频率区间的灰度分频图像包括所述第二灰度低频图像和第二灰度高频图像。


4.如权利要求1所述的训练方法，其特征在于，
所述损失函数包括两个灰度损失分量；所述两个灰度损失分量包括低频损失分量和高频损失分量；
所述将所述预测图像的灰度分量图像进行分频处理，获得所述预测图像在多个频率区间的灰度分频图像，包括：对所述预测图像的灰度分量图像进行高通滤波，获得第一灰度高频图像，计算所述预测图像的灰度分量图像与所述第一灰度高频图像的差值作为第一灰度低频图像；所述预测图像在两个频率区间的灰度分频图像包括所述第一灰度低频图像和第一灰度高频图像；
所述将所述目标图像的灰度分量图像进行分频处理，获得所述目标图像在多个频率区间的灰度分频图像，包括：对所述目标图像的灰度分量图像进行高通滤波，获得第二灰度高频图像，计算所述目标图像的灰度分量图像与所述第二灰度高频图像的差值作为第二灰度低频图像；所述目标图像在两个频率区间的灰度分频图像包括所述第二灰度低频图像和第二灰度高频图像。


5.如权利要求1所述的训练方法，其特征在于，
所述方法还包括：对每个训练对中的目标图像的灰度分量图像进行边缘检测获得边缘图像，根据所述边缘图像确定边缘概率图；
所述损失函数中，表征频率最高的频率区间对应的灰度损失分量包括所述预测图像在此频率区间的灰度分频图像和对应的目标图像在此频率区间的灰度分频图像之间的差值与所述边缘概率图的点乘矩阵。


6.如权利要求5所述的训练方法，其特征在于，
所述根据所述边缘图像确定边缘概率图，包括：
对所述边缘图像进行导向滤波获得边缘概率图，所述导向滤波中的引导图是所述目标图像或者是所述目标图像的灰度分量图像。


7.如权利要求1所述的训练方法，其特征在于，
所述损失函数包括多个灰度损失分量的和；
或者，所述损失函数包括多个灰度损失分量的和，与色度损失分量的和；
或者，所述损失函数包括多个灰度损失分量的和，与色饱和度损失分量的和；
或者，所述损失函数包括多个灰度损失分量的和，与色度损失分量以及色饱和度损失分量的和；
所述色度损失分量是所述图像增强模型输出的预测图像的色度分量图像和对应的目标图像的色度分量图像之间的差；所述色饱和度损失分量是所述图像增强模型输出的预测图像的色饱和度分量图像和对应的目标图像的色饱和度分量图像之间的差。


8.如权利要求1所述的训练方法，其特征在于，
同一样本图像组中的样本图像的拍摄场景相同，不同样本图像组中样本图像的拍摄场景不同；
所述确定每个样本图像组相关联的目标图像，包括以下中的一种：
根据样本图像组中各样本图像计算相同位置的像素平均值获得目标图像；
根据样本图像组中各样本图像计算相同位置的像素加权平均值获得目标图像；
从样本图像组中选择清晰度最高的样本图像、第一帧样本图像或者最后一帧样本图像作为参考图像，根据样本图像组中各样本图像计算特征点，根据所述参考图像对所述样本图像组中其它样本图像进行特征点对齐操作，将对齐操作后的样本图像进行多帧图像融合，获得目标图像；
所述确定每个样本图像组相关联的训练输入图像组，包括以下中的一种：
将所述样本图像组作为训练输入图像组；
从所述样本图像组中选择部分样本图像构成训练输入图像组。


9.一种图像增强模型的训练装置，其特征在于，包括：
第一确定模块，被配置为确定通过拍摄设备拍摄的多个样本图像组；
第二确定模块，被配置为确定每个样本图像组相关联的目标图像以及训练输入图像组；
构建模块，被配置为构建多个训练对，每个训练对包括一个训练输入图像组和对应的目标图像；
输入模块，被配置为将每个训练输入图像组输入所述图像增强模...

【专利技术属性】
技术研发人员：张亮，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11