【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种图像处理模型的训练与图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、随着图像处理技术的不断发展，深度学习的神经网络模型已成为主流的图像处理技术。
2、然而，在手机等移动终端摄影的情况下，神经网络模型需要部署在端侧运行，由于模型推理耗时、参数量等限制，模型的学习能力有限，因而在处理深度信息复杂的图像数据时，难以恢复出自然的细节。
技术实现思路
1、本申请实施例提供了一种图像处理模型的训练与图像处理方法、装置、电子设备、计算机可读存储介质，能够通过目标生成器模型，保留图像数据的复杂光影、景深等复杂深度信息。
2、第一方面，本申请提供了一种图像处理模型的训练方法，所述方法包括：
3、基于待训练生成器模型，对初始图像数据进行超分处理，得到超分图像数据；所述超分图像数据的分辨率大于所述初始图像数据的分辨率；
4、根据所述超分图像数据与所述初始图像数据之间的深度差异，确定所述待训练生成器模型的深度损失；
5、根据所述深度损失，对所述待训练生成器模型进行调整，得到目标生成器模型。
6、第二方面，本申请还提供了一种图像处理模型的训练装置，所述装置包括：
7、超分模块，用于基于待训练生成器模型，对初始图像数据进行超分处理，得到超分图像数据；所述超分图像数据的分辨率大于所述初始图像数据的分辨率；
8、损失模块，用于根据所述超分图像数据与所述
9、训练模块，用于根据所述深度损失，对所述待训练生成器模型进行调整，得到目标生成器模型。
10、第三方面，本申请提供了一种图像处理方法，包括：
11、获取待调整图像数据；
12、通过目标生成器模型，对所述待调整图像数据进行超分处理，得到目标图像数据；其中，所述目标生成器模型是第一方面的图像处理模型的训练方法训练所得的生成器模型。
13、第四方面，本申请提供了一种图像处理装置，所述装置包括：
14、获取模块，用于获取待调整图像数据；
15、超分模块，用于通过目标生成器模型，对所述待调整图像数据进行超分处理，得到目标图像数据；其中，所述目标生成器模型是第二方面的图像处理模型的训练装置训练所得的生成器模型。
16、第五方面，本申请提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面的图像处理模型的训练方法，或者实现第三方面的图像处理方法。
17、第六方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的图像处理模型的训练方法，或者实现第三方面的图像处理方法。
18、第七方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面的图像处理模型的训练方法，或者实现第三方面的图像处理方法。
19、上述图像处理模型的训练方法，基于待训练生成器模型，对初始图像数据进行超分处理，得到超分图像数据，以通过初始图像数据反映待训练生成器模型进行超分处理的结果；而由于超分图像数据与所述初始图像数据之间的深度差异，能够反映出待训练生成器模型的超分处理前后的深度变化，因而根据该深度差异，确定所述待训练生成器模型的深度损失，并根据所述深度损失，对该待训练生成器模型进行调整，得到目标生成器模型。目标生成器模型所输出的目标图像数据是超分辨率处理所得，且由于深度损失的约束，初始图像数据的光影细节得以保留。
20、相应地，上述图像处理方法中，由于目标生成器模型是基于深度差异训练的，因而能够更准确地保留深度信息，以产生更自然的光影过渡和更良好的景深效果，使得生成的图像在光影观感上更贴近原图或真实场景，从而增强了输出图像的真实感，解决了传统的生成式神经网络在图像超分任务中产生空间感、立体感损失的问题。由此，有效防止在图像超分辨率过程中丢失原有的空间和立体感，保留更多的图像细节。
本文档来自技高网...【技术保护点】
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述超分图像数据与所述初始图像数据之间的深度差异，确定所述待训练生成器模型的深度损失，包括：
3.根据权利要求2所述的方法，其特征在于，所述多个尺度的初始深度特征包括初始像素深度特征和初始区域深度特征，所述多个尺度的超分深度特征包括超分像素深度特征和超分区域深度特征；
4.根据权利要求3所述的方法，其特征在于，所述初始像素深度特征与所述超分像素深度特征，是通过深度估计网络检测的；所述深度估计网络的权重是固定的，或者，所述深度估计网络的权重是可更新的。
5.根据权利要求3所述的方法，其特征在于，所述初始区域深度特征包括初始局部深度特征，所述超分区域深度特征包括超分局部深度特征；
6.根据权利要求3所述的方法，其特征在于，所述初始区域深度特征包括初始全局深度特征，所述超分区域深度特征包括超分全局深度特征；
7.根据权利要求3所述的方法，其特征在于，所述对所述初始图像数据进行深度检测，得到所述初始像素深度特
8.根据权利要求2所述的方法，其特征在于，所述多个尺度的初始深度特征包括初始像素深度特征和初始局部深度特征，所述多个尺度的超分深度特征包括超分像素深度特征和超分局部深度特征，各个所述尺度的深度损失包括像素深度损失和局部深度损失；
9.根据权利要求2所述的方法，其特征在于，所述多个尺度的初始深度特征包括初始全局深度特征，所述多个尺度的超分深度特征包括超分全局深度特征，各个所述尺度的深度损失包括全局深度损失；
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
12.根据权利要求1所述的方法，其特征在于，所述根据所述深度损失，对所述待训练生成器模型进行调整，得到目标生成器模型，包括：
13.根据权利要求12所述的方法，其特征在于，所述满足所述训练停止条件之前，所述方法还包括：
14.根据权利要求12所述的方法，其特征在于，所述训练停止条件包括交替轮次数达到训练停止轮次数；所述交替轮次数是所述待训练生成器模型和所述判别器模型交替训练的轮次数；所述训练停止轮次数大于所述调整后的判别器模型调整的轮次数，且所述训练停止轮次数小于所述调整后的生成器模型调整的轮次数。
15.一种图像处理方法，其特征在于，所述方法包括：
16.一种图像处理模型的训练装置，其特征在于，所述装置包括：
17.一种图像处理装置，其特征在于，所述装置包括：
18.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述的方法的步骤。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述超分图像数据与所述初始图像数据之间的深度差异，确定所述待训练生成器模型的深度损失，包括：
3.根据权利要求2所述的方法，其特征在于，所述多个尺度的初始深度特征包括初始像素深度特征和初始区域深度特征，所述多个尺度的超分深度特征包括超分像素深度特征和超分区域深度特征；
4.根据权利要求3所述的方法，其特征在于，所述初始像素深度特征与所述超分像素深度特征，是通过深度估计网络检测的；所述深度估计网络的权重是固定的，或者，所述深度估计网络的权重是可更新的。
5.根据权利要求3所述的方法，其特征在于，所述初始区域深度特征包括初始局部深度特征，所述超分区域深度特征包括超分局部深度特征；
6.根据权利要求3所述的方法，其特征在于，所述初始区域深度特征包括初始全局深度特征，所述超分区域深度特征包括超分全局深度特征；
7.根据权利要求3所述的方法，其特征在于，所述对所述初始图像数据进行深度检测，得到所述初始像素深度特征，包括：
8.根据权利要求2所述的方法，其特征在于，所述多个尺度的初始深度特征包括初始像素深度特征和初始局部深度特征，所述多个尺度的超分深度特征包括超分像素深度特征和超分局部深度特征，各个所述尺度的深度损失包括像素深度损失和局部深度损失；
9.根据权利要求2所述的方法，其特征在于，所述多个尺度的初始深度特征包括初始全局深度特征，所述多个尺度的超分深度特征包括超分全局深度特征，...
【专利技术属性】
技术研发人员：周玮，武超雄，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。