模型训练方法技术

本申请实施例提供一种模型训练方法

【技术实现步骤摘要】
模型训练方法、照片生成方法及相关设备


[0001]本申请涉及终端
，属于图像处理技术，尤其涉及一种模型训练方法
、
照片生成方法及相关设备
。

技术介绍

[0002]随着终端技术的发展，智能手机
、
平板电脑等智能终端设备都配置有摄像头，具有拍照功能
。
在拍照的过程中，容易受到设备
、
人员
、
环境等因素的限制，而导致无法拍摄到用户希望的角度的照片
。
或者，用户在回看照片时，可能对照片的拍摄角度不满意，却又无法重新拍摄其他角度的照片，导致照片的拍摄效果不符合用户需求，从而影响用户的使用体验
。

技术实现思路

[0003]鉴于以上内容，有必要提供一种模型训练方法
、
照片生成方法及相关设备，解决上述由于受到拍摄条件的限制而导致难以通过终端设备拍摄满足用户需求的角度的照片的问题
。
[0004]第一方面，本申请实施例提供一种模型训练方法，应用于电子设备，所述方法包括：构建多个图像对，作为预设扩散模型的训练数据，每个图像对包括第一图像和第二图像，第一图像为一视角下图像信息完整的图像，第二图像为相同视角下图像信息缺失的图像；对预设扩散模型进行初始化；基于所述多个图像对，训练所述预设扩散模型，直至所述预设扩散模型的损失函数的输出值小于或等于预设阈值，停止训练；将训练后的预设扩散模型确定为照片生成模型
。
[0005]通过上述技术方案，可以预先构建包含相同视角下图像信息完整的照片和图像信息缺失的照片的多个训练数据对，根据构建的多个训练数据对对预设扩散模型进行训练，得到照片生成模型，便于后续将经过视角调整的图像信息缺失的照片输入照片生成模型，可以生成视角调整后的信息完整的照片，使得照片的角度符合用户需求，从而提升用户的使用体验
。
[0006]在一种可能的实现方式中，所述基于所述多个图像对，训练所述预设扩散模型，包括：将所述多个图像对中的一图像对输入所述预设扩散模型，计算所述预设扩散模型的损失函数；若所述损失函数的输出值大于所述预设阈值，调整所述预设扩散模型的参数；将所述多个图像对中的另一图像对输入所述预设扩散模型，继续对所述预设扩散模型进行训练，直至所述预设扩散模型的损失函数的输出值小于或等于所述预设阈值
。
[0007]通过上述技术方案，可以将预设扩散模型训练至收敛，保证对预设扩散模型训练建立的照片生成模型生成的照片的准确性
。
[0008]在一种可能的实现方式中，所述预设扩散模型包括输入层
、
扩散模块
、
条件控制模块及输出层，所述扩散模块为稳定扩散模型，包括多个第一编码器块
、
第一中间块
、
多个解码器块，所述条件控制模块为控制模型，包括多个零卷积层
、
多个第二编码器块和第二中间
块
。
[0009]通过上述技术方案，预设扩散模型将扩散模块和条件控制模块结合，通过条件控制模块提供的条件限制可以引导扩散模块进行照片重建，从而有效提高重建照片的准确性
。
[0010]在一种可能的实现方式中，所述计算所述预设扩散模型的损失函数，包括：将所述图像对中的所述第一图像和所述第二图像输入所述预设扩散模型的输入层，通过所述输入层对所述第一图像进行预处理；所述输入层将预处理后的所述第一图像输入所述扩散模块，通过所述扩散模块的所述多个第一编码器块分别将所述第一图像编码为潜在图像，并将随机噪声添加至所述潜在图像，并将添加有随机噪声的所述潜在图像传递至所述第一中间块；所述输入层将所述第二图像输入所述条件控制模块，通过所述条件控制模块的所述多个第二编码器块提取所述第二图像的点云特征，并将所述第二图像的点云特征传递至所述第二中间块；所述第二中间块将所述第二图像的点云特征传递至所述第一中间块，所述第一中间块将添加有随机噪声的所述潜在图像和所述第二图像的点云特征传递至所述扩散模块的所述解码器块；所述解码器块根据所述第二图像的点云特征确定所述潜在图像中的预测噪声，从所述潜在图像中减去所述预测噪声，得到更新的潜在图像，并对所述更新的潜在图像进行上采样处理，得到所述第二图像的重建图像；将所述第一图像的图像特征和所述重建图像的图像特征输入所述预设扩散模型的损失函数，得到所述预设扩散模型的损失函数的输出值
。
[0011]通过上述技术方案，在对预设扩散模型进行训练的过程中，通过编码器提取图像信息缺失的图像的特征，将图像信息缺失的图像编码为潜在图像，在潜在图像中添加随机噪声，在条件限制模块提供的点云图像的图像特征的引导下，确定潜在图像中的预测噪声，并从潜在图像中减去预测噪声，从而对图像信息缺失的图像进行重建，补全图像信息，并根据重建图像和原始图像之间的差异验证预设扩散模型的准确性，从而保证对预设扩散模型训练建立的照片生成模块生成的照片的准确性
。
[0012]在一种可能的实现方式中，所述构建多个图像对，包括：获取所述第一图像的深度信息；根据所述第一图像的深度信息将所述第一图像转换为点云图像；将所述第一图像对应的所述点云图像转换为三维网格图像；调整所述三维网格图像的视角，并将视角调整后的所述三维网格图像转换为与所述第一图像相同视角的点云图像，将转换得到的所述点云图像作为所述图像对中与所述第一图像对应的所述第二图像
。
[0013]通过上述技术方案，通过构建相同视角下图像信息完整和图像信息缺失的两个图像作为训练数据，可以实现预设扩散模型的自监督训练，无需依赖外部数据集，使得对预设扩散模型训练建立的照片生成模型符合实际需求
。
[0014]在一种可能的实现方式中，所述第一图像的深度信息包括每个像素点对应在场景中的点与摄像头之间的距离，所述获取所述第一图像的深度信息，包括：将所述第一图像输入预设的深度学习模型，通过所述预设的深度学习模型输出所述第一图像对应的视差图；根据所述视差图得到所述第一图像中每个像素点的视差，并根据每个像素点的视差得到每个像素点的深度信息
。
[0015]通过上述技术方案，可以采用单目深度估计方法提高深度信息的获取效率，并且同时保证获取的图像的深度信息的准确性
。
[0016]在一种可能的实现方式中，所述根据所述第一图像的深度信息将所述第一图像转换为点云图像，包括：根据摄像头的内参和所述第一图像中每个像素点的深度信息将所述第一图像中每个像素点在像素坐标系内的像素坐标转换为相机坐标系中的二维坐标；根据所述摄像头的外参将所述第一图像中每个像素点在所述相机坐标系中的所述二维坐标转换为世界坐标系中的三维坐标，所述第一图像中多个像素点的三维坐标对应的点形成所述第一图像对应的点云图像
。
[0017]通过上述技术方案，将第一图像转换为点云图像，便于根据点云图像的图像特征引导扩散模型进行图像重建，提高生成的重建图像的准确性
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种模型训练方法，应用于电子设备，其特征在于，所述方法包括：构建多个图像对，作为预设扩散模型的训练数据，每个图像对包括第一图像和第二图像，所述第一图像为一视角下图像信息完整的图像，所述第二图像为相同视角下图像信息缺失的图像；对所述预设扩散模型进行初始化；基于所述多个图像对，训练所述预设扩散模型，直至所述预设扩散模型的损失函数的输出值小于或等于预设阈值，停止训练；将训练后的所述预设扩散模型确定为照片生成模型
。2.
如权利要求1所述的模型训练方法，其特征在于，所述基于所述多个图像对，训练所述预设扩散模型，包括：将所述多个图像对中的一图像对输入所述预设扩散模型，计算所述预设扩散模型的损失函数；若所述损失函数的输出值大于所述预设阈值，调整所述预设扩散模型的参数；将所述多个图像对中的另一图像对输入所述预设扩散模型，继续对所述预设扩散模型进行训练，直至所述预设扩散模型的损失函数的输出值小于或等于所述预设阈值
。3.
如权利要求2所述的模型训练方法，其特征在于，所述预设扩散模型包括输入层
、
扩散模块
、
条件控制模块及输出层，所述扩散模块为稳定扩散模型，包括多个第一编码器块
、
第一中间块
、
多个解码器块，所述条件控制模块为控制模型，包括多个零卷积层
、
多个第二编码器块和第二中间块
。4.
如权利要求3所述的模型训练方法，其特征在于，所述计算所述预设扩散模型的损失函数，包括：将所述图像对中的所述第一图像和所述第二图像输入所述预设扩散模型的输入层，通过所述输入层对所述第一图像进行预处理；所述输入层将预处理后的所述第一图像输入所述扩散模块，通过所述扩散模块的所述多个第一编码器块分别将所述第一图像编码为潜在图像，并将随机噪声添加至所述潜在图像，并将添加有随机噪声的所述潜在图像传递至所述第一中间块；所述输入层将所述第二图像输入所述条件控制模块，通过所述条件控制模块的所述多个第二编码器块提取所述第二图像的点云特征，并将所述第二图像的点云特征传递至所述第二中间块；所述第二中间块将所述第二图像的点云特征传递至所述第一中间块，所述第一中间块将添加有随机噪声的所述潜在图像和所述第二图像的点云特征传递至所述扩散模块的所述解码器块；所述解码器块根据所述第二图像的点云特征确定所述潜在图像中的预测噪声，从所述潜在图像中减去所述预测噪声，得到更新的潜在图像，并对所述更新的潜在图像进行上采样处理，得到所述第二图像的重建图像；将所述第一图像的图像特征和所述重建图像的图像特征输入所述预设扩散模型的损失函数，得到所述预设扩散模型的损失函数的输出值
。5.
如权利要求1所述的模型训练方法，其特征在于，所述构建多个图像对，包括：获取所述第一图像的深度信息；
根据所述第一图像的深度信息将所述第一图像转换为点云图像；将所述第一图像对应的所述点云图像转换为三维网格图像；调整所述三维网格图像的视角，并将视角调整后的所述三维网格图像转换为与所述第一图像相同视角的点云图像，将转换得到的所述点云图像作为所述图像对中与所述第一图像对应的所述第二图像
。6.
如权利要求5所述的模型训练方法，其特征在于，所述第一图像的深度信息包括每个像素点对应在场景中的点与摄像头之间的距离，所述获取所述第一图像的深度信息，包括：将所述第一图像输入预设的深度学习模型，通过所述预设的深度学习模型输出所述第一图像对应的视差图；根据所述视差图得到所述第一图像中每个像素点的视差，并根据每个像素点的视差得到每个像素点的深度信息
。7.
如权利要求5所述的模型训练方法，其特征在于，所述根据所述第一图像的深度信息将所述第一图像转换为点云图像，包括：根据摄像头的内参和所述第一图像中每个像素点的深度信息将所述第一图像中每个像素点在像素坐标系内的像素坐标转换为相机坐标系中的二维坐标；根据所述摄像头的外参将所述第一图像中每个像素点在所述相机坐标系中的所述二维坐标转换为世界坐标系中的三维坐标，所述第一图像中多个像素...

【专利技术属性】
技术研发人员：周天，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：