【技术实现步骤摘要】
本申请涉及图像合成，具体涉及一种多视角图像合成方法、存储介质、电子设备及装置。
技术介绍
1、现阶段的技术手段在多视角图像生成时，存在技术缺陷，诸如：视角一致性不足，现有方法在从单一视角生成多个视角的图像时，往往难以保持高度的视角一致性，导致生成的图像在视觉上不连贯，缺乏真实感。生成效率低下，多视角图像的合成往往需要较长时间，这在需要快速生成图像的应用场景中成为一个显著的瓶颈。过拟合特定视角，一些现有技术在生成特定视角的图像时表现良好，但当需要生成广泛视角分布的图像时，则表现不佳，这限制了其在复杂场景中的应用。
2、因此，为解决上述技术问题，现提供一种多视角图像合成技术。
技术实现思路
1、本申请提供一种多视角图像合成方法、存储介质、电子设备及装置，基于输入视角图像以及目标多视角图像，结合随机噪声以及预测噪声模型，进行3d模型合成，有效提升多视图生成的一致性以及生成效率。
2、第一方面，本申请提供了一种多视角图像合成方法，所述方法包括以下步骤：
3、基于输入视角图像以及多张目标多视角图像，获得对应的潜在空间表示；
4、将与所述目标多视角图像同尺度的随机噪声，加入所述目标多视角图像对应的潜在空间表示，获得扩散后潜在空间表示；
5、基于所述输入视角图像以及相机内外参数，获得对应的参考条件；
6、将所述输入视角图像的潜在空间表示以及所述扩散后潜在空间表示，在通道维度上合并，进而结合所述参考条件，输入至预设的预测噪声模
7、基于所述多视角图像，进行3d模型合成。
8、在上述技术方案的基础上，将所述输入视角图像经过预设的预训练图文特征对齐模型，获得clip嵌入特征；
9、将所述clip嵌入特征与所述相机内外参数合并，获得对应的参考条件。
10、在上述技术方案的基础上，获得所述预测噪声模型预测获得的噪声，与所述随机噪声进行距离计算，获得损失值；
11、基于所述损失值对所述预测噪声模型进行反向传播优化。
12、在上述技术方案的基础上，所述相机内外参数为获得所述目标多视角图像的相机的内外参数。
13、第二方面，本申请提供了一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面提及的一种多视角图像合成方法。
14、第三方面，本申请提供了一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面提及的一种多视角图像合成方法。
15、第四方面，本申请提供了一种多视角图像合成装置，所述装置包括：
16、潜在空间表示模块，其用于基于输入视角图像以及多张目标多视角图像，获得对应的潜在空间表示；
17、扩散模块，其用于将与所述目标多视角图像同尺度的随机噪声，加入所述目标多视角图像对应的潜在空间表示，获得扩散后潜在空间表示；
18、参考条件生成模块，其用于基于所述输入视角图像以及相机内外参数，获得对应的参考条件；
19、多视角图像生成模块，其用于将所述输入视角图像的潜在空间表示以及所述扩散后潜在空间表示，在通道维度上合并，进而结合所述参考条件，输入至预设的预测噪声模型中，获得多视角图像；
20、3d模型合成模块，其用于基于所述多视角图像，进行3d模型合成。
21、在上述技术方案的基础上，所述参考条件生成模块还用于将所述输入视角图像经过预设的预训练图文特征对齐模型，获得clip嵌入特征；
22、所述参考条件生成模块还用于将所述clip嵌入特征与所述相机内外参数合并，获得对应的参考条件。
23、在上述技术方案的基础上，所述装置还包括：
24、模型优化模块，其用于获得所述预测噪声模型预测获得的噪声，与所述随机噪声进行距离计算，获得损失值；
25、所述模型优化模块还用于基于所述损失值对所述预测噪声模型进行反向传播优化。
26、在上述技术方案的基础上，所述相机内外参数为获得所述目标多视角图像的相机的内外参数。
27、本申请提供的技术方案带来的有益效果包括：
28、本申请基于输入视角图像以及目标多视角图像，结合随机噪声以及预测噪声模型，进行3d模型合成，有效提升多视图生成的一致性以及生成效率。
本文档来自技高网...【技术保护点】
1.一种多视角图像合成方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的多视角图像合成方法，其特征在于：
3.如权利要求1所述的多视角图像合成方法，其特征在于：
4.如权利要求1所述的多视角图像合成方法，其特征在于：
5.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至4任一项所述的方法。
6.一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的方法。
7.一种多视角图像合成装置，其特征在于，所述装置包括：
8.如权利要求7所述的多视角图像合成装置，其特征在于：
9.如权利要求7所述的多视角图像合成装置，其特征在于，所述装置还包括：
10.如权利要求7所述的多视角图像合成装置，其特征在于：
【技术特征摘要】
1.一种多视角图像合成方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的多视角图像合成方法，其特征在于：
3.如权利要求1所述的多视角图像合成方法，其特征在于：
4.如权利要求1所述的多视角图像合成方法，其特征在于：
5.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至4任一项所述的方法。
6.一种电子设备...
【专利技术属性】
技术研发人员：黄泽桓，李阳光，曹炎培，梁鼎，
申请(专利权)人：北京哇嘶嗒科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。