图像三维重建方法、装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像三维重建方法、装置、电子设备和存储介质，确定包括目标对象的待处理对象图像，将待处理对象图像输入训练得到的编码器得到对应的目标隐向量。其中，编码器通过真实图像和生成图像两种包括样本对象的训练图像训练得到。将目标隐向量输入训练得到的生成器生成目标对象的隐式三维表示，并根据至少一个预设角度渲染得到每个预设角度对应的目标反演图像。本公开通过编码器经过简单的前向推理得到表征图像三维表示的隐向量，提高了图像重建过程的效率，能够实时进行图像三维重建。同时提高了多角度下对象的一致性，得到质量更高的三维重建结果。量更高的三维重建结果。量更高的三维重建结果。

【技术实现步骤摘要】
图像三维重建方法、装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种图像三维重建方法、装置、电子设备和存储介质。

技术介绍

[0002]基于单张图像进行三维重建的任务要求模型想象出合理的新视角图像，目前仍然是一个开放问题，特别是实时高逼真的三维重建工作更是困难重重。生成对抗网络是目前流行的深度生成模型之一，能够从隐向量生成人类难以分辨真伪的特定类别的数据，特别是图像数据，如对象、汽车、教堂等图像。随着神经辐射场技术在三维场景建模领域获得了很大的成功，有很多工作尝试将神经辐射场技术集成到生成对抗网络框架中，实现了生成不同视角的图像。但目前使用生成对抗网络进行图像三维重建的方法推理时间长且生成的图像质量低，细节存在明显伪影。

技术实现思路

[0003]有鉴于此，本公开提出了一种图像三维重建方法、装置、电子设备和存储介质，旨在提高图像三维重建过程的效率，以及重建得到图像的质量。
[0004]根据本公开的第一方面，提供了一种图像三维重建方法，所述方法包括：
[0005]确定待处理对象图像，所述待处理对象图像中包括目标对象；
[0006]将所述待处理对象图像输入训练得到的编码器，得到对应的目标隐向量，所述编码器通过真实图像和生成图像两种类型的训练图像训练得到，所述真实图像和所述生成图像中包括样本对象；
[0007]将所述目标隐向量输入训练得到的生成器，生成所述目标对象的隐式三维表示，并根据至少一个预设角度渲染得到每个所述预设角度对应的目标反演图像。/>[0008]在一种可能的实现方式中，所述编码器的训练过程包括：
[0009]确定训练图像序列，所述训练图像序列中包括按照顺序间隔设置的多个真实图像和生成图像；
[0010]按顺序根据每个所述训练图像序列中的每个图像迭代训练所述编码器，在每次迭代训练后计算所述编码器对应的编码器损失；
[0011]根据所述编码器损失调整所述编码器参数，直到满足收敛条件。
[0012]在一种可能的实现方式中，每个所述生成图像的确定过程包括：
[0013]随机采样样本隐向量；
[0014]将所述样本隐向量输入训练得到的生成器，得到对应的生成图像。
[0015]在一种可能的实现方式中，所述按顺序根据每个所述训练图像序列中的每个图像迭代训练所述编码器，在每次迭代训练后计算所述编码器对应的编码器损失，包括：
[0016]按照在所述训练图像序列中的顺序将每个真实图像和生成图像间隔输入所述编码器，得到对应的训练隐向量；
[0017]将所述训练隐向量输入所述生成器，得到第一反演图像和至少一张第二反演图像，所述第一反演图像中包括与输入图像中样本对象角度相同的样本对象，所述第二反演图像包括与输入图像中样本对象角度不同的样本对象；
[0018]根据本次迭代过程所述编码器的输入图像、第一反演图像和至少一张第二反演图像确定本次迭代的编码器损失。
[0019]在一种可能的实现方式中，响应于本次迭代过程所述编码器的输入图像为生成图像，所述根据本次迭代过程所述编码器的输入图像、第一反演图像和至少一张第二反演图像确定本次迭代的编码器损失，包括：
[0020]确定用于采样所述输入图像的样本隐向量；
[0021]根据所述输入图像和所述第一反演图像确定第一图像损失和第二图像损失；
[0022]根据所述输入图像、所述第一反演图像和所述第二反演图像确定第三图像损失；
[0023]根据所述输入图像对应的样本隐向量和所述训练隐向量确定第四图像损失；
[0024]计算所述第一图像损失、所述第二图像损失、所述第三图像损失和所述第四图像损失的加权和，得到所述编码器损失。
[0025]在一种可能的实现方式中，所述根据所述输入图像对应的样本隐向量和所述训练隐向量确定第四图像损失，包括：
[0026]计算所述输入图像对应的样本隐向量和训练隐向量的L2范数，得到对应的第四图像损失。
[0027]在一种可能的实现方式中，所述第四图像损失对应的权重可以根据当前迭代训练的次数确定。
[0028]在一种可能的实现方式中，所述响应于本次迭代过程所述编码器的输入图像为真实图像，所述根据本次迭代过程所述编码器的输入图像、第一反演图像和至少一张第二反演图像确定本次迭代的编码器损失，包括：
[0029]根据所述输入图像和所述第一反演图像确定第一图像损失和第二图像损失；
[0030]根据所述输入图像、所述第一反演图像和所述第二反演图像确定第三图像损失；
[0031]根据所述第一图像损失、所述第二图像损失和所述第三图像损失确定所述编码器损失。
[0032]在一种可能的实现方式中，所述根据所述第一图像损失、所述第二图像损失和所述第三图像损失确定所述编码器损失，包括：
[0033]计算所述第一图像损失、所述第二图像损失和所述第三图像损失的加权和，得到对应的编码器损失。
[0034]在一种可能的实现方式中，所述根据本次迭代过程所述编码器的输入图像、第一反演图像和至少一张第二反演图像确定本次迭代的编码器损失，还包括：
[0035]确定前一次迭代过程中对应的第四图像损失为本次迭代过程的第四图像损失；
[0036]所述根据所述第一图像损失、所述第二图像损失和所述第三图像损失确定所述编码器损失，包括：
[0037]计算所述第一图像损失、所述第二图像损失、所述第三图像损失和本次迭代过程的所述第四图像损失的加权和，得到对应的编码器损失。
[0038]在一种可能的实现方式中，所述根据所述输入图像和所述第一反演图像确定第一
图像损失和第二图像损失，包括：
[0039]计算所述输入图像和所述第一反演图像的L2范数，得到对应的第一图像损失；
[0040]将所述输入图像和所述第一反演图像分别输入预先训练得到的图像特征模型，计算对应输出的L2范数作为第二图像损失。
[0041]在一种可能的实现方式中，所述根据所述输入图像、所述第一反演图像和所述第二反演图像确定第三图像损失，包括：
[0042]将所述第一反演图像、每个所述第二反演图像和所述输入图像分别输入训练得到的对象特征模型，并得到对应的特征向量；
[0043]对于所述第一反演图像和每个所述第二反演图像，分别计算所述输入图像对应的特征向量和所述第一反演图像或所述第二反演图像对应特征向量余弦相似度，确定1与余弦相似度的差为反演图像损失；
[0044]计算每个所述第二反演图像对应反演图像损失的平均值与所述第一反演图像对应的反演图像损失的加权和，得到第三图像损失。
[0045]根据本公开的第二方面，提供了一种图像三维重建装置，所述装置包括：
[0046]图像确定模块，用于确定待处理对象图像，所述待处理对象图像中包括目标对象；
[0047]图像反演模块，用于将所述待处理对象图像输入训练得到的编码器，得到对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像三维重建方法，其特征在于，所述方法包括：确定待处理对象图像，所述待处理对象图像中包括目标对象；将所述待处理对象图像输入训练得到的编码器，得到对应的目标隐向量，所述编码器通过真实图像和生成图像两种类型的训练图像训练得到，所述真实图像和所述生成图像中包括样本对象；将所述目标隐向量输入训练得到的生成器，生成所述目标对象的隐式三维表示，并根据至少一个预设角度渲染得到每个所述预设角度对应的目标反演图像。2.根据权利要求1所述的方法，其特征在于，所述编码器的训练过程包括：确定训练图像序列，所述训练图像序列中包括按照顺序间隔设置的多个真实图像和生成图像；按顺序根据每个所述训练图像序列中的每个图像迭代训练所述编码器，在每次迭代训练后计算所述编码器对应的编码器损失；根据所述编码器损失调整所述编码器参数，直到满足收敛条件。3.根据权利要求2所述的方法，其特征在于，每个所述生成图像的确定过程包括：随机采样样本隐向量；将所述样本隐向量输入训练得到的生成器，得到对应的生成图像。4.根据权利要求3所述的方法，其特征在于，所述按顺序根据每个所述训练图像序列中的每个图像迭代训练所述编码器，在每次迭代训练后计算所述编码器对应的编码器损失，包括：按照在所述训练图像序列中的顺序将每个真实图像和生成图像间隔输入所述编码器，得到对应的训练隐向量；将所述训练隐向量输入所述生成器，得到第一反演图像和至少一张第二反演图像，所述第一反演图像中包括与输入图像中样本对象角度相同的样本对象，所述第二反演图像包括与输入图像中样本对象角度不同的样本对象；根据本次迭代过程所述编码器的输入图像、第一反演图像和至少一张第二反演图像确定本次迭代的编码器损失。5.根据权利要求4所述的方法，其特征在于，响应于本次迭代过程所述编码器的输入图像为生成图像，所述根据本次迭代过程所述编码器的输入图像、第一反演图像和至少一张第二反演图像确定本次迭代的编码器损失，包括：确定用于采样所述输入图像的样本隐向量；根据所述输入图像和所述第一反演图像确定第一图像损失和第二图像损失；根据所述输入图像、所述第一反演图像和所述第二反演图像确定第三图像损失；根据所述输入图像对应的样本隐向量和所述训练隐向量确定第四图像损失；计算所述第一图像损失、所述第二图像损失、所述第三图像损失和所述第四图像损失的加权和，得到所述编码器损失。6.根据权利要求5所述的方法，其特征在于，所述根据所述输入图像对应的样本隐向量和所述训练隐向量确定第四图像损失，包括：计算所述输入图像对应的样本隐向量和训练隐向量的L2范数，得到对应的第四图像损失。
7.根据权利要求5或6所述的方法，其特征在于，所述第四图像损失对应的权重可以根据当前迭代训练的次数确定。8.根据权利要求4
‑
7中任意一项所述的方法，其特征在于，所述响应于本次迭代过程所述编码器的输入图像为真实图像，所述根据本次迭代过程所述编码器的输入图像、第一反演图像和至少一张第二反演图像确定本次迭代的...

【专利技术属性】
技术研发人员：李建民，李建辉，朱军，
申请(专利权)人：清华大学，
类型：发明
国别省市：