本发明专利技术提供了基于二维图像的三维重建方法、系统、设备及存储介质，其中，方法包括：采集二维图像；根据输入图像进行降维编码，获得隐空间张量；根据隐空间张量进行升维编码，生成三个特征平面，通过正交排列得到正交三特征平面；以及根据拍摄二维图像的二维图像采集设备的设备参数，对正交三特征平面进行渲染，获得二维图像对应的三维视角信息，三维视角信息包括多角度图像和/或三维几何结构。本发明专利技术能够通过使用对抗生成网络，弥补了二维图像到三维重建过程中的信息空缺，实现了自二维图像到三维重建的可行性，拓展了二维图像的使用场景和功能性。功能性。功能性。
【技术实现步骤摘要】
基于二维图像的三维重建方法、系统、设备及存储介质
[0001]本专利技术涉及人工智能领域，具体地说，涉及基于二维图像的三维重建方法、系统、设备及存储介质。
技术介绍
[0002]随着互联网的不断发展，越来越多的场景被搬上了虚拟世界的平台，如线上会议、远程网课、线上购物等。同时，虚拟世界的平台也在逐步由二维平面的展示，向三维不断地过渡。如未来数字人、数字孪生、元宇宙等技术。这些新技术的发展，目前都极大地依赖建模人员进行重复性的建模工作，耗时耗力。所以如何从二维图像通过算法得到三维模型成了迫切需要解决的问题。目前大部分的算法技术都依赖特殊的硬件设备，如造价高昂的雷达、或者商业级的深度摄像机等，这些都使得采集任务建起了技术壁垒，无法大规模落地应用。在现有相关技术中存在以下问题：
[0003](1)依赖特殊硬件，如雷达、商业级深度摄像头等。
[0004](2)对采集角度有特殊要求，对采集人员要求高。
[0005](3)算法结构不够合理，没有专门针对三维重建中的渲染效果进行提升，重建结果可能不足以落地应用。
[0006](4)现有的仅通过二维图片进行人脸识别的准确性不高，采用深度图像进行人脸识别有需要额外硬件，虽然准确但是成本过高。
[0007]例如：现有专利方案为一种基于生成对抗网络的三维语义场景重建方法，其对输入的SUNCG
‑
RGBD即包含体素信息及深度信息的图像数据进行编码，得到对应的编码数据。之后将编码数据输入到生成对抗网络中，输出三维语义场景。该方法需要特殊硬件支持，即需要深度摄像头与可以采集体素信息的设备，造价昂贵，学习代价高，此方法不具备推广价值。
[0008]有鉴于此，本专利技术提出了一种基于二维图像的三维重建方法、系统、设备及存储介质。
[0009]需要说明的是，上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0010]针对现有技术中的问题，本专利技术的目的在于提供基于二维图像的三维重建方法、系统、设备及存储介质，克服了现有技术的困难，能够通过使用对抗生成网络，弥补了二维图像到三维重建过程中的信息空缺，实现了自二维图像到三维重建的可行性，拓展了二维图像的使用场景和功能性。
[0011]本专利技术的实施例提供一种基于二维图像的三维重建方法，包括以下步骤：
[0012]采集二维图像；
[0013]根据所述输入图像进行降维编码，获得隐空间张量；
[0014]根据所述隐空间张量进行升维编码，生成三个特征平面，通过正交排列得到正交三特征平面；以及
[0015]根据拍摄所述二维图像的二维图像采集设备的设备参数，对所述正交三特征平面进行渲染，获得所述二维图像对应的三维视角信息，所述三维视角信息包括多角度图像和/或三维几何结构。
[0016]优选地，所述采集二维图像，包括：
[0017]通过一二维图像采集设备拍摄一二维图像；
[0018]采集所述二维图像信息和二维图像采集设备的相机参数。
[0019]优选地，所述根据所述输入图像进行降维编码，获得隐空间张量，包括：
[0020]将所述输入图像输入一编码器；
[0021]通过所述编码器对所述输入图像进行降维编码；
[0022]所述编码器输出对应所述输入图像的经过编码的隐空间张量。
[0023]优选地，所述根据所述隐空间张量进行升维编码，生成三个特征平面，通过正交排列得到正交三特征平面，包括：
[0024]将所述隐空间张量输入一生成器
[0025]通过所述生成器对所述隐空间张量进行升维处理；
[0026]所述生成器输出三个特征平面；
[0027]通过正交排列得到正交三特征平面，所述特征平面相互正交。
[0028]优选地，所述根据拍摄所述二维图像的二维图像采集设备的相机参数，对所述正交三特征平面进行渲染，获得所述二维图像对应的三维视角信息，包括：
[0029]将三个所述特征平面输入神经渲染模块进行解码得到隐空间张量；
[0030]根据拍摄所述二维图像的二维图像采集设备的相机参数，对所述隐空间张量进行渲染获得所述二维图像对应的三维视角信息，所述三维视角信息包括多角度图像和/或三维几何结构。
[0031]优选地，所述根据拍摄所述二维图像的二维图像采集设备的相机参数，对所述正交三特征平面进行渲染，获得所述二维图像对应的三维视角信息，还包括：
[0032]所述神经渲染模块包括解码器和渲染器，解码器由多层感知器MLP组成，用于对输入的三特征平面进行解码得到隐空间张量，渲染器由全连接层组成，将所述隐空间张量渲染成三维视角信息并输出。
[0033]优选地，还包括：
[0034]将所述多角度图像进行鉴别获得损失值，根据所述损失值获得梯度，根据所述梯度进行参数更新。
[0035]优选地，所述将所述多角度图像进行鉴别获得损失值，根据所述损失值获得梯度，根据所述梯度进行参数更新，包括：
[0036]通过鉴别器将所述多角度图像进行图像鉴别，获得重建过程的损失值，所述鉴别器与用于生成所述特征平面的生成器共同形成抗网络结构，所述编码器和鉴别器均为VGG
‑
16网络结构组成；
[0037]根据所述损失值获得梯度；
[0038]根据所述梯度进行对抗网络的参数更新。
[0039]优选地，还包括：
[0040]所述二维图像为人脸图像，通过所述二维图像与预设人脸图像的第一相似度和所述三维视角信息与预设三维视角信息的第二相似度进行用户鉴权。
[0041]本专利技术的实施例还提供一种基于二维图像的三维重建系统，用于实现上述的基于二维图像的三维重建方法，所述基于二维图像的三维重建系统包括：
[0042]图像采集模块，采集二维图像；
[0043]隐空间张量模块，根据所述输入图像进行降维编码，获得隐空间张量；
[0044]正交平面模块，根据所述隐空间张量进行升维编码，生成三个特征平面，通过正交排列得到正交三特征平面；
[0045]三维信息模块，根据拍摄所述二维图像的二维图像采集设备的设备参数，对所述正交三特征平面进行渲染，获得所述二维图像对应的三维视角信息，所述三维视角信息包括多角度图像和/或三维几何结构。
[0046]本专利技术的实施例还提供一种基于二维图像的三维重建设备，包括：
[0047]处理器；
[0048]存储器，其中存储有所述处理器的可执行指令；
[0049]其中，所述处理器配置为经由执行所述可执行指令来执行上述基于二维图像的三维重建方法的步骤。
[0050]本专利技术的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述基于二维图像的三维重建方法的步骤。
[0051]本专利技术的目的在于提供基于二维图像的三维重建方法、系统、设备及存储介质，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于二维图像的三维重建方法，其特征在于，包括以下步骤：采集二维图像；根据输入图像进行降维编码，获得隐空间张量；根据所述隐空间张量进行升维编码，生成三个特征平面，通过正交排列得到正交三特征平面；以及根据拍摄所述二维图像的二维图像采集设备的设备参数，对所述正交三特征平面进行渲染，获得所述二维图像对应的三维视角信息，所述三维视角信息包括多角度图像和/或三维几何结构。2.如权利要求1所述的基于二维图像的三维重建方法，其特征在于，所述采集二维图像，包括：通过一二维图像采集设备拍摄一二维图像；采集所述二维图像信息和二维图像采集设备的相机参数。3.如权利要求1所述的基于二维图像的三维重建方法，其特征在于，所述根据所述输入图像进行降维编码，获得隐空间张量，包括：将所述输入图像输入一编码器；通过所述编码器对所述输入图像进行降维编码；所述编码器输出对应所述输入图像的经过编码的隐空间张量。4.如权利要求1所述的基于二维图像的三维重建方法，其特征在于，所述根据所述隐空间张量进行升维编码，生成三个特征平面，通过正交排列得到正交三特征平面，包括：将所述隐空间张量输入一生成器通过所述生成器对所述隐空间张量进行升维处理；所述生成器输出三个特征平面；通过正交排列得到正交三特征平面，所述特征平面相互正交。5.如权利要求1所述的基于二维图像的三维重建方法，其特征在于，所述根据拍摄所述二维图像的二维图像采集设备的相机参数，对所述正交三特征平面进行渲染，获得所述二维图像对应的三维视角信息，包括：将三个所述特征平面输入神经渲染模块进行解码得到隐空间张量；根据拍摄所述二维图像的二维图像采集设备的相机参数，对所述隐空间张量进行渲染获得所述二维图像对应的三维视角信息，所述三维视角信息包括多角度图像和/或三维几何结构。6.如权利要求5所述的基于二维图像的三维重建方法，其特征在于，所述根据拍摄所述二维图像的二维图像采集设备的相机参数，对所述正交三特征平面进行渲染，获得所述二维图像对应的三维视角信息，还包括：所述神经渲染模块包括解码器和渲染器...
【专利技术属性】
技术研发人员：邹航，刘巧俏，张琦，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。