一种基于图像的物品三维重建算法制造技术

一种基于图像的物品三维重建算法，物品的自动三维重建技术通常可以分为两大类，一类称之为“主动式”，另一类则为“被动式”，“主动式”和“被动式”指传感器接受信息的不同方式。一般而言，“主动式”三维重建需要先通过硬件投射出预设的信号，经由物体以后再被传感器捕捉；而“被动式”三维重建指利用周围环境如自然光的反射，使用相机获取图像，然后通过特定算法计算得到物体的立体空间信息。通常来说，主动式的重建方式精度会更高，但受制于投影设备，分辨率一般相对较低；而被动式的重建方式往往精度相对低一些，但分辨率较高（与图像分辨率相关）。本专利融合了低分辨率和高分辨率的信息，低分辨率情况下，可以有更大的感受视野，能帮助区分验证像素对应关系，有利于重建的完整度；而高分辨率则能提高重建精度。将二者结合起来，可以在保证精度的同时，提高重建完整度。通过该算法，手机自带的高分辨率相机就能实现物品的三维重建，市面上普及程度较高的智能手机就能轻松满足拍摄需求，能让更多用户参与到元宇宙的内容建设中。元宇宙的内容建设中。

【技术实现步骤摘要】
一种基于图像的物品三维重建算法


[0001]本专利技术涉及大数据/AI领域。

技术介绍

[0002]在元宇宙空间中，数字化身对应的是一个个三维模型，数字化的过程即是三维重建过程。从元宇宙世界“人”、“货”、“场”的角度来说，“人”和“场”由于不同个体之间的差异性较小，因此很多建模工作都依赖于人工通过专业软件去建立标准模型，再通过设置和调整参数去获取不同的个体。而对于“货”而言，由于物品形状复杂、纹理多变，且极具个性化的属性，往往导致通过建模软件制作出的模型需耗费大量的时间。本专利将展示一种基于图像的物品三维重建算法，实现物品全方位、多角度环绕拍摄，支持通过照片生成物品的3D模型。

技术实现思路

[0003]基于图像的物品三维重建算法需要解决两个核心问题：一个是相机空间位置的恢复问题，即相机是在空间中哪个位置对物体进行拍摄的；另一个则是如何确定同一个物理点在不同相机中的像素位置对应关系。基于要解决的这两个核心问题，一个标准的算法流程如下：首先，接收输入物体的图像后，算法会对图像进行预处理，主要是做背景抠除，只保留被拍摄的物体本身，之后所有的图像运算都将限制在物体的蒙版上进行。这一步骤并非必须，但是可以有效地减少后续运算时间，去除多余的重建噪声。接下来便是解决上文提出来的两个核心问题。
[0004]所述的方法及系统主要包括相机空间位置的问题和如何确定物理点在不同相机的像素位置对应关系的问题。
[0005]位姿恢复模块（1）：解决的是相机空间位置的问题。
[0006]稠密点云生成模块（2）：解决的是如何确定物理点在不同相机的像素位置对应关系的问题。
[0007]系统分析流程：1、位姿恢复模块解决的是相机空间位置的问题，这步采用传统的Structure from motion（SFM）技术来实现，同时结合自有的数据采集方式，对其进行了改进：简单来说，就是先构建图像特征，找到图像上一些有显著特征的点，通常是一些明暗变化或者有形状特征的位置；然后通过特征的匹配，在图像序列中找到一组又一组的特征点对应序列。通过这些特征的对应，在两幅图中利用三角测量法实现初始相对位姿的估计；在多幅图中则利用Perspective n Points(PnP)方法进行重投影位姿优化，实现多相机位姿的估计。最后，基于所有的特征匹配序列，完成全局的捆集调整（bundle adjustment），因此寻找图像之间的特征匹配关系就变得尤为重要。
[0008]对于有序的输入数据，通常只需要计算当前图像与前后序列图像的匹配关系；而
对于无序的输入数据，则往往需要穷尽各种匹配的可能。本算法结合多圈的数据采集方式，提出一种介于有序和无序之间的混合匹配模式。
[0009]2、稠密点云生成模块解决的是如何确定物理点在不同相机的像素位置对应关系的问题，通过三角测量法完成深度估计及融合。位姿恢复模块还将产生一个副产品，即物体的一个稀疏点云表达，它将作为初值帮助稠密点云生成模块完成深度估计，并在获取物体的三维点云表达后，将其进行网格化、纹理生成等操作，得到一个对渲染引擎更为友好的三维表达方式。
[0010]同时，参照神经网络方法对传统方法进行了算法改造，大大地提高了物体重建的完整度，融合了低分辨率和高分辨率的信息，低分辨率情况下，可以有更大的感受视野，能够帮助区分验证像素对应关系，有利于重建的完整度；而高分辨率则能提高重建精度。将二者结合起来，可以在保证精度的同时，提高重建完整度。
附图说明
[0011]图1为算法流程图。
[0012]图2为利用新的匹配方式得到的图像节点特征匹配图。
具体实施方式
[0013]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0014]1.接收输入物体的图像后，算法对图像进行预处理做背景抠除，只保留被拍摄的物体本身，之后所有的图像运算都将限制在物体的蒙版上进行。这一步骤并非必须，但是却可以有效地减少后续运算时间，去除多余的重建噪声。
[0015]2.解决相机空间位置的恢复问题位姿恢复模块解决的是相机空间位置的问题，通常这步可以采用Structurefrommotion（SFM）技术来实现，同时结合自有的数据采集方式，对其进行了改进：简单来说，就是先构建图像特征，找到图像上一些有显著特征的点，通常是一些明暗变化或者有形状特征的位置；然后通过特征的匹配，在图像序列中找到一组又一组的特征点对应序列。通过这些特征的对应，在两幅图中利用三角测量法实现初始相对位姿的估计；在多幅图中则利用PerspectivenPoints(PnP)方法进行重投影位姿优化，实现多相机位姿的估计。最后，基于所有的特征匹配序列，完成全局的捆集调整（bundleadjustment），因此寻找图像之间的特征匹配关系就变得尤为重要。
[0016]对于有序的输入数据，通常只需要计算当前图像与前后序列图像的匹配关系；而对于无序的输入数据，则往往需要穷尽各种匹配的可能。本算法结合多圈的数据采集方式，提出一种介于有序和无序之间的混合匹配模式。以单圈36张图，两圈的采集方式为例，新的数据匹配方式可以将匹配次数从2556次降到1728次，在保证精度的同时也极大的节省了运算时间。图2展示的就是一个利用新的匹配方式得到的图像节点特征匹配图，以及对应的位
姿恢复结果。从图上即可看出数据的组织方式与采集方式完美地结合在了一起。。
[0017]3.确定同一个物理点在不同相机中的像素位置对应关系稠密点云生成模块解决的是如何确定物理点在不同相机的像素位置对应关系的问题，通过三角测量法完成深度估计及融合。位姿恢复模块还将产生一个副产品，即物体的一个稀疏点云表达，它将作为初值帮助稠密点云生成模块完成深度估计，并在获取物体的三维点云表达后，将其进行网格化、纹理生成等操作，得到一个对渲染引擎更为友好的三维表达方式。
[0018]同时，参照神经网络方法对传统方法进行了算法改造，大大地提高了物体重建的完整度，融合了低分辨率和高分辨率的信息，低分辨率情况下，可以有更大的感受视野，能够帮助区分验证像素对应关系，有利于重建的完整度；而高分辨率则能提高重建精度。将二者结合起来，可以在保证精度的同时，提高重建完整度。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的物品三维重建算法，其特征在于：基于图像的物品三维重建算法需要解决两个核心问题：一个是相机空间位置的恢复问题，即相机是在空间中哪个位置对物体进行拍摄的；另一个则是如何确定同一个物理点在不同相机中的像素位置对应关系。2.根据权利要求1所述的一种基于图像的物品三维重建算法，其特征在于：位姿恢复模块解决的是相机空间位置的问题，这步采用传统的Structure from motion（SFM）技术来实现，同时结合自有的数据采集方式，对其进行了改进。3.根据权利要求1所述的一种基于图像的物品三维重建算法，其特征在于：稠密点云生成模块解决的是如何确定物理点在不同相机的像素位置对应关系的问题，通...

【专利技术属性】
技术研发人员：邢青，潘文宇，何叶，
申请(专利权)人：新国脉数字文化股份有限公司，
类型：发明
国别省市：