三维模型的建立方法和装置制造方法及图纸

本发明专利技术公开了一种三维模型的建立方法和装置，其中，该方法包括：对于接收到的每个图像帧，根据该图像帧中目标对象的深度信息确定该图像帧中目标对象的姿态；将该图像帧中目标对象所对应的空间点云的位置还原至目标对象处于基准姿态时的位置；根据还原后的空间点云对基准帧中目标对象的处于基准姿态时的基准点云进行更新；根据更新后的基准点云建立三维模型。本发明专利技术通过对图像帧中的目标姿态进行估计并对空间点云位置进行还原，能够有效估计目标的姿态，降低建模的难度；另外，本发明专利技术能够使得用于建模的空间点云中点的密度不断增加，进而提高建模的准确度，并且能够有助于降低建模的成本。

【技术实现步骤摘要】
三维模型的建立方法和装置
本专利技术涉及图像处理领域，并且特别地，涉及一种三维模型的建立方法和装置。
技术介绍
传统的三维模型重建系统主要包含三种技术路线，其主要区别在于所使用的数据采集设备。第一种方式是基于采集二维图像数据，利用三角面片或参数曲面来拟合二维图像上的图像特征，这种方法所需的输入数据比较简单且易于获取，但在表达精度和运算速度上的能力均有限；第二种方式是基于三维扫描设备，这种方法能够生成准确的三维模型，但用于采集输入数据的硬件设备的价格非常昂贵，很难推广；第三种是基于空间点云，这种方法可以通过多种手段获取输入数据，且其生成的模型精度能够随着输入数据的增加而提高，本专利技术采用的技术路线正是这种方案。 在基于空间点云的头部三维模型重建方案中，其难点在于如何准确定位头部位置并估计其姿态角度。现有的脸部检测技术可以在单个视频帧中检测到正面脸或角度不太大的侧面脸，但当头部的旋转角度较大甚至为背面时，现有的检测方法会失败。对于检测到的脸部正面，通常会采用模板匹配或几何估计的方法来估计其姿态角度，这种方法受限于模板或几何假设，难以保证其精度。另外，已有的基于空间点云的三维建模精确度将直接受到视频/图像采集设备精度的影响，如果视频/图像采集设备的精度较低，则采集到的空间点云中的点分布将较为稀疏，使得最终建立的三维模型与实际目标的形态存在较大误差。 针对相关技术中基于空间点云的三维建模方案难以估计对象姿态、以及精度较差的问题，目如尚未提出有效的解决方案。
技术实现思路
针对相关技术中基于空间点云的三维建模方案难以估计对象姿态、以及精度较差的问题，本专利技术提出一种三维模型的建立方法和装置，能够对目标对象的姿态进行有效估计，并且能够降低图像采集设备的性能对建模准确度的影响。 本专利技术的技术方案是这样实现的: 根据本专利技术的一个方面，提供了一种三维模型的建立方法。 根据本专利技术的三维模型的建立方法包括: 对于接收到的每个图像帧，根据该图像帧中目标对象的深度信息确定该图像帧中目标对象的姿态； 将该图像帧中目标对象所对应的空间点云的位置还原至目标对象处于基准姿态时的位置； 根据还原后的空间点云对基准帧中目标对象的处于基准姿态时的基准点云进行更新； 根据更新后的基准点云建立三维模型。 根据本专利技术的另一方面，提供了一种三维模型的建立装置。 根据本专利技术的三维模型的建立装置包括: 确定模块，用于对接收到的每个图像帧，根据该图像帧中目标对象的深度信息确定该图像帧中目标对象的姿态； 还原模块，用于将该图像帧中目标对象所对应的空间点云的位置还原至目标对象处于基准姿态时的位置； 更新模块，用于根据还原后的空间点云对基准帧中目标对象的处于基准姿态时的基准点云进行更新； 建立模块，用于根据更新后的基准点云建立三维模型。 本专利技术通过对图像帧中的目标姿态进行估计并对空间点云位置进行还原，能够有效估计目标的姿态，降低建模的难度；另外，本专利技术通过利用后续图像帧中的空间点云对基准帧中的空间点云进行更新，能够使得用于建模的空间点云中点的密度不断增加，即使用于采用图像的设备性能不高，也能够通过对多个图像帧点云的组合得到更加密集的点云，进而提高建模的准确度，并且能够有助于降低建模的成本。 【附图说明】 为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 图1是本专利技术实施例的三维模型的建立方法的流程图； 图2是本专利技术实施例的三维模型的建立方法的具体实现过程的流程图； 图3是本专利技术实施例的三维模型的建立装置的框图； 图4是实现本专利技术技术方案的计算机的示例性结构框图。 【具体实施方式】 下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。 根据本专利技术的实施例，提供了一种三维模型的建立方法。 如图1所示，根据本专利技术实施例的三维模型的建立方法包括: 步骤S101，对于接收到的每个图像帧，根据该图像帧中目标对象的深度信息确定该图像帧中目标对象的姿态；其中，本文中所说的姿态可以包括目标对象相对于图像设备所在位置(例如，拍摄位置)的旋转角度和/或位置；例如，在目标对象为人脸部的情况下，该姿态可以包括该人脸的角度、和/或人脸的位置(这里的位置可以包括人脸的高度位置和/或水平位置)。 步骤S103，将该图像帧中目标对象所对应的空间点云的位置还原至目标对象处于基准姿态(其中，基准姿态是指目标对象处于基准位置，且相对于拍摄点的旋转角度为基准角度时的姿态)时的位置。具体而言，因为图像帧采样的间隔较短，所以在接收到的单个图像帧(其中包含深度信息)中，目标对象所在的区域与基准帧(当前三维模型)的点云区域基本上都会有交叠(即，在基准帧中和当前图像帧中都采包括目标对象的某个部位，而在该当前图像中该部位所对应的点同样存在于基准帧中，只是因为该当前帧中的目标对象相比于基准帧中的该目标对象存在姿态变化(包括旋转和/或位移)，导致该部位所对应的这些点的位置出现变化，不同于基准帧中相应点的位置)，根据当前图像帧中该目标对象所在区域的深度信息，就能够确定该图像帧中的目标对象相对于基准位置的旋转角度与平移距离，这样，就能够对当前帧中目标对象所在区域的点云进行旋转和移位，使得目标对象在该当前图像帧中所对应的大量空间离散点，变换至当目标对象处于基准帧中目标对象处于基准姿态时各点的相应空间位置； 步骤S105，根据还原后的空间点云对基准帧中目标对象的处于基准姿态时的基准点云进行更新； 步骤S107，根据更新后的基准点云建立三维模型(建立三维模型既包括建立新的三维模型，也包括利用当前更新后的基准点云对原三维模型进行更新)。 借助于本专利技术的上述技术方案，能够通过后续接收到的图像帧中的空间点云对基准帧的空间点云进行不断更新，即使视频采集设备的性能较差，只能够采集到稀疏的点云，但是通过这种不断进行图像采集并更新基准点云的方案，能够让原本较为稀疏的点变得更加密集，从而有效提高了建模的准确度，解决了很多情况下因为设备精度不足导致建模准确性下降的问题，避免采用昂贵的图像采集设备；并且，本专利技术通过对点云的位置进行还原，能够克服难以设置图像采集设备的问题，即使图像采集设备不能够根据目标对象的姿态而改变位置，也能够将其还原为基准姿态，从而对基准姿态的图像帧进行更新，降低了建模的难度。 并且，对于接收的每个图像帧，在还原该图像帧中目标对象所对应的空间点云的位置之前，可以先判断该图像帧中目标对象的尺寸与基准帧中目标对象的尺寸是否相同；在判断结果为尺寸不同的情况下，根据该图像帧中目标对象与基准帧中目标对象的尺寸差异，对目标对象的尺寸进行缩放。 通过先进行尺寸判断再进行点云位置还原，能够有效避免因为目标对象远离或靠近图像采集设备而导致当前图像帧的点云与原有图像帧的点云存本文档来自技高网...

【技术保护点】
一种三维模型的建立方法，其特征在于，包括：对于接收到的每个图像帧，根据该图像帧中目标对象的深度信息确定该图像帧中目标对象的姿态；将该图像帧中目标对象所对应的空间点云的位置还原至所述目标对象处于基准姿态时的位置；根据还原后的所述空间点云对基准帧中所述目标对象的处于基准姿态时的基准点云进行更新；根据更新后的所述基准点云建立三维模型。

【技术特征摘要】
1.一种三维模型的建立方法，其特征在于，包括: 对于接收到的每个图像帧，根据该图像帧中目标对象的深度信息确定该图像帧中目标对象的姿态； 将该图像帧中目标对象所对应的空间点云的位置还原至所述目标对象处于基准姿态时的位置； 根据还原后的所述空间点云对基准帧中所述目标对象的处于基准姿态时的基准点云进行更新； 根据更新后的所述基准点云建立三维模型。2.根据权利要求1所述的建立方法，其特征在于，进一步包括: 对于接收的每个图像帧，在还原该图像帧中目标对象所对应的空间点云的位置之前，判断该图像帧中目标对象的尺寸与所述基准帧中目标对象的尺寸是否相同； 在判断结果为尺寸不同的情况下，根据该图像帧中目标对象与所述基准帧中目标对象的尺寸差异，对所述目标对象的尺寸进行缩放。3.根据权利要求1所述的建立方法，其特征在于，进一步包括: 对基准点云中的每个点预先设定置信度； 对于基准点云中的 每个点，根据该点与后续接收到的图像帧中目标对象的点云中还原后的相应点之间的位置差异，调整该点的置信度的数值。4.根据权利要求3所述的建立方法，其特征在于，在根据更新后的所述基准点云建立三维模型时，根据更新后的所述基准点云中点的置信度建立三维模型。5.根据权利要求4所述的建立方法，其特征在于，根据还原后的所述空间点云对基准帧中所述目标对象的处于基准姿态时的基准点云进行更新进一步包括: 将置信度的数值低于预定值的点删除。6.根据权利要求1所述的建立方法，其特征在于，对于接收到的每个图像帧，根据还原后的空间点云对基准帧中所述目标对象处于基准姿态时的基准点云进行更新包括: 将该图像帧中目标对象的空间点云与所述目标对象的基准点云进行组合，得到更新后的所述基准点云。7.根据权利要求1所述的建立方法，其特征在于，进一步包括: 在接收到首个图像帧时，在该首个图像帧中检测目标对象，确定该首个图像帧中所述目标对象所在的位置； 对于晚于所述首个图像帧接收到的每个后续图像帧，跟踪所述目标对象，确定所述目标对象在每个后续图像帧中的位置，其中，对于无法通过跟踪确定所述目标对象所在位置的后续图像帧，在该后续图像帧中重新检测所述目标对象。8.根据权利要求1至7中任一项所述的建立方法，其特征在于，所述每个图像帧由视频采集设备采集，所述视频采集设备包括深度视频采集设备、和/或彩色视频采集设备。9.根据权利要求1至7中任一项所述的建立方法，其特征在于，所述目标对象包括人的头部或脸部。10.根据权利要求1至7中任一项所述的建立方法，其特征在于，所述基准姿态为目标对象处于正面的姿态。11.一种三维模型的建立装置，其特征在于，包括:确定模...

【专利技术属性】
技术研发人员：佟强，李亮，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP