基于手机摄像和云服务器的三维人体头部的重建系统及方法技术方案

本发明专利技术公开了一种基于手机摄像和云服务器的三维人头重建系统及方法，(1)通过图像处理生成特征点。(2)通过特征点的对比、匹配构建出每张图像在三维空间中的位置关系。(3)以各图片特征点及位置关系为基础，初步生成三维模型。(4)通过恢复三维模型的光照条件，进一步恢复具有高可信度的几何模型。本发明专利技术的有益效果如下：A将多张手机拍摄的照片进行处理、匹配，生成还原度高的三维模型。B减少智能手机的运算负荷，引入云处理器进行高负荷运算；如引入云服务器，处理海量图片及高负荷三维运算；将图片和三维模型进行编码压缩、格式转换，使数据上传、下载更加快速流畅。

【技术实现步骤摘要】
基于手机摄像和云服务器的三维人体头部的重建系统及方法
：本专利技术属于计算机领域，涉及一种三维重建系统，尤其是一种基于手机摄像和云服务器的三维人体头部的重建系统及方法。
技术介绍
：人体头部三维模型在医学研究、虚拟现实等领域有着广泛的应用前景。而普通的三维重建技术操作步骤较难，对电脑计算能力的要求较高，不合适一般用户使用。因此，适用于大众的三维人头重建技术显得尤为重要。中国专利(CN201610296789.9)公开了一种增强现实实时交互系统及其方法，该交互系统包括远程采集端和控制终端，远程采集端实时采集现实世界的视频信息，形成可用于与虚拟世界对象进行组合以输出增强现实图像的源信息，并将该源信息远程传送给所述控制终端，控制终端接收由远程采集端发送过来的源信息，其将接收到的源信息与相对应的虚拟世界对象的详细信息组合而形成增强现实图像，并在增强现实中输出所形成的增强现实图像。此外，远程采集端设有驱动器，控制终端设有控制器，控制器可通过无线向驱动器发出运动控制信号以控制驱动器运动，使得控制终端可远程控制所述远程采集端进行运动，使远程采集端被控运动而可按用户需要实时的连续的采集所需视角状态下的现实世界的视频信息。该专利采集的是视频信息，采集数据量大，通过视频信息进行增强现实，对设备终端要求较高，不适用于普通的手机。中国专利(CN201610481363.0)公开了一种可实现3D模型实时上色的增强现实系统，包括显示模块、摄像头模块、数据库模块、图形识别模块、3D模型绘制模块、对比模块、3D模型颜色渲染模块。本专利技术可以实现在真实图像上进行染色时，增强现实所呈现的3D模型动画也同时进行相应部位的上色，从而实现增强现实中人和动画的互动，不再局限于动画展示。该专利仅仅只是实现增强现实中人和动画的互动，并没有实现三维体头部的增强现实。如上所述，普通的三维重建技术操作步骤较难，对电脑计算能力的要求较高，不合适一般用户使用，适用于大众的三维人体头部的重建几乎是一片空白。
技术实现思路
：本专利技术的目的在于克服上述现有技术的缺点，提供一种基于手机摄像和云服务器的三维人头重建系统及方法，为手机、平板用户提供了一种全自动、方便快捷的三维人头重建服务，用户只需将想要重建的人头拍摄多张照片并上传至云服务器，即可在数分钟后获取三维模型，并可在手机客户端浏览模型；本专利技术通过如下步骤：1通过图像处理生成特征点。2通过特征点的对比、匹配构建出每张图像在三维空间中的位置关系。3以各图片特征点及位置关系为基础，初步生成三维模型。4通过恢复三维模型的光照条件，进一步恢复具有高可信度的几何模型。本专利技术的目的是通过以下技术方案来实现的：一种基于手机摄像和云服务器的三维人体头部的重建系统，所述重建系统由云服务器、客户端、照片处理模块、三维重建模块、模型浏览模块构成，云服务器进行高负荷运算以减少智能手机的负荷，客户端拥有上传照片、浏览三维模型的功能，照片处理模块用来筛选、处理用户上传的图片，三维重建模块运用先进的海量图片三维重建技术来并行计算图片的特征点，并把特征点合成为三维模型，然后进行过滤、平滑、网状处理，得到最终的三维模型，模型浏览模块将服务器产生的三维模型下载至客户端并展示在用户面前，用户可以在显示器中从各个角度观察三维模型。所述的重建系统的方法，按照如下步骤：(1)用户对想要进行三维重建的人体头部从不同角度拍摄多张照片，并通过安装在智能手机上的客户端将照片上传至云服务器；(2)在云服务器端，计算出每张图片的SIFT特征；(3)根据图片的SIFT特征进行匹配，进而计算基础矩阵并且从中获得本征矩阵，之后对先前获得的本征矩阵进行奇异值分解，将矩阵分解成为两部分，一个旋转部分和一个位移部分，再通过BundleAdjustment优化这些参数；计算出图片的位移、旋转矩阵，及摄像头的内部参数；(4)在云服务器端，根据得到的特征点和相机参数，使用multi-viewstereo(MVS)方法，生成初步的三维模型；(5)在云服务器端，使用shape-from-shading(SfS)方法，通过恢复三维模型的光照条件，进一步优化三维模型质量；(6)用户将云服务器生成的三维模型下载至手机端，通过旋转、滑动、缩放操作来全方位观察三维模型。所述步骤(2)如下：A.构建尺度空间：这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征；图像金字塔的建立，对于一幅图像,建立其在不同尺度的图像，使图像在任何尺度都有对应的特征点；B.找到关键特征点：为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，图片中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点；C.除去不好的特征点：这一步要去掉局部曲率非常不对称的像素；D.给特征点赋值一个128维方向参数，上一步中确定了每幅图中的特征点，为每个特征点计算一个方向，依照这个方向做进一步的计算，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；E.关键点描述子的生成:首先将坐标轴旋转为关键点的方向，以确保旋转不变性，以关键点为中心取8×8的窗口。所述步骤(3)如下：在云服务器端，根据图片的SIFT特征进行匹配，即对图像中所有的描述子进行匹配，匹配上128维表示两个特征点匹配成功，进而计算基础矩阵并且从中获得本征矩阵；之后通过structure-from-motion(SFM)计算出每张图片在三维空间中的位置关系，计算出图片的位移、旋转矩阵，及摄像头的内部参数；也就是对先前获得的本征矩阵进行奇异值分解，将矩阵分解成为两部分，一个旋转部分和一个位移部分，最后再优化这些参数。所述步骤(5)如下：A.根据图像的像素值和空间关系，计算出三维模型上每一点的亮度值；B.根据亮度值和初步的三维模型，在光照条件分块均匀的限制下，计算出三维空间中每一点的关照条件；C.根据光照条件和亮度值的关系，优化三维空间中每一点的法向量，进而优化整个三维模型，使其更加精细。本专利技术的有益效果：A将多张没有额外信息的照片进行处理、匹配，生成还原度高的三维模型。B减少智能手机的运算负荷，引入云处理器进行高负荷运算；如引入云服务器，处理海量图片及高负荷三位运算；将图片和三维模型进行编码压缩、格式转换，使数据上传、下载更加快速流畅。附图说明图1为本专利技术的系统示意图。其中：1为客户端、2为云服务器、3为照片处理模块、4为三维重建模块、5为模型浏览模块。具体实施方式：下面结合附图对本专利技术做进一步详细描述：如图1所示，本专利技术包含云服务器、客户端、照片处理模块、三维重建模块、模型浏览模块。解决传统三维重建技术操作复杂、运算要求高的问题，本专利技术使用云服务器来处理复杂的重建过程。而客户端只留下上传照片、浏览三维模型的功能，用户操作会得到大幅简化。照片处理模块用来筛选、处理用户上传的图片。三维重建模块运用先进的海量图片三维重建技术来并行计算图片的特征点，并把特征点合成为三维模型，然后进行过滤、平滑、网状处理，得本文档来自技高网...

【技术保护点】
一种基于手机摄像和云服务器的三维人体头部的重建系统，其特征在于：所述重建系统由云服务器、客户端、照片处理模块、三维重建模块、模型浏览模块构成，云服务器进行高负荷运算以减少智能手机的负荷，客户端拥有上传照片、浏览三维模型的功能，照片处理模块用来筛选、处理用户上传的图片，三维重建模块运用先进的海量图片三维重建技术来并行计算图片的特征点，并把特征点合成为三维模型，然后进行过滤、平滑、网状处理，得到最终的三维模型，模型浏览模块将服务器产生的三维模型下载至客户端并展示在用户面前，用户可以在显示器中从各个角度观察三维模型。

【技术特征摘要】
1.一种基于手机摄像和云服务器的三维人体头部的重建系统，其特征在于：所述重建系统由云服务器、客户端、照片处理模块、三维重建模块、模型浏览模块构成，云服务器进行高负荷运算以减少智能手机的负荷，客户端拥有上传照片、浏览三维模型的功能，照片处理模块用来筛选、处理用户上传的图片，三维重建模块运用先进的海量图片三维重建技术来并行计算图片的特征点，并把特征点合成为三维模型，然后进行过滤、平滑、网状处理，得到最终的三维模型，模型浏览模块将服务器产生的三维模型下载至客户端并展示在用户面前，用户可以在显示器中从各个角度观察三维模型。2.基于权利要求1所述的重建系统的方法，其特征在于，按照如下步骤：(1)用户对想要进行三维重建的人体头部从不同角度拍摄多张照片，并通过安装在智能手机上的客户端将照片上传至云服务器；(2)在云服务器端，计算出每张图片的SIFT特征；(3)根据图片的SIFT特征进行匹配，进而计算基础矩阵并且从中获得本征矩阵，之后对先前获得的本征矩阵进行奇异值分解，将矩阵分解成为两部分，一个旋转部分和一个位移部分，最后再优化这些参数；计算出图片的位移、旋转矩阵，及摄像头的内部参数；(4)在云服务器端，根据得到的特征点和相机参数，使用multi-viewstereo(MVS)方法，生成初步的三维模型；(5)在云服务器端，使用shape-from-shading(SfS)方法，通过恢复三维模型的光照条件，进一步优化三维模型质量；(6)用户将云服务器生成的三维模型下载至手机端，通过旋转、滑动、缩放操作来全方位观察三维模型。3.基于权利要求2所述的重建系统的方法，其特征在于，所述步骤(2)如下：A.构建尺度空间：这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征；图像金字塔的建立，对于一幅图像,建立其在不同尺度的图像，使图像在任何尺度都有对应的...

【专利技术属性】
技术研发人员：徐迪，
申请(专利权)人：徐迪，
类型：发明
国别省市：陕西,61