用于产生三维人脸模型的系统和方法技术方案

本发明专利技术描述一种用于三维人脸生成的方法。基于深度图和反向第一矩阵而计算反向深度图。由其中像素垂直对准并且水平不同的两个图像生成所述反向第一矩阵。所述反向深度图经正规化以纠正由图像校正引起的所述深度图中的失真。基于所述反向深度图和所述两个图像中的一者而生成三维人脸模型。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术大体上涉及电子装置。更具体来说，本专利技术涉及用于产生三维(3D)人脸模型的系统和方法。
技术介绍
在最近几十年中，电子装置的使用已变得普遍。具体来说，电子技术的进步已降低了越来越复杂且有用的电子装置的成本。成本降低和消费者需求已使电子装置的使用剧增，使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因此需要电子装置的新的且改进的特征。更具体来说，人们常常寻求执行新功能和/或更快、更有效或以更高质量执行功能的电子装置。一些电子装置(例如，相机、视频摄像机、数码相机、蜂窝式电话、智能电话、计算机、电视机等)捕获或利用图像。举例来说，数码相机可以捕获数字图像。人们常常寻求电子装置的新的和/或改进的特征。如可从此论述观察到，添加电子装置的新的和/或改进的特征的系统和方法可以是有益的。
技术实现思路
描述用于三维人脸生成的方法。基于深度图和反向第一矩阵而计算反向深度图。由其中像素垂直对准并且水平不同的两个图像生成反向第一矩阵。反向深度图经正规化以纠正由图像校正引起的深度图中的失真。基于反向深度图和两个图像中的一者而生成三维人脸模型。可以获得对应于两个图像的第一图像的第一矩阵。可以获得对应于两个图像的第二图像的第二矩阵。第一矩阵可以施加到第一图像以获得第一校正图像。第二矩阵可以施加到第二图像以获得第二校正图像。第一矩阵可以是对应于第一图像的单应矩阵，并且第二矩阵可以是对应于第二图像的单应矩阵。计算反向深度图可以包含反向第一矩阵以获得反向第一矩阵以及将所述反向第一矩阵施加到深度图。可以从第一校正图像和第二校正图像确定深度图。可以从两个图像确定基本矩阵。获得第一矩阵和第二矩阵可以包含分解基本矩阵。两个图像可以是相对于人脸的不同角度。将反向深度图正规化可以包含将反向深度图中的像素的子集正规化。将反向深度图正规化可以包含使反向深度图旋转、倾斜和缩放中的一者。使反向深度图倾斜可以包含确定反向深度图的子集选择中的每一列像素的深度导数，确定子集选择的所有深度导数的平均值，将所述平均值与阈值相比较以及基于所述比较而使反向深度图倾斜。子集选择可以包含矩形区域。子集选择可以包含第一区域和第二区域。将平均值与阈值相比较还可以包含将第一区域的平均值与第二区域的平均值之间的差与阈值相比较。使反向深度图旋转可以包含检测反向深度图中的对称特征，所述对称特征具有左特征和右特征,以及按比例调整反向深度图以使左特征和右特征水平齐平。使反向深度图缩放可以包含检测反向深度图中的对称特征，所述对称特征具有左特征和右特征，以及调整反向深度图以使左特征和右特征按比例均等并且处于同一深度水平。还描述用于三维人脸生成的设备。所述设备包含处理器和存储在与所述处理器进行电子通信的存储器中的可执行指令。所述设备基于深度图和反向第一矩阵而计算反向深度图。由其中像素垂直对准并且水平不同的两个图像生成反向第一矩阵。所述设备还将反向深度图正规化以纠正由图像校正引起的深度图中的失真。所述设备基于反向深度图和两个图像中的一者而进一步生成三维人脸模型。描述用于三维人脸生成的另一设备。所述设备包含用于基于深度图和反向第一矩阵而计算反向深度图的装置。由其中像素垂直对准并且水平不同的两个图像生成反向第一矩阵。所述设备还包含用于将反向深度图正规化以纠正由图像校正引起的深度图中的失真的装置。所述设备进一步包含用于基于反向深度图和两个图像中的一者而生成三维人脸模型的装置。描述用于三维人脸生成的计算机程序产品。所述计算机程序产品包含具有在其上的指令的非暂时性计算机可读媒体。所述指令包含用于使电子装置基于深度图和反向第一矩阵而计算反向深度图的代码。由其中像素垂直对准并且水平不同的两个图像生成反向第一矩阵。所述指令还包含用于使电子装置将反向深度图正规化以纠正由图像校正引起的深度图中的失真。所述指令进一步包含用于使电子装置基于反向深度图和两个图像中的一者而生成三维人脸模型的代码。附图说明图1是说明用于产生三维(3D)人脸模型的组件的框图；图2说明用于产生反向(inverse)深度图的过程；图3是说明用于产生3D人脸模型的方法的流程图；图4说明两个倾斜图像；图5是说明用于产生3D人脸模型的另一方法的流程图；图6是说明用于使反向深度图倾斜的方法的流程图；图7说明用于将反向深度图正规化的过程；图8是说明用于产生3D人脸模型的另一方法的流程图；图9是说明用于将反向深度图正规化的方法的流程图；并且图10说明可以包含于电子装置内的某些组件。具体实施方式三维(3D)人脸模型可以用于不同的应用，例如虚拟现实和人脸识别。3D模型可以由一组二维(2D)图像生成。举例来说，显示人脸图像的一组2D图片可以用于创建人脸的3D渲染。举例来说，使用由电话捕获的两个图像的3D人脸模型重构可以提供与播音室环境相比成本较低的方案。在一个已知方法中，由两个立体图像建构3D人脸模型。在这种方法中，相机校准不是必需的。但是这种方法使用对极几何来直接估计深度。为寻找两个图像之间的对应极线，需要在白板前面拍摄人脸图像。在白板上，必须包含并且放置黑色矩形，以使得目标人脸的高度拟合于所述黑色矩形内。在这种方法中，必须手动地手编图像以用于矩形的四个拐角上的任何极端色彩。因此，这种方法的应用有限并且需要大量的用户交互。在其它已知的基于立体相机的3D人脸重构方法中，立体相机硬件和相机需要校准。相机校准可能复杂、昂贵并且费时，并且可能需要大量的用户交互。在另一已知方法中，通用人脸模型和数个2D人脸图像用于建构3D人脸。脸部特征是匹配的，并且所述通用人脸模型拟合于这些特征点。随后运算人脸深度的结构。但是这种方法取决于通用人脸模型、脸部特征检测等的架构。这种方法可以不捕获个体的自然人脸。换句话说，这种方法可以在将个体的人脸施加到一般人脸模型时使其失真。类似地，在涉及通过单目相机进行3D人脸重构的另一已知方法中，使用单2D图像将人脸重构成3D结构。这种方法采用含有实例补丁的对象(例如，人脸模型)的资料库。在这种方法中，实践中使用数据组并不保证对象的存在足够类似于对准确重建的查询。然而，许多现用的3D图像生成方法使用的图像校正流程在个体的人脸渲染为3D人脸模型时使其失真。图像校正大体上包含检测和匹配一对2D图像之间的一组对应点。通过这种方法，校正图像向左偏斜并且失真。在其它方法中，需要手动修改和纠正以消除由图像校正引起的失真。本文档来自技高网...

【技术保护点】
一种用于三维人脸生成的方法，其包括：基于深度图和反向第一矩阵而计算反向深度图，其中所述反向第一矩阵由其中像素垂直对准并且水平不同的两个图像生成；将所述反向深度图正规化以纠正由图像校正引起的所述深度图中的失真；以及基于所述反向深度图和所述两个图像中的一者而生成三维人脸模型。

【技术特征摘要】
【国外来华专利技术】2013.07.08 US 13/936,8671.一种用于三维人脸生成的方法，其包括：
基于深度图和反向第一矩阵而计算反向深度图，其中所述反向第一矩阵由其中像
素垂直对准并且水平不同的两个图像生成；
将所述反向深度图正规化以纠正由图像校正引起的所述深度图中的失真；以及
基于所述反向深度图和所述两个图像中的一者而生成三维人脸模型。
2.根据权利要求1所述的方法，其进一步包括：
获得对应于所述两个图像的第一图像的第一矩阵；
获得对应于所述两个图像的第二图像的第二矩阵；
将所述第一矩阵施加到所述第一图像以获得第一校正图像；以及
将所述第二矩阵施加到所述第二图像以获得第二校正图像。
3.根据权利要求2所述的方法，其中所述第一矩阵是对应于所述第一图像的单应矩
阵，并且其中所述第二矩阵是对应于所述第二图像的单应矩阵。
4.根据权利要求2所述的方法，其中计算所述反向深度图包括：
使所述第一矩阵反向以获得所述反向第一矩阵；以及
将所述反向第一矩阵施加到所述深度图。
5.根据权利要求2所述的方法，其进一步包括从所述第一校正图像和所述第二校正图
像确定所述深度图。
6.根据权利要求2所述的方法，其进一步包括从所述两个图像确定基本矩阵。
7.根据权利要求6所述的方法，其中获得所述第一矩阵和所述第二矩阵包括分解所述
基本矩阵。
8.根据权利要求1所述的方法，其中所述两个图像是相对于人脸的不同角度。
9.根据权利要求1所述的方法，其中将所述反向深度图正规化包括将所述反向深度图
中的像素的子集正规化。
10.根据权利要求1所述的方法，其中将所述反向深度图正规化包括将所述反向深度图
旋转、倾斜和缩放中的一者。
11.根据权利要求10所述的方法，其中使所述反向深度图倾斜包括：
确定所述反向深度图的子集选择中的每一列像素的深度导数；
确定所述子集选择的所有所述深度导数的平均值；
将所述平均值与阈值相比较；以及
基于所述比较而使所述反向深度图倾斜。
12.根据权利要求11所述的方法，其中所述子集选择包括矩形区域。
13.根据权利要求11所述的方法，其中所述子集选择包括第一区域和第二区域，并且
其中比较包括将所述第一区域的平均值与所述第二区域的平均值之间的差与阈值
相比较。
14.根据权利要求10所述的方法，其中使所述反向深度图旋转包括：
检测所述反向深度图中的对称特征，其中所述对称特征包括左特征和右特征；以
及
按比例调整所述反向深度图以使所述左特征和所述右特征水平齐平。
15.根据权利要求10所述的方法，其中使所述反向深度图缩放包括：
检测所述反向深度图中的对称特征，其中所述对称特征包括左特征和右特征；以
及
调整所述反向深度图以使所述左特征和所述右特征按比例均等并且处于同一深
度水平。
16.一种用于三维人脸生成的设备，其包括：
处理器；
存储器，其与所述处理器进行电子通信；
存储于所述存储器中的指令，所述指令可执行以：
基于深度图和反向第一矩阵而计算反向深度图，其中所述反向第一矩阵由其中
像素垂直对准并且水平不同的两个图像生成；
将所述反向深度图正规化以纠正由图像校正引起的所述深度图中的失真；以及
基于所述反向深度图和所述两个图像中的一者而生成三维人脸模型。
17.根据权利要求16所述的设备，其进一步包括可执行以进行以下操作的指令：
获得对应于所述两个图像的第一图像的第一矩阵；
获得对应于所述两个图像的第二图像的第二矩阵；
将所述第一矩阵施加到所述第一图像以获得第一校正图像；以及
将所述第二矩阵施加到所述第二图像以获得第二校正图像。
18.根据权利要求17所述的设备，其中所述第一矩阵是对应于所述第一图像的单应矩
阵，并且其中所述第二矩阵是对应于所述第二图像的单应矩阵。
19.根据权利要求17所述的设备，其中可执行以计算所述反向深度图的所述指令包括
可执行以进行以下操作的指令：
使所述第一矩阵反向以获得所述反向第一矩阵；以及
将所述反向第一矩阵施加到所述深度图。
20.根据权利要求17所述的设备，其进一步包括可执行以从所述第一校正图像和所述
第二校正图像确定所述深度图的指令。
21.根据权利要求17所述的设备，其进一步包括可执行以从所述两个图像确定基本矩
阵的指令。
22.根据权利要求21所述的设备，其中可执行以获得所述第一矩阵和所述第二矩阵的
所述指令包括可执行以分解所述基本矩阵的指令。
23.根据权利要求16所述的设备，其中所述两个图像是相对于人脸的不同角度。
24.根据权利要求16所述的设备，其中可执行以将所述反向深度图正规化的所述指令

\t包括可执行以将所述反向深度图中的像素的子集正规化的指令。
25.根据权利要求16所述的设备，其中可执行以将所述反向深度图正规化的所述指令
包括可执行以使所述反向深度图旋转的指令、可执行以使所述反向深度图倾斜的指

【专利技术属性】
技术研发人员：郭烽，毕宁，齐颖勇，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US