一种基于多视图的3DMM人脸模型三维重建方法技术

本发明专利技术公开了一种基于多视图的3DMM人脸模型三维重建方法。为建模对象拍摄人脸图像；使用单幅图像生成人脸模型的方法，得到建模对象的一组三维模型，完成人脸模型顶点初始化；提取图像中面部特征点的二维像素坐标，通过插值计算出三维空间坐标，计算每幅图像的投影矩阵；利用投影矩阵计算顶点的RGB颜色值，在多幅图像中计算顶点的颜色相似度，利用颜色相似度调整每个顶点的位置，完成人脸建模；最后生成人脸模型纹理图。本发明专利技术方案与传统方法相比，建模效率明显提升，降低建模成本；与单幅图像进行人脸重建相比，通过多幅图像形成了有效的约束；与传统3DMM人脸模型重建算法相比，提升了模型表征能力和建模的保真度。了模型表征能力和建模的保真度。了模型表征能力和建模的保真度。

【技术实现步骤摘要】
一种基于多视图的3DMM人脸模型三维重建方法


[0001]本专利技术属于三维模型重建领域，涉及一种基于多视图的3DMM人脸模型三维重建的方法。

技术介绍

[0002]在虚拟现实技术(VR)和增强现实技术(AR)的应用中，从二维人脸图像重建出真实的三维人脸模型处于越来越重要的地位。在传统的计算机动画产业中，为了生成具有高保真的人物形象，已经形成了相对完善的技术框架和产业链。目前最常见的人脸重建的方法是基于人脸三维形变统计模型的方法。人脸三维形变统计模型(3D Morphable models,3DMM)是目前最通用的一种三维人脸模型，是建立在三维人脸数据库的基础上，以人脸模型统计作为约束，通过相同的模型点数和相同的拓扑结构表示人脸。通常会规定一个包含固定数目顶点的三角形网络作为模板，将三维人脸数据库中的人脸模型注册到模板网格上，从而将人脸模型与模板对齐到同一个基准空间，且具有相同的拓扑结构，然后利用主成分分析法降低数据库中人脸模型维度。
[0003]3DMM模型表示为
[0004][0005]其中分别表示平均的三维人脸形状。s
i
表示形状对应的PCA主成分部分，通常也称为人脸正交基，α
i
表示形状对应的权重。任意人脸可以通过上述表达式表述，不同的三维人脸模型有不同的形状权重。
[0006]利用人脸二维图像和3DMM模型生成三维人脸模型有传统拟合方法和利用深度学习的方法两种得到各人脸正交基的形状权重，即可得到三维人脸模型。现在最常用的方法是通过深度学习的方法，从单幅图像中重建出3DMM模型，目前已有相关从业人员开源了相关的深度网络及其代码，深度网络输入一幅人脸图像，即可从深度网络的输出中得到人脸正交基的形状权重。
[0007]然而，通过上述方法得到的人脸模型存在的问题在于模型表现能力有限，并且通过单幅人脸图像得到的人脸模型在深度方向过分依赖于深度学习训练过程中的参数，不能保证人脸模型的真实度。
[0008]单幅图像人脸重建的问题在于缺乏可靠的约束，会导致无法解决的歧义，比如从正面视图很难分辨鼻子和颧骨的高度。

技术实现思路

[0009]本专利技术针对从单幅人脸图像中重建三维模型缺乏可靠的约束的问题，提供一种基于多视图人脸重建的方法，具体包括以下步骤：
[0010]S1：建模对象保持相对静止状态拍摄若干张人脸图像，其中，面部区域拍摄完整，
光照强度保持一致；
[0011]S2：使用单幅图像生成人脸模型的方法，分别对每幅人脸图像进行独立建模，得到一组人脸三维模型，完成所述人脸三维模型顶点位置的初始化，确定出每个三维顶点的取值范围；
[0012]S3：提取每幅人脸图像中预设个数面部特征点的二维图像坐标，在三维空间中利用插值的方法计算出所述面部特征点在三维空间中坐标，利用所述面部特征点对应关系，计算出每幅人脸图像的投影矩阵；
[0013]S4：在每个三维顶点的取值范围内调整三维坐标，将三维坐标利用所述投影矩阵映射到每幅人脸图像中，利用同一顶点在不同人脸图像中颜色的相似性，确定各顶点位置，结合顶点之间的拓扑结构完成人脸模型形状建模；
[0014]S5：利用人脸图像及对应的投影矩阵，生成人脸三维模型纹理信息，完成三维人脸重建工作。
[0015]经过所述步骤S1，目前已经获得建模对象n张人脸图像，记为I＝ {I1,I2,...,I
n
}，各图像中人脸没有明显阴影，保持了光照一致性。
[0016]进一步地，所属步骤S2中使用单幅图像生成人脸模型，得到人脸三维模型的集合，进而完成人脸模型初始化，确定每个三维顶点取值范围，具体算法流程为：
[0017]S2
‑
1：经过步骤S1，获得建模对象的n张人脸图像，记为I＝{I1,I2,...,I
n
}，对于集合I中的图像I
i
，通过单幅图像生成3DMM模型的方法得出各个人脸正交基的权重系数，人脸正交基数量记为m，人脸正交基的权重可表示为A
i
＝ {a
(i,1)
,a
(i,2)
,...,a
(i,j)
,
…
,a
(i,m)
}；
[0018]S2
‑
2：通过权重系数A
i
可计算出图像I
i
对应的三维模型顶点数据V
i
，即有V
i
＝ {p
i,1
,p
i,2
,...,p
i,t
,...,p
i,s
}，其中p
i,t
＝(x
i,t
,y
i,t
,z
i,t
)表示顶点三维坐标，s表示每个人脸模型中的顶点数量；图像集合I中图像生成的三维模型集合记为V，则有V＝ {V1,V2,
…
,V
n
}，经过此步骤得到初始人脸模型集合；对于任意图像I
i
与I
j
对应的三维模型V
i
与V
j
，都有p
i,t
和p
j,t
相对应，p
i,t
和p
j,t
对应于人脸模型的同一个顶点t；
[0019]S2
‑
3：利用集合V＝{V1,V2,...,V
n
}中包含的各顶点的数据，对人脸三维模型各顶点进行初始化，初始化的结果为对应顶点的均值；
[0020]S2
‑
4：利用集合V中的数据，确定人脸三维模型每个顶点的合理取值范围。
[0021]至此，已经计算出人脸模型每个三维顶点的初始值，同时获得每个三维顶点的取值范围。
[0022]进一步地，所述步骤S3提取出人脸图像上68个面部特征点的二维像素坐标，利用插值算法计算出人脸模型中面部特征点的三维空间坐标，使用特征点三维空间坐标与二维像素坐标计算每幅人脸图像投影矩阵的具体算法流程为：
[0023]S3
‑
1：在图像中提取出面部特征点的像素坐标，通过特征点匹配的算法，计算每个特征点的描述子，利用描述子对不同图像之间的具有相同含义的面部特征点进行匹配；对于某个具有相同含义的特征点p在图像集合中相互两两匹配，I
p
中的图像分别对应的三维模型集合记为
[0024]S3
‑
2：由于通过3DMM生成的人脸模型具有相同的拓扑结构，所以每个特征点都在三维模型中有存在唯一的对应关系，利用插值算法得到特征点p在集合 V
p
中l个模型中的
三维空间坐标，记为{p
s1
,p
s2
,
…
,p
sl
}；
[0025]S3
‑
3：若集合{p本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视图的3DMM人脸模型三维重建方法，其特征在于，所述方法包括如下步骤：S1：建模对象保持相对静止状态拍摄若干张人脸图像，其中，面部区域拍摄完整，光照强度保持一致；S2：使用单幅图像生成人脸模型的方法，分别对每幅人脸图像进行独立建模，得到一组人脸三维模型，完成所述人脸三维模型顶点位置的初始化，确定出每个三维顶点的取值范围；S3：提取每幅人脸图像中预设个数面部特征点的二维图像坐标，在三维空间中利用插值的方法计算出所述面部特征点在三维空间中坐标，利用所述面部特征点对应关系，计算出每幅人脸图像的投影矩阵；S4：在每个三维顶点的取值范围内调整三维坐标，将三维坐标利用所述投影矩阵映射到每幅人脸图像中，利用同一顶点在不同人脸图像中颜色的相似性，确定各顶点位置，结合顶点之间的拓扑结构完成人脸模型形状建模；S5：利用人脸图像及对应的投影矩阵，生成人脸三维模型纹理信息，完成三维人脸重建工作。2.根据权利要求1所述的方法，其特征在于，S2包括以下步骤：S2
‑
1：经过步骤S1，获得建模对象的n张人脸图像，记为I＝{I1,I2,...,I
n
}，对于集合I中的图像I
i
，通过单幅图像生成3DMM模型的方法得出各个人脸正交基的权重系数，人脸正交基数量记为m，人脸正交基的权重可表示为A
i
＝{a
(i,1)
,a
(i,2)
,
…
,a
(i,j)
,
…
,a
(i,m)
}；S2
‑
2：通过权重系数A
i
可计算出图像I
i
对应的三维模型顶点数据V
i
，即有V
i
＝{p
i,1
,p
i,2
,
…
,p
i,t
,
…
,p
i,s
}，其中p
i,t
＝(x
i,t
,y
i,t
,z
i,t
)表示顶点三维坐标，s表示每个人脸模型中的顶点数量；图像集合I中图像生成的三维模型集合记为V，则有V＝{V1,V2,
…
,V
n
}，经过此步骤得到初始人脸模型集合；对于任意图像I
i
与I
j
对应的三维模型V
i
与V
j
，都有p
i,t
和p
j,t
相对应，p
i,t
和p
j,t
对应于人脸模型的同一个顶点t；S2
‑
3：利用集合V＝{V1,V2,
…
,V
n
}中包含的各顶点的数据，对人脸三维模型各顶点进行初始化，初始化的结果为对应顶点的均值；S2
‑
4：利用集合V中的数据，确定人脸三维模型每个顶点的合理取值范围。3.根据权利要求1所述的方法，其特征在于，S3包括以下步骤：S3
‑
1：在图像中提取出面部特征点的像素坐标，通过特征点匹配的算法，计算每个特征点的描述子，利用描述子对不同图像之间的具有相同含义的面部特征点进行匹配；对于某个具有相同含义的特征点p在图像集合中相互两两匹配，I
p
中的图像分别对应的三维模型集合记为S3
‑
2：由于通过3DMM生成的人脸模型具有相同的拓扑结构，所以每个特征点都在三维模型中有存在唯一的对应关系，利用插值算法得到特征点p在集合V
p
中m个模型中的三维空间坐标，记为{p
s1
,p
s2
,
…
,p
sm
}；S3
‑
3：若集合{p
s1
...

【专利技术属性】
技术研发人员：龚光红，赵耀普，李妮，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：