一种基于立体视觉的三维人脸重建方法技术

一种基于双目立体视觉的三维人脸重建方法，其实现步骤为：（１）使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像；（２）分别对两台摄像机的内，外参数矩阵进行标定；（３）根据标定数据进行对极线校正和图像变换；（４）利用Ｈａｒｒｉｓ角点检测算子提取人脸特征点，并利用局部模板窗口方法以及极线约束进行初始匹配；（５）从初始匹配集合出发，利用种子点增长算法得到稀疏匹配集合（６）利用稀疏匹配集合作为引导点，执行动态规划算法完成稠密匹配（７）根据标定数据和匹配关系计算人脸上实际物点的三维坐标，从而重建出人脸的三维点云。

【技术实现步骤摘要】

本专利技术属于双目立体视觉
，涉及到基于立体视觉的三维人脸重建问题，尤其涉及到一种使用种子点增长算法和基于引导点约束的动态规划算法来获得人脸三维点云的方法。
技术介绍
双目立体视觉技术是一种被动式的三维测量技术，它包括摄像机标定，图像对匹配，三维信息还原等主要过程。基于双目立体视觉的三维人脸重建技术通过两个已标定的摆放在不同角度的CCD拍摄两幅人脸图像，然后建立两幅图像的像素点之间的对应关系来恢复人脸的三维坐标信息。立体视觉技术可以获得稠密的人脸三维点云坐标，无需向被测物体投影光栅等辅助信息，人机交互友好，硬件配置要求低，成本便宜，自动化程度较高，并且可以实现实时采集，是三维人脸重建领域中比较流行的一种技术。 立体匹配算法是双目立体视觉技术的核心问题。现有的匹配算法分为局部最优算法和全局最优算法，常用的约束条件有极线约束，唯一性约束，顺序一致约束，视差连续性约束等。局部最优算法利用局部最优判断条件为每个像素点选取对应的匹配点，算法简单，计算速度快，但各种约束条件仅在局部范围内有效，结果往往容易陷入局部最优，错误匹配概率比较高，不适宜进行三维人脸重建。全局最优算法首先将匹配问题抽象化为一个全局能量函数，然后求全局能量函数在各种约束条件下的最优解，即得到匹配问题的最优解。全局最优算法匹配的准确率高，但算法复杂，运算量大，不利于实现实时采集运算。 现有的基于双目立体视觉的三维人脸重建算法存在明显的缺点它们或者采用单纯的局部最优算法，或者采用单纯的全局最优算法，因此算法不能同时保证重建的准确度和重建的速度；再就是人脸的先验模型知识比较丰富，脸部主要由眼睛，鼻子，嘴等主要器官构成，它们共有的特征是轮廓线比较明显。但现有的算法没有充分利用这些丰富的已有先验知识，或者即使用到，但算法中加入了过多的人工干预因素，需要人的辅助操作来提取一些特征点或者特征线，降低了重建算法的自动化程度，不利于搭建完善的重建系统。 由于存在以上缺点，现有的三维人脸重建算法在实际应用中并不能得到令人满意的重建效果。
技术实现思路
本专利技术提供一种能够准确快速自动重建人脸三维点云的方法。 本专利技术采用的技术方案是首先进行摄像机标定，然后采集两幅人脸图像，根据标定数据进行对极线校正和图像变换，然后进行特征点检测及初匹配，再以检测到的特征点为初始集合进行种子点增长，对增长得到的集合进行优化得到稀疏匹配集合，再以稀疏匹配集合作为引导点，利用基于引导点约束的动态规划方法完成稠密匹配，最后利用标定数据和匹配结果重建出人脸三维点云坐标并显示。 本专利技术的方法具体包括以下几个步骤 步骤1图像获取 使用两台摄像机从两个不同角度同时各拍摄一幅人脸图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像； 步骤2摄像机标定 分别对两台摄像机进行标定，获得各自的内参数矩阵AL、AR和外参数矩阵[RL tL]、[RR tR]； 步骤3对极几何校正及图像变换，包括下面四个子步骤 步骤3.1计算左右摄像机的光心坐标 根据步骤2得到的左右摄像机的内外参数矩阵，构造左右摄像机的原始投影矩阵PoL＝AL[RL tL]，PoR＝AR[RR tR]，则左右摄像机的光心坐标可以计算为 步骤3.2构造新的旋转矩阵R′和内参矩阵A′ 令v1＝cL-cR，则构造新的旋转矩阵和内参矩阵分别为 A′＝(AL+AR)/2，令A′(1，2)＝0； 其中 表示向量叉积，norm(v)表示求向量范数，上标T表示矩阵转置，P-1表示对矩阵P求逆矩阵； 步骤3.3计算新的投影矩阵及与原始投影矩阵之间的变换矩阵 构造左右摄像机的新的投影矩阵PnL＝A′[R′-R′cL]，PnR＝A′[R′-R′cR]，计算与原始投影矩阵之间的变换关系 步骤3.4图像变换 根据步骤3.3得到的新的投影矩阵与原始投影矩阵之间的变换矩阵对原始拍摄的左右图像分别逐个像素点进行转换p′L＝TLpL，p′R＝TRpR，其中pL，pR分别是左右图像中变换前像素点的齐次坐标，p′L，p′R分别是变换后左右图像中像素点的齐次坐标； 步骤4稀疏匹配，包括下面三个子步骤 步骤4.1特征点检测及初始匹配 对于步骤3经过对极线校正变换后得到的图像运用经典的Harris角点检测算子分别提取左右人脸图像中的特征点，并利用局部模板窗口算法以及水平极线约束对提取得到的左右特征点集合进行初始匹配，将得到的匹配点对集合记为S； 步骤4.2种子点增长，包括下面三个子步骤 步骤4.2.1 将步骤4.1得到的初始匹配对集合S看作一个种子点集合，其中的匹配点对具有形式(xl，xr，y)，xl，xr分别代表匹配像素点对在左右图像中的横坐标，y是两像素点共同的纵坐标，将S中的匹配对按照相似测度降序排列，初始化匹配集合M为空集，即M＝φ，设置相似测度阈值μ为一个常数； 步骤4.2.2 从S中取出最大相似测度种子点s＝(xl，xr，y)，在其如下形式的四邻域Ai中 A1＝{(xl，xr，y+1)，(xl±1，xr，y+1)，(xl，xr±1，y+1)} A2＝{(xl，xr，y-1)，(xl±1，xr，y-1)，(xl，xr±1，y-1)} A3＝{(xl-1，xr+1，y)，(xl-2，xr+1，y)，(xl-1，xr+2，y)，(xl-2，xr+2，y)} A4＝{(xl+1，xr-1，y)，(xl+2，xr-1，y)，(xl+1，xr-2，y)，(xl+2，xr-2，y)} 分别选出具有最大相似测度的匹配对i＝1，2，3，4，令c＝simi(qi)，simi()表示相似测度函数，如果满足条件c≥μ，并且集合M中不存在匹配对s＝(x′l，x′r，y)，使得xl＝x′l或者xr＝x′r，那么将qi添加到集合M中，再将qi按相似测度升序顺序插入到集合S，处理完s的四邻域后将s从集合S中去掉； 步骤4.2.3 重复步骤4.2.2直到集合S变为空，最终得到种子点增长匹配集合M； 步骤4.3优化匹配集合M 利用双向一致性约束准则，根据步骤4.2再以右图像为基准图像，左图像为配准图像进行一次种子点增长匹配，可以得到另一个匹配对集合M′，对于任意的(xl，xr，y)∈M，如果在M′中存在元素(x′l，x′r，y′)，满足条件xr＝x′l并且y＝y′，那么判断|xl-x′r|，设定一个小的阈值dist，如果|xl-x′r|≤dist，则认为匹配对(xl，xr，y)是可信的，保留在集合M中，否则，认为是不可信的，将它从集合M去掉，最终保留下来的元素组成优化后的稀疏匹配集合M； 步骤5稠密匹配，包括下面五个子步骤 步骤5.1构造引导点序列 从左下角到右上角逐行扫描左图像，对于图像中的每条扫描线li(i＝1…n)，n代表图像的行数，定义一个集合K，首先判断li上的每个像素点p，其像素坐标为(xl，yi)，检索集合M，如果(xl，yi)已经匹配过，则将坐标(xl，yi)对应的集合M中的元素(xl，xr，yi)添加到集合K中，这样一直扫描到当前行的末端，得到一个匹配点对的序列K＝{k1，k2，…，km}； 步骤5.本文档来自技高网...

【技术保护点】
一种基于立体视觉的三维人脸重建方法，其特征在于，该重建方法依次含有下列步骤：　步骤１：图像获取　使用两台摄像机从两个不同角度同时各拍摄一幅人脸图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；　步骤２：摄像机标定　 　分别对两台摄像机进行标定，获得各自的内参数矩阵Ａ↓［Ｌ］、Ａ↓［Ｒ］和外参数矩阵［Ｒ↓［Ｌ］　ｔ↓［Ｌ］］、［Ｒ↓［Ｒ］　ｔ↓［Ｒ］］；　步骤３：对极几何校正及图像变换，包括下面四个子步骤：　步骤３．１：计算左右摄像机的光 心坐标　根据步骤２得到的左右摄像机的内外参数矩阵，构造左右摄像机的原始投影矩阵：Ｐ↓［ｏＬ］＝Ａ↓［Ｌ］［Ｒ↓［Ｌ］　ｔ↓［Ｌ］］，Ｐ↓［ｏＲ］＝Ａ↓［Ｒ］［Ｒ↓［Ｒ］　ｔ↓［Ｒ］］，则左右摄像机的光心坐标可以计算为：ｃ↓［Ｌ］＝ －Ｐ↓［ｏＬ］↑［－１］（∶，１∶３）＊Ｐ↓［ｏＬ］（∶，４），ｃ↓［Ｒ］＝－Ｐ↓［ｏＲ］↑［－１］（∶，１∶３）＊Ｐ↓［ｏＲ］（∶，４）；　步骤３．２：构造新的旋转矩阵Ｒ′和内参矩阵Ａ′　令ｖ↓［１］＝ｃ↓［Ｌ］－ｃ↓［Ｒ］， ｖ↓［２］＝ｖ↓［１］＊Ｒ↓［Ｌ］↑［Ｔ］（３，：），ｖ↓［３］＝ｖ↓［１］＊ｖ↓［２］，构造新的旋转矩阵和内参矩阵分别为：　＊＊＊，Ａ′＝（Ａ↓［Ｌ］＋Ａ↓［Ｒ］）／２，令Ａ′（１，２）＝０，　其中＊表示向量叉积，ｎｏｒｍ（ｖ ）表示求向量范数，上标Ｔ表示矩阵转置，Ｐ↑［－１］表示对矩阵Ｐ求逆矩阵；　步骤３．３：计算新的投影矩阵及与原始投影矩阵之间的变换矩阵　构造左右摄像机的新的投影矩阵Ｐ↓［ｎＬ］＝Ａ′［Ｒ′－Ｒ′ｃ↓［Ｌ］］，Ｐ↓［ｎＲ］＝Ａ′［Ｒ ′－Ｒ′ｃ↓［Ｒ］］，计算与原始投影矩阵之间的变换关系：　Ｔ↓［Ｌ］＝Ｐ↓［ｎＬ］（１：３，１：３）＊Ｐ↓［ｏＬ］↑［－１］（１：３，１：３），Ｔ↓［Ｒ］＝Ｐ↓［ｎＲ］（１：３，１：３）＊Ｐ↓［ｏＲ］↑［－１］（１：３，１：３）；　 　步骤３．４：图像变换　根据步骤３．３得到的新的投影矩阵与原始投影矩阵之间的变换矩阵对原始拍摄的左右图像分别逐个像素点进行转换：ｐ′↓［Ｌ］＝Ｔ↓［Ｌ］ｐ↓［Ｌ］，ｐ′↓［Ｒ］＝Ｔ↓［Ｒ］ｐ↓［Ｒ］，其中ｐ↓［Ｌ］，ｐ↓［Ｒ］分别是 左右图像中变换前像素点的齐次坐标，ｐ′↓［Ｌ］，ｐ′↓［Ｒ］分别是变换后左右图像中像素点的齐次坐标；　步骤４：稀疏匹配，包括下...

【技术特征摘要】
1、一种基于立体视觉的三维人脸重建方法，其特征在于，该重建方法依次含有下列步骤步骤1图像获取使用两台摄像机从两个不同角度同时各拍摄一幅人脸图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；步骤2摄像机标定分别对两台摄像机进行标定，获得各自的内参数矩阵AL、AR和外参数矩阵[RL tL]、[RR tR]；步骤3对极几何校正及图像变换，包括下面四个子步骤步骤3.1计算左右摄像机的光心坐标根据步骤2得到的左右摄像机的内外参数矩阵，构造左右摄像机的原始投影矩阵PoL＝AL[RL tL]，PoR＝AR[RR tR]，则左右摄像机的光心坐标可以计算为步骤3.2构造新的旋转矩阵R′和内参矩阵A′令v1＝cL-cR，构造新的旋转矩阵和内参矩阵分别为A′＝(AL+AR)/2，令A′(1，2)＝0，其中表示向量叉积，norm(v)表示求向量范数，上标T表示矩阵转置，P-1表示对矩阵P求逆矩阵；步骤3.3计算新的投影矩阵及与原始投影矩阵之间的变换矩阵构造左右摄像机的新的投影矩阵PnL＝A′[R′-R′cL]，PnR＝A′[R′-R′cR]，计算与原始投影矩阵之间的变换关系步骤3.4图像变换根据步骤3.3得到的新的投影矩阵与原始投影矩阵之间的变换矩阵对原始拍摄的左右图像分别逐个像素点进行转换p′L＝TLpL，p′R＝TRpR，其中pL，pR分别是左右图像中变换前像素点的齐次坐标，p′L，p′R分别是变换后左右图像中像素点的齐次坐标；步骤4稀疏匹配，包括下面三个子步骤步骤4.1特征点检测及初始匹配对于步骤3经过对极线校正变换后得到的图像运用经典的Harris角点检测算子分别提取左右人脸图像中的特征点，并利用局部模板窗口算法以及水平极线约束对提取得到的左右特征点集合进行初始匹配，将得到的匹配点对集合记为S；步骤4.2种子点增长，包括下面三个子步骤步骤4.2.1将步骤4.1得到的初始匹配对集合S看作一个种子点集合，其中的匹配点对具有形式(xl，xr，y)，xl，xr分别代表匹配像素点对在左右图像中的横坐标，y是两像素点共同的纵坐标，将S中的匹配对按照相似测度降序排列，初始化匹配集合M为空集，即M＝φ，设置相似测度阈值μ为一个常数；步骤4.2.2从S中取出最大相似测度种子点s＝(xl，xr，y)，在其如下形式的四邻域A1中A1＝{(xl，xr，y+1)，(xl±1，xr，y+1)，(xl，xr±1，y+1)}A2＝{(xl，xr，y-1)，(xl±1，xr，y-1)，(xl，xr±1，y-1)}A3＝{(xl-1，xr+1，y)，(xl-2，xr+1，y)，(xl-1，xr+2，y)，(xl-2，xr+2，y)}A4＝{(xl+1，xr-1，y)，(xl+2，xr-1，y)，(xl+1，xr-2，y)，(xl+2，xr-2，y)}分别选出具有最大相似测度的匹配对i＝1，2，3，4，令c＝simi(qi)，simi()表示相似测度函数，如果满足条件c≥μ，并且集合M中不存在匹配对s＝(x′l，x′r，y)，使得xl＝x′l或者xr＝x′r，那么将qi添加到集合M中，再将qi按相似测度升序顺序插入到集合S，处理完s的四邻域后将s从集合S中去掉；步骤4.2.3重复步骤4.2.2直到集合S变为空，最终得到种子点增长匹配集合M；步骤4.3优化匹配集合M利用双向一致性约束准则，根据步骤4.2再以...

【专利技术属性】
技术研发人员：达飞鹏，隋宜桓，
申请(专利权)人：东南大学，
类型：发明
国别省市：84[中国|南京]