融合多视角、多线索二维信息的人脸三维模型的建立方法技术

融合多视角、多线索二维信息的人脸三维模型的建立方法属于计算机人脸图像重建技术领域，其特征在于：首先用标定好的上下两台立体摄像机拍摄建模对象的人脸，得到人脸在无表情变化时从正面逐步转到侧面的视频序列；再用全自动的姿态估计算法得到序列中各时刻的精确的姿态参数；接着在模型和姿态二者的初始化之后，根据两类二维线索分别抽取三维信息：一类是基于图象间对应点进行立体重建，另一类是模型投影轮廓与图象轮廓的匹配、修正；最后，根据融合在多视角中提取出的、对应于不同二维线索的三维信息建立人脸模型。它得到的人脸模型有更细致、更精确的形状，并能做ＭＰＥＧ４（运动图像压缩编码组织标准４）兼容的人脸动画。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

属于计算机人脸图像重建

技术介绍
现有的根据图象创建三维人脸模型的方法缺乏从多种二维线索中提取三维信息并进行融合的策略。Kang，Sing Bing等人在“image method and apparatus for semi-automatically mappinga face on to a wireframe topology”(United States Patent 6,031,539)的专利技术中提出了一种根据单幅正面图象创建人脸模型的半自动方法。该方法的原理是自动地检测出人脸图象上的多个特征点，进而根据特征点定位面部的界标点(landmark points)，然后据此得到人脸线框模型中所有网格点的位移，创建出与该图象相对应的人脸模型。该方法的主要缺点是没有充分利用各视角的信息，这限制了模型的精确程度。在“利用桌面摄像机克隆人脸”(《第八届计算机视觉国际会议论文集》，2001，第二卷，pp.745-745)一文中，作者张正友、Z.Liu等人提出了一种利用单目视频中的二维对应创建人脸模型的方法。该方法的原理是手工选择两幅接近正面视图的图象，通过摄像机自标定和简化的人脸形状模型，基于二维对应用非线性求解的办法得到特定人的模型。该方法虽然利用了多视角信息，但只是使用了多幅图象上对应的二维点信息而没有充分利用其他的形状约束，得到的模型不够准确，尤其是在纹理不丰富的区域更是如此。这些方法有一些共同的缺点(1)模型不够精细；(2)不能做MPEG4(运动图像压缩编码组织标准4)兼容的动画。
技术实现思路
本专利技术的目的在于提供一种。本专利技术涉及一种可动画三维人脸的建模方法，首先用标定好的立体摄像机拍摄建模对象的人脸从正面逐步转到侧面的视频序列(拍摄过程人脸应无表情变化)；然后是一个全自动的姿态估计算法以得到序列中各时刻的精确的姿态参数；接着在模型和姿态初始化之后，根据两类二维线索通过不同的处理方案抽取三维信息一类是基于图象间对应点进行立体重建，另一类是模型投影轮廓与图象轮廓的匹配、修正；最后，融合在多视角中提取出的、对应于不同二维线索的三维信息建立人脸模型。本方法与现有方法比，得到的人脸模型有更细致、更精确的形状，并能做MPEG4兼容的人脸动画。本专利技术的特征在于1.它首先用与人脸上、下位置相对应的两台相同且外极线方向基本沿垂直方向的摄像机在人脸无表情变化的情况下拍摄建模对象的人脸从正面逐步转约90度到侧面的视频序列，再用两块相同的采集卡来采集上下两路同步视频并输入计算机中；然后，从人脸的通用模型Faceg开始，根据获得的建模对象的二维信息逐步进行修改，最终得到特定人的人脸模型Faces，其中修改的只是人脸上的三维结点列表P中的三维点坐标，而人脸上的三角形面片列表F保持不变，即只改变模型形状P而模型的拓扑结构F不变；具体而言，它依次含有如下步骤(1).输入立体视频序列IL，t和IR，tL，R对应于两台摄像机，t＝1，…，N，表示N帧不同时刻的图像I则是由像素组成的二维数组，每个像素包括R、G、B三个分量；t＝1的时刻对应于人脸正面姿态，通过人的判断手工选择；(2).姿态估计，即求解人头旋转过程中的姿态参数(即刚体变换系数)用下述刚体变换公式表示上述图象序列中人脸的帧间运动Mt+1＝RtMt+Tt，t＝1，…，N-1，Mt、Mt+1分别表示第t帧、第t+1帧时人脸上任一点在L摄像机坐标系中的坐标；Mt、Mt+1是人脸上的同一位置在不同时刻的三维坐标，即是帧间三维对应点；用可靠三维点的运动就可估计姿态参数；{Rt，Tt，t＝1，…，N-1}是第t帧到第t+1帧姿态参数的旋转和平移分量；姿态估计依次含有如下步骤(2.1)，起始时刻先进行二维特征的检测和匹配，再通过立体重建得到起始时刻的三维点首先，设置特征检测帧t0＝t，并在IL，t图上作二维特征检测，即选择那些局部灰度变化丰富的点即为在跟踪和匹配时可靠程度较高的点作为特征点，其步骤如下用已有的KLT算法计算IL，t图上特征点p(x＝i，y＝j)处的图像变化程度G(i，j)G(i,j)=Σii=-blockxblockxΣjj=-blockyblockyg→(i+ii,j+jj)g→T(i+ii,j+jj),]]> 为待测点p处图像的梯度向量g→(i,j)=gxgyT=T,]]>I(i+1，j)为该点处图像的灰度，余类推；以待测点p为中心的窗口W的尺寸为(2*blockx+1)*(2*blocky+1)；然后再用已有的matlab工具包求出G的最小奇异值sing_min，再选择sing_min很大的点p为检测出的特征点；把在t时刻检测出的特征点记为{pL，t(k)}，L，t表示图象序号，K(t)是特征点总数，k为其标号，1≤k≤K(t)；其次，对同一时刻两个摄像机L，R拍摄同一场景得到的两幅图像即立体图对作二维特征匹配；同一个三维点在不同图像中的投影都为二维点，它们之间互称为二维对应，立体图对间的二维对应称为匹配 对于IL，t图中某一点pL，t(k)＝(xL，t(x)yL，t(k))T，它的匹配点pR，t(k)＝(xR，t(k)yR，t(k))T应位于一条由pL，t(k)决定的直线上，在这个一维空间中，选择使一个局部窗口W内总灰度差异最小的点作为pL，t(k)的匹配点pR，t(k)，总灰度差异的表达式Diff(i,j)=Σii=-blockxblockxΣjj=-blockyblocky(IL,t(xL,t(k)+ii,yL,t(k)+jj)-IR,t(i+ii,j+jj))2]]>(i，f)是直线 F上的任一点；记时刻t的匹配结果为{pR，t(k)}，总数目为K(t)个，每点都与pL，t(k)相对应，在下述公式表示的直线上搜索，使Diff(i，j)最小的位置pL,t(k)1TFpR,t(k)1=0]]>，其中F=fL0uOL0fLvOL001-T0-Tc,zTc,yTc,z0-Tc,x-Tc,yTc,x0RcfR0uOR0fRvOR001-1]]>，fL，fR，uOL，vOL，uOR，vOR为摄像机内参数，已知量；Rc，Tc＝T分别为旋转和平移分量，属摄像机外参数，已知量；再次，在获得同一时刻立体图对间的匹配结果pL，t和pR，t后，通过立体重建得到用摄像机坐标系表示的三维点Mm，t，m为摄像机L或R，Mm，t为t时刻三维点在m摄像机坐标系中的坐标；根据两摄像机的配置关系式ML＝RcMR+Tc，ML、MR分别是同一点在这两个摄像机坐标系中的坐标；以及摄像机透视投影公式smAm-1pm,t1=Mm,t]]>，sm(即sL或sR)是待定的比例因子(由稍后的公式求出)，得到三维点在摄像机L、R中的坐标ML，t和MR，tML,t=12(sLAL-1pL,t1+sRRcAR-1pR,t1+Tc);]]>AL=fL0uOL0fLvOL001,]]>AR=fR0uOR0fRvOR001;]]>SLSR=(BTB)-1BTTc,]]本文档来自技高网...

【技术保护点】
融合多视角、多线索二维信息的人脸三维模型的建立方法，含有二维对应创建人脸模型的方法，其特征在于：它首先用与人脸上、下位置相对应的两台相同且外极线方向基本沿垂直方向的摄像机在人脸无表情变化的情况下拍摄建模对象的人脸从正面逐步转约９０度到侧面的视频序列，再用两块相同的采集卡来采集上下两路同步视频并输入计算机中；然后，从人脸的通用模型Ｆａｃｅ↓［ｇ］开始，根据获得的建模对象的二维信息逐步进行修改，最终得到特定人的人脸模型Ｆａｃｅ↓［ｓ］，其中修改的只是人脸上的三维结点列表Ｐ中的三维点坐标，而人脸上的三角形面片列表Ｆ保持不变，即只改变模型形状Ｐ而模型的拓扑结构Ｆ不变；具体而言，它依次含有如下步骤：（１）．输入立体视频序列Ｉ↓［Ｌ，ｔ］和Ｉ↓［Ｒ，ｔ］：Ｌ，Ｒ对应于两台摄像机，ｔ＝１，…，Ｎ，表示Ｎ帧不同时刻的图 像：Ｉ则是由像素组成的二维数组，每个像素包括Ｒ、Ｇ、Ｂ三个分量；ｔ＝１的时刻对应于人脸正面姿态，通过人的判断手工选择；（２）．姿态估计，即求解人头旋转过程中的姿态参数（即刚体变换系数）：用下述刚体变换公式表示上述图象序列中人脸的帧间 运动：Ｍ↓［ｔ＋１］＝Ｒ↓［ｔ］Ｍ↓［ｔ］＋Ｔ↓［ｔ］，ｔ＝１，…，Ｎ－１，Ｍ↓［ｔ］、Ｍ↓［ｔ＋１］分别表示第ｔ帧、第ｔ＋１帧时人脸上任一点在Ｌ摄像机坐标系中的坐标；Ｍ↓［ｔ］、Ｍ↓［ｔ＋１］是人脸上的同一位置在不同时刻的三维坐标 ，即是帧间三维对应点；用可靠三维点的运动就可估计姿态参数；｛Ｒ↓［ｔ］，Ｔ↓［ｔ］，ｔ＝１，…，Ｎ－１｝是第ｔ帧到第ｔ＋１帧姿态参数的旋转和平移分量；姿态估计依次含有如下步骤：（２．１），起始时刻：先进行二维特征的检测和匹配，再 通过立体重建得到起始时刻的三维点：首先，设置特征检测帧ｔ０＝ｔ，并在Ｉ↓［Ｌ，ｔ］图上作二维特征检测，即选择那些局部灰度变化丰富的点即为在跟踪和匹配时可靠程度较高的点作为特征点，其步骤如下：用已有的ＫＬＴ算法计算Ｉ↓［Ｌ，ｔ］图上特 征点ｐ（ｘ＝ｉ，ｙ＝ｊ）处的图像变化程度Ｇ（ｉ，ｊ）：Ｇ（ｉ，ｊ）＝＊（ｉ＋ｉｉ，ｊ＋ｊｊ）＊（ｉ＋ｉｉ，ｊ＋ｊｊ），＊（ｉ，ｊ）为待测点ｐ处图像的梯度向量：＊（ｉ，ｊ）＝［ｇｘ ｇｙ］↑［Ｔ］＝［Ｉ（ｉ＋１，ｊ）－Ｉ（ｉ－１， ｊ）／２Ｉ（ｉ，ｊ＋１）－Ｉ（ｉ，ｊ－１）／２］↑［Ｔ］，Ｉ（ｉ＋１，ｊ）为该点处图像的灰度，余类推；以待测点ｐ为中心的窗口Ｗ...

【技术特征摘要】

【专利技术属性】
技术研发人员：徐光祐，张辉，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]