人脸视频传输方法技术

本发明专利技术公开了一种人脸视频传输方法，该方法包括步骤：S1采集视频，通过对所述视频进行训练，得到人脸模型；S2将所述人脸模型在发送端和接收端之间共享；S3利用人脸模型对所述视频进行人脸定位和参数拟合，得到模型参数；S4根据传输速率限制对模型参数进行优化，使得模型参数传输时满足传输速率的限制要求，将优化后的模型参数发送给接收端；S5接收端接收到发送端发送的模型参数后，对发送端发送的模型参数进行还原；S6接收端利用还原的模型参数和共享的人脸模型进行人脸图像重建。本发明专利技术的人脸视频传输方法，大大降低传输需要的数据量，在适应传输通道特性的同时最小化参数误差，避免了每帧传输参数造成的冗余，提高了数据传输的速率。

【技术实现步骤摘要】

本专利技术涉及视频传输领域，特别涉及一种。
技术介绍
自从二十世纪九十年代以来，从数字电视广播到无线多媒体通信等技术已在世界各国陆续得到普遍应用。互联网的普及使得多媒体通信摆脱了电视的局限Skype、G00gleTalk等视频聊天软件的出现让人们可以通过电脑进行视频通话、远程会议等多媒体通信。而今，随着智能手机的快速发展，移动终端上，例如Face time和Tango等的应用使多媒体通信在移动网络上普及，越来越多的用户期望得到方便、快捷、无所不在的多媒体通信服务。如何大幅降低视频数据量的编码方法是保证移动多媒体业务持续发展的关键技术。 现有技术中采用的视频编码方法为DCT或小波变换的混合编码方法，这些方法可减少空间冗余和时间冗余的帧间预测，将视频数据视为具有某些统计特征的随机信号进行编码，而对视频的具体内容不予考虑。然而，移动视频通信的一个重要组成部分一人脸视频(如视频通话、会议等)具有相当明显的特征，且人们对于其主体(即人脸)有着非常丰富的先验知识。传统视频编码方法将所有信息一视同仁地编码传输，其中很多关于人脸的共性冗余信息被视为新信息重复传递，浪费了大量网络带宽资源。
技术实现思路
(一)要解决的技术问题本专利技术要解决的技术问题是如何提供一种，来减少视频传输过程中大量关于人脸的共性冗余信息重复传递，节省网络带宽资源，提高传输速率，并提高数据传输的准确率。(二)技术方案为解决上述技术问题，本专利技术提供了一种，该方法包括步骤SI、采集视频，通过对视频进行训练，得到人脸模型；S2、将所述人脸模型在发送端和接收端之间共享；S3、利用人脸模型对所述视频进行人脸定位和参数拟合，得到模型参数；S4、根据传输速率限制对模型参数进行优化，使得模型参数传输时满足传输速率的限制要求，将优化后的模型参数发送给接收端；S5、接收端接收到发送端发送的模型参数后，对发送端发送的模型参数进行还原；S6、接收端利用还原的模型参数和共享的人脸模型进行人脸图像重建。优选的，所述步骤SI对视频进行训练的方法为SI. I、根据视频定位得到特征点位置向量，即人脸形状，对所有人脸形状取平均值，得到平均形状；SI. 2、将视频变形并归一化得到无形状外观向量；SI. 3、对特征点位置向量和无形状外观向量分别进行主成分分析得到形状参数向量和外观参数向量；SI. 4、将形状参数向量和外观参数向量进行联合主成分分析得到主成分单位列正交矩阵、主成分权值、和联合参数向量。优选的，所述人脸模型中含有人脸外观和形状参量。优选的，所述发送端和接收端之间的人脸模型通过云存储、介质存储或闲时传输的方式进行共享。优选的，所述步骤S3中参数拟合的方法为S3. I、通过人脸定位，得出人脸特征点位置向量； S3. 2、将特征点位置向量经过普氏分析姿态归一化，得到形状参数向量和姿态参数；S3. 3、将视频进行变形并归一化，得到无形状外观向量和光照参数；S3. 4、对外观和形状向量分别进行主成分投影，得到外观和形状参数向量；S3. 5、对外观和形状参数向量进行联合主成分分析，得到联合参数向量。优选的，所述步骤S4利用最优比特分配算法和参数帧间插值算法对模型参数进行优化。优选的，所述最优比特分配算法通过降低参数的量化级别来满足速率限制。优选的，所述参数巾贞间插值算法为以η巾贞为传输间隔，每隔η巾贞传输一巾贞模型参数，如果当前帧为(η+1)的倍数，则准备参数进行传输，否则直接丢帧。优选的，所述步骤S5利用参数纠错和线性插值还原模型参数，所述参数纠错根据相应模型参数及接收到的上一模型参数进行纠错。优选的，所述步骤S6人脸图像重建的方法为接收端得到还原的模型参数后，根据共享的人脸模型，首先恢复正常形状下人脸外观，然后通过系统的变形拉伸，重建出所传人脸当时的表情和动作。(三)有益效果本专利技术的，人脸图像可以由模型参数表示，大大降低传输需要的数据量，在适应传输通道特性的同时最小化参数误差，避免了每帧传输参数造成的冗余，提高了数据传输的速率。附图说明图I是本专利技术实施例的流程图。图2是本专利技术实施例人脸视频传输处理发送流程图。图3是本专利技术实施例人脸视频传输接收重建流程图。具体实施例方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。如图I所示本专利技术实施例提供一种，该方法包括步骤SI采集视频，通过对所述视频进行训练，得到人脸模型。S2将所述人脸模型在发送算和接收端之间共享；S3利用人脸模型对所述视频进行人脸定位和参数拟合，得到模型参数；S4根据传输速率限制对模型参数进行优化，使得模型参数传输时满足传输速率的限制要求，将优化后的模型参数发送给接收端；S5接收端接收到发送端发送的模型参数后，对发送端发送的模型参数进行还原；S6接收端利用还原的模型参数和共享的人脸模型进行人脸图像重建。步骤SI中 对第i帧视频进行训练，运行人脸定位算法，得出算法标注的特征点位置向量Si ；将之称为该帧内人脸的形状。对所有Si进行平均，得到平均形状^同时，只保留第i帧中人脸定位算法得出的人脸内范围的像素，不考虑其他背景像素。将通过分片线性变形将图像I中的特征点Sa变形至Sb的操作记作变形函数W(I ;sa, Sb)。对于第i帧训练视频进行变形，使其等于料/04)。同时，对于图像像素强度进行归一化，使像素强度均值为0，标准差为I。将第i帧变形并归一化后的图像称为无形状外观向量gi。对于所有Si和gi分别进行主成分分析，得到满足如下等式的主成分单位列正交矩阵Ps和Pg (其每一列均分别为用户面部形状和外观变化的一种模式)，及主成分权值λ s和λ g:Si = s + P^b1sgt=g + Pgbia其中，&1和&|分别为第i帧人脸图像经主成分分析得出的形状和外观参数向量。下一步，将的和％联合进行主成分分析。因为圮和岵具有不同的单位(6〖的单位为距离，而4的单位为像素强度)，需要估算一个单位转换矩阵ws，以便构造一个串联参数向量_ =设形状参数向量长度为N，计算Ws的方法为I)定义一个微扰动量」\ = (PO為.,O.0)，对于第i帧图像的第η个形状参数V η-Λ/向量玢《)进行扰动，得到spn = s + Psipl + 4&s)s「,n = s + Ps(bls — Abs)2)用sf和s「变形第i帧的无形状外观gi，得到gpn = WQi-, s+, s)g；'n = WQi-, sf, s)3)对于任意n，计算形状参数向量扰动对于外观的平均影响记作‘设训练视频共有K巾贞,则等于β零Iiai24)定义Ws SNXN对角矩阵，其对角元为在得到串联参数向量\后，再对所有\进行主成分分析，得到满足如下等式的主成分单位列正交矩阵Q，主成分权值λ b，以及联合参数向量Ci:Bi = b + Qci至此，由Ps、Pg、Q、入s、入g、Ab、S、■、5组成的人脸模型的训练完成。本专利技术实施例中采用的人脸定位算法为Subspace Constrained Mean-Shifts算法。该算法可以在人脸上定位63个特征点的位置，供模型训练与拟合使用。该方法在人脸定位和特征标注结果的基础上，对于目标人脸的形状、运动、外表特点进行建模，使得人脸图像可以由模本文档来自技高网...

【技术保护点】
一种人脸视频传输方法，其特征在于，该方法包括步骤：S1、采集视频，通过对视频进行训练，得到人脸模型；S2、将所述人脸模型在发送端和接收端之间共享；S3、利用人脸模型对所述视频进行人脸定位和参数拟合，得到模型参数；S4、根据传输速率限制对模型参数进行优化，使得模型参数传输时满足传输速率的限制要求，将优化后的模型参数发送给接收端；S5、接收端接收到发送端发送的模型参数后，对发送端发送的模型参数进行还原；S6、接收端利用还原的模型参数和共享的人脸模型进行人脸图像重建。

【技术特征摘要】

【专利技术属性】
技术研发人员：陶晓明，李扬，葛宁，陆建华，
申请(专利权)人：清华大学，
类型：发明
国别省市：