人脸图像中自动去除眼镜的方法技术

本发明专利技术提供了一种人脸图像中自动去除眼镜的方法。其包括以下步骤：1、进行基于半阈值和最小方差滤波的阈值分割判断是否有眼镜并获得眼镜的遮挡区域。2、由眼镜遮挡区域得到初始补偿域，对初始补偿域进行调整，根据最小距离原理搜索最佳匹配补偿域。3、用扇形线性插值的方法对眼镜遮挡区域进行补偿，得到不戴眼镜的人脸图像。本发明专利技术可以实现正面人脸图像中眼镜的自动去除，去除效果好。该方法仅根据当前人脸图像，既不需要训练集又不需要补偿集，既适用于深色边框和浅色边框眼镜，也适用于全框眼镜和半框眼镜。

【技术实现步骤摘要】
人脸图像中自动去除眼镜的方法
本专利技术涉及人脸图像的处理方法，具体地说是一种人脸图像中自动去除眼镜的方法。
技术介绍
人脸识别技术由于其主动、直接、简单、友好等特点，市场前景十分广阔。近些年，虽然人脸识别技术取得了很大的进展，但是仍然受到面部表情、姿态、位置、头部尺寸的变化和遮挡物等因素的限制。作为最常见的遮挡物，眼镜通常会给人脸的后续处理和识别过程带来很大的影响。至今，针对人脸图像眼镜去除方面的研究并不多。有研究人员建立了戴眼镜的人脸图像和它对应的不戴眼镜的人脸图像的联合概率分布模型，并通过这个模型来合成不戴眼镜的人脸图像，但是对于那些无框的眼镜，精确定位所需要的15个特征点是非常难的。有研究人员将PCA技术用于人脸图像的眼镜摘除，虽然利用PCA重建的人脸图像是无眼镜的，但实际上眼镜所带来的重建误差被分散到整幅人脸图像，不利于识别。有研究人员用PCA迭代误差补偿算法重建眼镜遮挡区域的图像，但PCA提取的特征只呈现出人脸形状而对人脸细节表现不够。有研究人员提出PCA-ICA-W方法，该方法虽然可以取得较好的结果，但事先也需要对大量人脸样本进行训练重建才能得到无眼镜人脸图像，计算量大，效率不高。眼镜去除过程中使用训练集时，训练集中的人脸图像要经过人脸对齐等预处理。实时情况下很难有合适的不戴眼镜的人脸图像作为训练集；即便有合适的训练集，但事先需要对大量人脸样本进行训练重建。眼镜去除过程中使用补偿集时，补偿集是亮度、纹理相近的其他人脸图像。实时情况下很难找到这样的人脸图像作为补偿集；即便存在补偿集，用作补偿集的人脸图像与待去除眼镜的人脸图像不是同一个人，两幅图像的光照条件或皮肤纹理都存在一定的差异。
技术实现思路
本专利技术提供了一种人脸图像中自动去除眼镜的方法，在不需要训练集也不需要补偿集的情况下，适时、快速自动生成失真度低的去除眼镜人脸图像。本专利技术是这样实现的：人脸图像中自动去除眼镜的方法，包括如下步骤：s1、进行基于半阈值和最小方差滤波的阈值分割,判断是否有眼镜并获得眼镜的遮挡区域；s2、由眼镜遮挡区域得到初始补偿域，对初始补偿域进行调整，根据最小距离原理得到最佳匹配补偿域；s3、用扇形线性插值的方法对眼镜遮挡区域进行补偿，得到不戴眼镜的人脸图像。所述的人脸图像中自动去除眼镜的方法，s1步包括以下步骤：s1a.根据人脸的先验知识建立人眼的椭圆模型，用该模型代替人眼区域；s1b.采用半阈值分割得到包含眼镜在内的显著区域；s1c.使用最小方差滤波的图像分割及连通域去除技术获得显著区域边界即准确的眼镜遮挡区域边界并以周长面积比作为眼镜有无的判断标准；所述的人脸图像中自动去除眼镜的方法，s2步包括以下步骤：s2a.按照获得的眼镜遮挡区域边界轮廓，依次确定初始补偿域；s2b.依据最小距离原理确定最佳匹配补偿域；所述的人脸图像中自动去除眼镜的方法，s3步包括以下步骤：s3a.根据最佳匹配补偿域对眼镜遮挡区域内的像素点进行线性插值补偿；s3b.利用扇形线性插补偿法对眼镜遮挡区域进行补偿，最终得到不戴眼镜的人脸图像。所述的人脸图像中自动去除眼镜的方法，步骤s3a为：线性插值补偿方法如式(1)、(2)、(3)、(4)：y＝round((1-ak)×ybk+ak×y′tk)k＝1,2......n(2)其中，(xbk,ybk)为补偿域上第k个补偿点的位置，(x′tk,y′tk)也记为(xtk′,ytk′)为补偿域上与(xbk,ybk)距离最小的补偿点，为把眼镜遮挡区域标记为白色后的人脸图像。x取x′tk和xbk之间的整数，round(*)表示四舍五入取整，图像的大小为m×n；若在此过程中出现x′tk＝xbk的情况，直接按式(3)、(4)进行补偿，y取y′tk和ybk之间的整数。若此过程中出现y′tk＝ybk的情况，直接根据式(5)、(6)进行补偿，x取x′tk和xbk之间的整数；所述的人脸图像中自动去除眼镜的方法，步骤s3b为：在最小距离两侧的扇形区域进行线性插值补偿:即除了在最小距离T(xbk,ybk)和T0(xtk′,ytk′)之间进行线性插值外，再确定补偿域中在TT0补偿路径两侧距离T0最近的4个补偿点(xt(k′+1),yt(k′+1))记为T1、(xt(k′-1),yt(k′-1))记为T2、(xt(k′+2),yt(k′+2))记为T3、(xt(k′-2),yt(k′-2))记为T4，在T和T0之间进行优先补偿，在T和T1、T和T2之间进行次优先补偿，在T和T3、T和T4之间进行后补偿，使得在TT1、TT2、TT3、TT4之间的线性插值补偿与TT0之间的补偿共同构成扇形补偿区域。本专利技术根据人脸的先验知识建立人眼的椭圆模型，用该模型代替人眼区域，由此可以减少和眼镜的距离比较近的人眼对眼镜遮挡区域检测造成影响。采用半阈值分割得到包含眼镜在内的显著区域，方便进行后续的眼镜遮挡区域检测。使用最小方差滤波的图像分割及连通域去除技术去除噪声，从而获得显著区域边界。最后，以周长面积比作为眼镜有无的判断标准。本专利技术按照获得的眼镜遮挡区域边界轮廓，依次确定初始补偿域。由于眼镜轮廓的不规则性和眼镜遮挡区域的边界周围像素的复杂情况，需要对初始补偿域进行调整。又由于距离较近的皮肤区域的差异较小，补偿域之间的距离越小补偿效果越好。因此，依据最小距离原则寻找最佳匹配补偿域，从而为线性插值补偿做准备。本专利技术中，针对眼镜轮廓的不规则性，考虑在直接进行线性插值补偿后存在较多的遗漏点，因此，除了在最小距离之间进行线性插值外，在最小距离两侧的扇形区域也进行了线性插值补偿。本专利技术使用和两个方向的扇形线性插值的方法对眼镜遮挡区域内的像素点进行补偿，达到去除补偿遗漏点的效果。附图说明图1是本专利技术的方法流程示意图。图2是本专利技术的眼镜遮挡区域检测流程图。图3(a)至图3(e)是利用本专利技术的方法进行眼镜遮挡区域检测的实际过程图。图4是本专利技术的不同形状的方差滤波模板。图5是本专利技术的半框眼镜和“白”色眼镜框的检测结果。图6是本专利技术的眼镜补偿域分布图。图7是本专利技术补偿步骤的说明图。图8为本专利技术的眼镜遮挡区域的补偿过程图。图9为本专利技术的戴眼镜的人脸图像及其对应的去除眼镜后的人脸图像。具体实施方式本专利技术所提供的一种人脸图像中自动去除眼镜的方法中，首先进行基于半阈值和最小方差滤波的阈值分割判断是否有眼镜并获得眼镜的遮挡区域。然后由眼镜遮挡区域得到初始补偿域，根据最小距离原理搜索最佳匹配补偿域。最后用扇形线性插值的方法对眼镜遮挡区域进行补偿，得到不戴眼镜的人脸图像。下面的具体实施过程采用以下计算机的软硬件条件来实现，但并不限定于以下条件：戴尔笔记本，CPU为intel-Corei5-3210M、2.5GHz，显卡为NVIDIAGeForceGT630M，内存4GB，操作系统为Window7，软件编程语言使用MatlabR2013b。结合附图对本专利技术作出说明：图1中，步骤S1,通过基于半阈值和最小方差滤波的阈值分割判断是否有眼镜并获得眼镜的遮挡区域；步骤S2,由眼镜遮挡区域得到初始补偿域，对初始补偿域进行调整，根据最小距离原理搜索最佳匹配补偿域；步骤S3,用扇形线性插值的方法对眼镜遮挡区域进行补偿，得到不戴眼镜的人脸图像。下面结合图1至图5说明步骤S1的眼镜的遮挡区域获本文档来自技高网...

【技术保护点】
一种人脸图像中自动去除眼镜的方法，其特征是，包括如下步骤：s1、进行基于半阈值和最小方差滤波的阈值分割,判断是否有眼镜并获得眼镜的遮挡区域；s2、由眼镜遮挡区域得到初始补偿域，对初始补偿域进行调整，根据最小距离原理得到最佳匹配补偿域；s3、用扇形线性插值的方法对眼镜遮挡区域进行补偿，得到不戴眼镜的人脸图像。

【技术特征摘要】
1.一种人脸图像中自动去除眼镜的方法，其特征是，包括如下步骤：s1、进行基于半阈值和最小方差滤波的阈值分割,判断是否有眼镜并获得眼镜的遮挡区域；s2、由眼镜遮挡区域得到初始补偿域，对初始补偿域进行调整，根据最小距离原理得到最佳匹配补偿域；s3、用扇形线性插值的方法对眼镜遮挡区域进行补偿，得到不戴眼镜的人脸图像。2.根据权利要求1所述的人脸图像中自动去除眼镜的方法，其特征是，s1步包括以下步骤：s1a.根据人脸的先验知识建立人眼的椭圆模型，用该模型代替人眼区域；s1b.采用半阈值分割得到包含眼镜在内的显著区域；s1c.使用最小方差滤波的图像分割及连通域去除技术获得显著区域边界即准确的眼镜遮挡区域边界并以周长面积比作为眼镜有无的判断标准。3.根据权利要求1所述的人脸图像中自动去除眼镜的方法，其特征是，s2步包括以下步骤：s2a.按照获得的眼镜遮挡区域边界轮廓，依次确定初始补偿域；s2b.依据最小距离原理确定最佳匹配补偿域。4.根据权利要求1所述的人脸图像中自动去除眼镜的方法，其特征是，s3步包括以下步骤：s3a.根据最佳匹配补偿域对眼镜遮挡区域内的像素点进行线性插值补偿；s3b.利用扇形线性插补偿法对眼镜遮挡区域进行补偿，最终得到不戴眼镜的人脸图像。5.根据权利要求4所述的人脸图像中自动去除眼镜的方法，其特征是，步骤s3a为：线性插值补偿方法如式(1)、(2)、(3)、(4)：y＝round...

【专利技术属性】
技术研发人员：张欣，于红，马新利，王兵，
申请(专利权)人：河北大学，
类型：发明
国别省市：河北,13