人脸图像中眼镜的去除方法和装置、佩戴方法和装置制造方法及图纸

本发明专利技术提供了一种人脸图像中眼镜的去除方法和装置、佩戴方法和装置，其中的方法具体包括：从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。本发明专利技术能够比较有效地去除人脸图像中的眼镜。

【技术实现步骤摘要】

本专利技术涉及模式识别
，特别是涉及一种人脸图像中眼镜的去除方法和装置、一种人脸图像中眼镜的佩戴方法和装置。
技术介绍
目前，人脸识别、检测跟踪等人脸相关技术作为近年来的一个重要研究领域，已经取得了很大的进展，但是在实际应用中，姿态、眼镜、表情、阴影等众多因素都不同程度地对识别效果产生影响，其中眼镜是较常见的一种干扰物。眼镜的遮挡部分常常包含了人脸识别中所需的特征点，如瞳孔区域、眼睛边缘；有的人本身佩戴眼镜却希望到眼镜店中配一副隐形眼镜，此时，需要针对眼镜部分的人脸图像处理获得没有眼镜边框的人脸，以有助于提高识别的准确率；此外，有的人本身没有戴眼镜，需要选配新眼镜时，可以通过图像处理的方法直接生成佩戴各种眼镜的人脸图像，以提高便利性。人脸图像中眼镜的去除和佩戴在人机交互、人脸识别、人脸动画等方面有广泛的应用，已逐渐成为近年来对人脸图像处理的研究热点之一。现有一种人脸图像中眼镜的去除方法，采用基于PCA(主成分分析，Principal Component Analysis)的方法，即通过对戴眼镜人脸图像向不戴眼镜的样本PCA学习获得的基向量映射，重构获得不戴眼镜人脸图像。该方法的缺点是去除眼镜后的人脸图像中，眼镜区域的人脸图像经常留有眼镜边框的痕迹，导致眼镜区域图像和周围人脸图像的接缝不够自然，由于没有考虑到具体眼睛大小的差异，获得的眼睛常常失真，和本人的眼睛图像有较大差距，因此不是很实用。因此，迫切需要实现眼镜区域图像和周围人脸图像之间的自然拼接，找到能够重构原有人脸图像中裸眼区域/眼镜区域的机制，使得重构图像和对应的原有图像尽可能匹配。专利技术内容本专利技术所要解决的技术问题是提供一种人脸图像中眼镜的去除方法和装置，能够比较有效地去除人脸图像中的眼镜，并且实现不戴眼镜眼睛区域图像和周围人脸图像之间的自然拼接。相应的，本专利技术还提供了一种人脸图像中眼镜的佩戴方法和装置，能够让不戴眼镜的人脸戴上眼镜，并且实现戴眼镜眼睛区域图像和周围人脸图像的自然拼接。为了解决上述问题，本专利技术公开了一种人脸图像中眼镜的去除方法，包括从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。优选的，通过如下步骤构造多类眼睛区域的分类机获取不戴眼镜人脸图像样本，并从所述不戴眼镜人脸图像样本中分割出眼睛区域样本；依据眼睛形状，将所述眼睛区域样本分为多类；提取各类眼睛区域样本的特征；依据所述特征对各类眼睛区域样本进行训练，得到作为多类眼睛区域的分类机。优选的，所述特征为LBP特征或LBP直方图特征；所述通过分类机匹配得到相应的眼睛区域类别的步骤，包括提取所述戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；基于所述LBP特征或LBP直方图特征，在所述多类眼睛区域的分类机中进行匹配， 获得相应的眼睛区域类别。优选的，在将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接后，所述方法还包括对所述不戴眼镜眼镜区域图像中的k个边缘点，和所述戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下I (x, y) = λ Φ0(χ, y) + (1-λ ) (χ, y)其中，I (χ, y), 0(x, y) , R(χ, y)分别代表融合之后的像素值、所述戴眼镜眼睛区域图像中对应点的像素值，和所述不戴眼镜眼镜区域图像中对应点的像素值，k> 1， 0 ^ λ ^ I0优选的，所述从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像的步骤，包括对所述戴眼镜人脸图像进行眼睛定位，得到眼睛位置；根据所述眼睛位置，对所述戴眼镜人脸图像进行归一化操作；从归一化后的戴眼镜人脸图像中割取预设大小的裸眼图像，作为戴眼镜眼睛区域图像，以除所述戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。另一方面，本专利技术还公开了一种人脸图像中眼镜的去除装置，包括获取模块，用于从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；匹配模块，用于针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；基向量获取模块，用于获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行PCA学习得到；重构模块，用于将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；及拼接模块，用于将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。优选的，所述装置还包括学习机训练模块，包括获取子模块，用于获取不戴眼镜人脸图像样本；分割子模块，用于从所述不戴眼镜人脸图像样本中分割出眼睛区域样本；分类子模块，用于依据眼睛形状，将所述眼睛区域样本分为多类；提取子模块，用于提取各类眼睛区域样本的特征；及训练子模块，用于依据所述特征对各类眼睛区域样本进行训练，得到作为多类眼睛区域的分类机。优选的，所述特征为LBP特征或LBP直方图特征；所述匹配模块，包括特征提取子模块，用于提取所述戴眼镜眼睛区域图像的LBP特征或LBP直方图特征；及匹配子模块，用于基于所述LBP特征或LBP直方图特征，在所述多类眼睛区域的分类机中进行匹配，获得相应的眼睛区域类别。优选的，所述装置还包括融合模块，用于在将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接后， 对所述不戴眼镜眼镜区域图像中的k个边缘点，和所述戴眼镜眼睛区域图像中对应的边缘点进行加权融合，融合公式如下I (x, y) = λ Φ0(χ, y) + (1-λ ) (χ, y)其中，I (χ, y), 0(x, y)，R(χ, y)分别代表融合之后的像素值、所述戴眼镜眼睛区域图像中对应点的像素值，和所述不戴眼镜眼镜区域图像中对应点的像素值，k> 1， 0 ^ λ ^ I0优选的，所述获取模块，包括眼镜定位子模块，用于对所述戴眼镜人脸图像进行眼睛定位，得到眼睛位置；归一化子模块，用于根据所述眼睛位置，对所述戴眼镜人脸图像进行归一化操作； 及割取子模块，用于从归一化后的戴眼镜人脸图像中割取预设大小的裸眼图像，作为戴眼镜眼睛区域图像，以除所述戴眼镜眼睛区域图像外的图像作为非眼睛区域图像。另一方面，本专利技术还公开了一种人脸图像中眼镜的佩戴方法，包括从不戴眼镜人脸图像中获取不戴眼镜眼睛区域图像和非眼睛区域图像；针对所述不戴眼镜眼睛区域图像，通过选型机匹配得到相应的眼镜类型，所述选型机为依据戴眼镜人脸图像样本所构造的多个眼镜类型的选型机，所述多个眼镜类型的分类依据为眼镜形状；获得与所述眼镜类型相应的基向量，所述基向量为针对所述眼镜类型的样本进行 PCA学习得到；将所述不戴眼镜戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；将所述非眼睛区域图像和戴眼镜眼镜区本文档来自技高网...

【技术保护点】
１．一种人脸图像中眼镜的去除方法，其特征在于，包括：从戴眼镜人脸图像中获取戴眼镜眼睛区域图像和非眼睛区域图像；针对所述戴眼镜眼睛区域图像，通过分类机匹配得到相应的眼睛区域类别，所述分类机为依据不戴眼镜人脸图像样本所构造的多类眼睛区域的分类机，所述多类眼睛区域的分类依据为眼睛形状；获得与所述眼睛区域类别相应的基向量，所述基向量为针对所述眼睛区域类别的样本进行ＰＣＡ学习得到；将所述戴眼镜眼睛区域图像向所述基向量映射，重构获得不戴眼镜眼镜区域图像；将所述非眼睛区域图像和不戴眼镜眼镜区域图像进行拼接，得到去除眼镜后的人脸图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：崔国勤，
申请(专利权)人：北京中星微电子有限公司，
类型：发明
国别省市：11