定制化美妆辅助装置和方法制造方法及图纸

本发明专利技术公开了一种定制化美妆辅助装置及相应方法，所述装置包括：用户特征提取模块，被配置为获取用户的人脸图像，并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表；化妆区域识别模块，被配置为根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域；妆容拆解模块，被配置为针对所述至少一个化妆区域确定化妆流程的步骤；以及化妆流程呈现模块，被配置为将所述化妆流程的步骤呈现给用户。

Customized beauty assistant device and method

The invention discloses a customized beauty auxiliary device and corresponding method, the apparatus includes a user feature extraction module, is configured to access the user's face image, and through the first machine learning key facial features of human face images to obtain the user model in the list; makeup area identification module configured to at least one a list of the make-up area of face recognition facial feature point in the image; the module is configured to disassemble the makeup, makeup for the at least one region to determine the process steps and makeup makeup; process rendering module is configured to show the steps of makeup process to the user.

【技术实现步骤摘要】

本专利技术涉及美妆领域，具体涉及一种定制化美妆辅助装置和方法。
技术介绍
伴随时代发展，人们尤其是女性越来越重视美妆尤其是面部美妆的运用。传统上，人们通常通过书籍、互联网、口口相传等等获得美妆技巧。如此获得的美妆技巧通常并不考虑用户自身的五官特点，因此无法满足用户对时尚妆容的个性化需要。用户希望能获得基于自己这张独一无二的脸而量身定做的美妆妆容方法，从而最大限度地彰显自身个性魅力。随着互联网相关技术能力的不断增长，机器学习和人脸识别相关技术也不断取得突破。然而，目前本领域中并不存在通过将机器学习和人脸识别相关技术应用到美妆领域来提供完整的定制化美妆辅助解决方案的技术。可见，本领域中需要一种基于机器学习和人脸识别技术来提供定制化美妆辅助解决方案的技术。
技术实现思路
在本专利技术的一个方面，提供了一种定制化美妆辅助装置，包括：用户特征提取模块，被配置为获取用户的人脸图像，并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表；化妆区域识别模块，被配置为根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域；妆容拆解模块，被配置为针对所述至少一个化妆区域确定化妆流程的步骤；以及化妆流程呈现模块，被配置为将所述化妆流程的步骤呈现给用户。在本专利技术的另一个方面，提供了一种定制化美妆辅助方法，包括：获取用户的人脸图像，并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表；根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域；针对所述至少一个化妆区域确定化妆流程的步骤；以及将所述化妆流程的步骤呈现给用户。本专利技术的通过机器学习技术实现了针对用户自身特点的美妆辅助的定制化和个性化，能够为用户迅速便捷地提供美妆辅助解决方案，更好地满足了用户的美妆需求。附图说明图1示出了根据本专利技术的实施例的一种定制化美妆辅助装置；图2示意性地示出了根据本专利技术的实施例的化妆区域识别模块所识别出的用户人脸图像上的多个化妆区域的示例；图3示意性地示出了根据本专利技术的实施例的化妆流程呈现模块103所呈现给用户的化妆流程的步骤的多媒体片段的示例；以及图4示出根据本专利技术的实施例的定制化美妆辅助方法。具体实施方式下面将参照附图更详细地描述本公开的具体实施方式。虽然附图和描述中示出了本公开的具体实施方式，然而应该理解，可以以其他各种形式实现本专利技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了更清楚地说明本专利技术的原理，并且能够将本专利技术的范围完整地传达给本领域的技术人员。现参照图1，其示出了根据本专利技术的实施例的一种定制化美妆辅助装置100。如图所示，该定制化美妆辅助装置100包括：用户特征提取模块101，化妆区域识别模块102，妆容拆解模块103，以及化妆流程呈现模块104，其中，所述用户特征提取模块101被配置为获取用户的人脸图像，并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表，所述化妆区域识别模块102被配置为根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域，所述妆容拆解模块103被配置为针对所述至少一个化妆区域确定化妆流程的步骤，所述化妆流程呈现模块104被配置为将化妆流程的步骤呈现给用户。根据本专利技术的实施例的定制化美妆辅助装置100通过机器学习模型识别和定位用户人脸图像中的面部特征，并基于此来确定用户人脸图像中的至少一个化妆区域，然后针对每个化妆区域确定化妆流程的步骤并呈现给用户，实现了针对用户自身特点的美妆辅助的定制化和个性化，更好地满足了用户的美妆需求。此外，根据本专利技术的实施例的定制化美妆辅助装置100可以自动和迅速地根据用户自身特点生成和向用户呈现化妆流程辅助解决方案，极大地方便了用户。所述用户特征提取模块101可以通过任何方式获取用户的人脸图像。例如，所述定制化美妆辅助装置100可以位于可通过互联网访问的一服务器上；用户可通过数字照机、手机、与个人计算机连接的摄像机等拍摄自己的人脸图像，然后将该人脸图像的数字文件通过互联网传递给位于该服务器上的所述定制化美妆辅助装置100的用户特征提取模块101。再例如，所述定制化美妆辅助装置100也可以位于一本地计算机上；用户可以将使用数字相机等拍摄的自己的人脸图像的数字文件以无线或有线网络、或有线连接方式传输给该本地计算机上的定制化美妆辅助装置100的用户特征提取模块101。在本专利技术的一示例性实施中，所述用户特征提取模块101被配置为获取用户的睁眼和闭眼两种人脸图像。通过获取用户的睁眼和闭眼两种人脸图像，可以更全面地反映用户的五官特征，从而可以为用户提供更全面的定制化美妆辅助解决方案。所述第一机器学习模型可以是任何可以对人脸及其五官特征进行识别和定位的机器学习模型，例如主动外观模型(ActiveAppearanceModel，AAM)、Hmax+神经网络分类等。该机器学习模型的算法的基本思路是：通过人脸的纹理特征和各个特征点之间的位置约束，在一个完整图像中识别出人脸区域，并在该区域中针对各五官特征进行定位点搜索，最终确定面部中各个五官特征的区域。根据本专利技术的一示例性实施例，所述用户特征提取模块102还被配置为：收集多个人脸图像样本；接收对所述多个人脸图像样本中的面部特征关键点的标注，从而获得多个标注的人脸图像样本；以及使用所述多个标注的人脸图像样本对所述第一机器学习模型进行训练，从而获得第一机器学习模型的实例，以用于获得用户的人脸图像中的面部特征关键点列表。也就是说，所述第一机器学习模型可以使用大量具有标注的人脸图像样本来进行训练。为此，可以首先收集大量的人脸图像样本，所述人脸图像样本同样可以包括睁眼和闭眼两种人脸形态的图像。当收集到大量人脸图像样本之后，可以人工对各人脸图像样本进行标注，即人工标出表示整个人脸图像及其各五官特征区域的关键点及其坐标。然后，可以使用大量具有所述标注的人脸图像样本对所述第一机器学习模型进行训练，得到训练后的第一机器学习模型，即第一机器学习模型的实例。然后，将当前用户的人脸图像输入到该第一机器学习模型的实例中，就可以获得该用户的人脸图像中的面部特征关键点列表。在本专利技术的一示例性实施例中，所述第一机器学习模型为主动外观模型(AAM)。AAM的工作原理可简述如下：a)形状建模。AAM形状建模实现步骤如下：(1)选择一些适合的学习样本；(2)对选择的学习样本进行手工特征点标记，使得标记好的v个特征点位置的集合能够构成形状S，S＝(x1,y1,x2,y2,...xv,yv)；(3)对形状进行归一化，归一化是指把所有用于学习的人脸形状去除旋转、缩放和平移等全局变换；(4)对归一化的形状进行主成分分析(PCA)变换，得到对应训练集的平均形状S0和前n个特征值对应的形状特征向量Si；(5)任意人脸形状S就可以用线性方程进行表达：这样就完成了对形状的建模。b)纹理建模。AAM纹理建模的实现步骤如下：(1)将S0和训练集中的人脸形状，分别Delaunay三角化(2)通过分段线性仿射的方法将样本集人脸形状中的纹理信息映射到平均形状S0中去，实现对纹理归一化(3)对归一化后的纹理信息进行PCA变换，得到平均纹理A0和前m个特征值对应的纹理特征向量Ai。(4)纹理与形状非常相似，任意本文档来自技高网...

【技术保护点】
一种定制化美妆辅助装置，包括：用户特征提取模块，被配置为获取用户的人脸图像，并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表；化妆区域识别模块，被配置为根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域；妆容拆解模块，被配置为针对所述至少一个化妆区域确定化妆流程的步骤；以及化妆流程呈现模块，被配置为将所述化妆流程的步骤呈现给用户。

【技术特征摘要】
1.一种定制化美妆辅助装置，包括：用户特征提取模块，被配置为获取用户的人脸图像，并通过第一机器学习模型获得用户的人脸图像中的面部特征关键点列表；化妆区域识别模块，被配置为根据所述面部特征关键点列表识别人脸图像中的至少一个化妆区域；妆容拆解模块，被配置为针对所述至少一个化妆区域确定化妆流程的步骤；以及化妆流程呈现模块，被配置为将所述化妆流程的步骤呈现给用户。2.根据权利要求1的装置，其中，所述用户特征提取模块还被配置为通过第二机器学习模型根据所述面部特征关键点列表将用户的至少一个面部特征划分为类别；并且所述化妆区域识别模块还被配置为根据所述面部特征关键点列表以及所述至少一个面部特征的类别识别人脸图像中的至少一个化妆区域。3.根据权利要求1的装置，其中，所述第一机器学习模型为主动外观模型AAM。4.根据权利要求2的装置，其中，所述第二机器学习模型为支持向量机模型SVM。5.根据权利要求1的装置，其中，所述用户特征提取模块被配置为获取用户的睁眼和闭眼两种人脸图像。6.根据权利要求2的装置，其中，所述用户特征提取模块还被配置为：收集多个人脸图像样本；接收对所述多个人脸图像样本中的面部特征关键点的标注，从而获得多个标注的人脸图像样本；使用所述多个标注的人脸图像样本对所述第一机器学习模型进行训练，从而获得第一机器学习模型的实例，以用于获得用户的人脸图像中的面部
\t特征关键点列表。7.根据权利要求6的装置，其中，所述用户特征提取模块还被配置为：接收对所述多个标注的人脸图像样本的面部特征类别的进一步标注，从而获得多个进一步标注的人脸图像样本；使用所述多个进一步标注的人脸图像样本对所述第二机器学习模型进行训练，从而获得第二机器学习模型的实例，以用于将用户的至少一个面部特征划分为类别。8.根据权利要求2的装置，其中，所述用户特征提取模块进一步被配置为将用户的脸型、眉形、眼形、下巴形状中的至少一个分为类别。9.根据权利要求8的装置，其中，所述用户特征提取模块还被配置为：接收用户关于肤质和/或肤色的输入；以及将用户的肤质和/或肤色划分为类别。10.根据权利要求1的装置，其中，所述至少一个化妆区域的形状参数硬编码在所述化妆区域识别模块中。11.根据权利要求1的装置，其中，所述化妆区域识别模块还被配置为：接收对所述至少一个化妆区域的形状参数的配置，以及根据所述配置改变所述至少一个化妆区域的形状参数。12.根据权利要求1的装置，其中，所述化妆区域识别模块被配置为识别人脸图像中的至少一个化妆区域包括：所述化妆区域识别模块被配置为识别眼影底妆区域、眼影上色区域、眼影提亮区域、下眼线上色区域、腮红区域、修容提亮区域、修容暗影区域、特定妆容区域中的至少一个。13.根据权利要求1的装置，其中，所述化妆区域识别模块还被配置为根据妆容类型调整或识别至少一个化妆区域。14.根据权利要求1的装置，其中，所述妆容拆解模块被配置为针对
\t所述至少一个化妆区域确定化妆流程的步骤包括：所述妆容拆解模块被配置为根据妆容类型和/或用户的肤质和/或肤色，针对所述至少一个化妆区域确定化妆流程的步骤。15.根据权利要求1的装置，其中，所述妆容拆解模块还被配置为针对所述至少一个化妆区域确定化妆流程的步骤包括：所述妆容拆解模块被配置为针对所述至少一个化妆区域，确定底妆、眼影、眼线、睫毛、眉毛、腮红、唇妆、修容步骤...

【专利技术属性】
技术研发人员：曾莞晴，于子杰，
申请(专利权)人：北京美到家科技有限公司，
类型：发明
国别省市：北京;11