提供人的期望脸部的计算机修改的可视化的方法和系统技术方案

本公开涉及一种用于提供人(2)的期望脸部的计算机修改的图片(13)的方法，该方法包括以下步骤：

【技术实现步骤摘要】
【国外来华专利技术】提供人的期望脸部的计算机修改的可视化的方法和系统


[0001]本公开涉及一种方法和系统，用于提供考虑进行微创和/或有创美容和/或医学治疗以改善人的外貌的人的期望脸部的计算机修改的可视化。

技术介绍

[0002]人们普遍希望优化自己的外貌。脸部是与该外貌相关的身体主要区域之一。已知有许多不同的治疗方法可以改变脸部外貌、表情和/或形态，例如减少脸部皮肤皱纹或改变颧骨。对这种改变感兴趣的人通常约见美容师、皮肤科医师、医师、获得脸部修饰认证的专家或整形外科医师，以获得可能的治疗信息。在第一步中，上述专家检查脸部的不同区域，并基于他们的个人知识和技能，建议能够提供所需外貌变化的医疗和/或美容治疗。这种工作方式的问题在于，对于专业人员来说，该人难以理解专家建议的治疗可能产生的视觉效果和/或对第一印象(即脸部如何被其他人感知)的影响。
[0003]LiaoYanbing等人：“Deep Rank Learning for Facial Attractiveness”2017 4
TH IAPR ASIAN CONFERENCE ON PATTERN RECOGNITION(ACPR)，IEEE，26November 2017(2017
‑
11
‑
26),pages 565
‑
570，XP033475316公开了一种用于全自动面部美容评估和排名的深度卷积神经元网络和人工智能。从流行的社交/约会网站收集的1885个女性脸部图像的“HOTorNOT”数据库被用于训练人工智能如何预测女性脸部的脸部吸引力并对其进行排名。
[0004]MESSERU等人：“Predicting Social Perception from Faces:A Deep Learning Approach”，Arxiv.Org，CORNELL UNIVERSITY LIBRARY，201OLIN LIBRARY CORNELL UNIVERSITY ITHACA,NY 14853,29JUNE 2019(2019
‑
06
‑
29)，XP081385771公开了深卷积神经元网络和人工智能，基于人脸的视觉表示来预测人类感知者对特征“温暖”和“能力”的印象。人工智能从脸部图像的区域提取特征或脸部特性数据，并用10K成人脸部数据库进行训练，其中人类评估者对这些人脸的特征“温暖”和“能力”进行评分，以产生脸部特征。热图(Heat maps)用于识别与人类感知者相关的脸部区域。
[0005]WO2015/017687A2公开了一种方法和系统，其使用户能够用设备拍摄他们的脸部照片并将其发送到计算机服务器。服务器使用脸部识别软件来识别脸部的解剖特征，并且用户选择他想要改善的脸部的解剖区域。在下一步中，服务器确定所选择的解剖区域中的缺陷“严重程度”的级别。此后，该人必须从可能的治疗列表中选择医学或美容治疗，并且服务器基于该选择的医学或美容治疗的临床研究数据来确定可能的治疗结果。最后，服务器生成用户脸部的修改图片，该修改图片具有针对所选择的解剖区域的所选择的医学或美容治疗的可能结果，该图像在用户设备上邻近所拍摄的原始图片进行显示。所公开的方法具有这样的缺点：用户独自进行脸部区域的选择和可能的医学或美容治疗的选择，这可能导致在一次或多次治疗之后用户的整体外貌不那么吸引人。需要技术手段来解决这些技术选择问题。
[0006]公开内容
[0007]这些问题通过包括以下步骤的方法来解决：
[0008]‑
生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将所述数据集存储在数据库中，所述数据集与由一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于他们的脸部特征对这些脸部的视觉材料进行评分；
[0009]‑
进一步提取这些脸部的视觉材料的脸部属性数据，并将这些提取的脸部属性数据与所生成的数据集一起用于训练人工智能，以使人工智能能够提供对脸部的视觉材料的特征的自动评分；
[0010]‑
生成可通过美容和/或医学治疗实现的脸部的视觉材料修改数据集，并将该数据集存储在数据库中；
[0011]‑
取得人的脸部的标准化视觉材料；
[0012]‑
输入待改变的人脸部的至少一个期望特征；
[0013]‑
使用人工智能来分析人脸部的视觉材料，并基于所选择的期望特征和通过至少一种美容和/或医学治疗可实现的修改，来生成修改数据集；
[0014]‑
基于修改数据集修改人的脸部的视觉材料，并生成人的期望脸部的计算机修改的视觉材料，脸部的修改可通过所述至少一种美容和/或医学治疗来实现；
[0015]‑
显示人的期望脸部的计算机修改的视觉材料。
[0016]本专利技术的方法、系统和/或计算机程序使用完全不同的概念和技术来使用户能够作出明智的决定，以决定如何改变脸部外貌、表情和/或形态。用户可以是例如美容师、皮肤科医师、医师、经认证进行脸部修饰的专家或整形外科医师，以及对他们自己的外貌改变感兴趣的人。
[0017]本专利技术基于这样的发现，即当要改变人的外貌时，例如选择性地减少皱纹或增加嘴唇的体积仅仅是次要目标，因为人们在形成第一印象的过程中以更复杂的方式和整体对他人的外貌进行分类。给人留下第一印象的特征是，例如，吸引力、健康、青春、疲劳、痛苦、友好、支配、能力、可爱或值得信任，仅举一些例子。该新概念和技术使得用户能够选择他/她想要改变的至少一个特征。在形成第一印象过程中，改变他人所赋予的特征可以通过两种方式实现，即增加被认为是积极的特征或减少被认为是消极的特征。例如，一个人可能希望看起来不那么累。在另一个例子中，一个人可能希望看起来更友好。在另一个例子中，一个人可能希望看起来更吸引人。
[0018]在本专利技术方法的第一步中，编辑脸部视觉材料的新数据集。这包括人脸部的图像和视频，以及计算机生成的图像和人造脸部的3D模型。在深度学习算法的预处理步骤中，该数据集通过用于脸部对准、剪裁和尺寸调整的变换而被标准化。为了适当地对准脸部数据，首先执行脸部特征的脸部界标检测，然后执行更详细的皮肤纹理分析。视觉材料数据集是通过人类评估和/或修改这些脸部来生成和改进的，以训练基于深度学习的应用程序和/或人工智能和/或软件。在迭代过程中使用其先前版本产生的数据，该应用程序的质量被进一步改善。参考以上引用的作为描述这种人工智能的结构和模型结构的现有文献的科学文章。
[0019]根据深度学习原理，一种新技术用于生成修改数据集，其中包括关于在期望方向上改变用户的特征所需的脸部的所有修改的复杂信息。所述修改可以影响脸部外貌、表情和/或形态。这种脸部修改可以包括，例如，眉毛的高度、脸颊的丰满度、下巴的宽度和高度、嘴唇的体积、颧骨的体积、嘴角纹的深度、下颌轮廓的直线度、眉间线的深度、眶周的凹陷度
和皮肤的紧实度。从技术上讲，这些改变可以通过微创和/或有创性的美容和/或医学治疗来获得，正本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种提供人(2)的期望脸部的计算机修改的视觉材料(13)的方法，其特征在于，该方法包括以下步骤：
‑
生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将所述数据集存储在数据库(8)中，所述数据集与由一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于他们的脸部特征对这些脸部的视觉材料进行评分；
‑
进一步提取这些脸部的视觉材料的脸部属性数据，并将这些提取的脸部属性数据与所生成的数据集一起用于训练人工智能，以使人工智能能够提供对脸部的视觉材料的特征的自动评分；
‑
生成可通过美容和/或医学治疗(16)实现的脸部的视觉材料修改数据集，并将该数据集存储在数据库(9)中；
‑
取得人(2)的脸部的标准化视觉材料；
‑
输入待改变的人脸部的至少一个期望特征；
‑
使用人工智能来分析人脸部的视觉材料(4)，并基于所选择的期望特征和通过至少一种美容和/或医学治疗(16)可实现的修改，来生成修改数据集(12)；
‑
基于所述修改数据集(12)修改人(2)的脸部的视觉材料，并生成人(2)的期望脸部的计算机修改的视觉材料(13)，脸部的修改可通过所述至少一种建议的美容和/或医学治疗(16)来实现；
‑
显示人(2)的期望脸部的计算机修改的视觉材料(13)。2.根据权利要求1所述的方法，其特征在于，所述方法还包括以下步骤：
‑
使用切换模式来交替地显示所取得的人(2)的脸部的标准化视觉材料(4)和所述人(2)的期望脸部的计算机修改的视觉材料(13)，或者
‑
使用标记模式来将由所述修改数据集(12)修改的人(2)的脸部区域标记为与所显示的人(2)的期望脸部的计算机修改的视觉材料(13)的叠加。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括以下步骤：
‑
显示存储在数据集中的所有美容和/或医学治疗(16)；
‑
仅选择所显示的美容和/或医学治疗(16)中的一个或多个；
‑
仅使用所选择的美容和/或医学治疗(16)来产生所述修改数据集(12)。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述方法还包括以下步骤：
‑
显示存储在数据库(8)中的所有特征；
‑
选择所显示的特征中的两个或更多个特征，作为要由人工智能用来生成所述修改数据集(12)的期望特征。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述方法还包括以下步骤：
‑
显示由人工智能选择的要用于产生所述修改数据集(12)的那些美容和/或医学治疗(16)。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述方法还包括以下步骤：
‑
使用人工智能来分析人(2)脸部的视觉材料，以提供对所述人(2)脸部的视觉材料(4)的特征的自动评分；

【专利技术属性】
技术研发人员：海克，
申请(专利权)人：定量面部股份有限公司，
类型：发明
国别省市：