人脸表情互动方法、互动装置以及计算机存储介质制造方法及图纸

本申请公开了一种人脸表情互动方法、互动装置以及计算机存储介质，该人脸表情互动方法包括：载入预设形象模型；获取用户的人脸表情图像；提取人脸表情图像的关键点信息；将关键点信息映射到预设形象模型，以使预设形象模型做出关键点信息对应的表情。通过上述方法，本申请通过基于人脸关键点表现出来的表情变化驱动形象模型，获得实时、动态、趣味化的互动体验。

【技术实现步骤摘要】
人脸表情互动方法、互动装置以及计算机存储介质
本申请涉及图形图像处理与计算机视觉
，特别是涉及一种人脸表情互动方法、互动装置以及计算机存储介质。
技术介绍
表情互动指通过实时捕捉人脸的表情动作来驱动虚拟人物作出相应表情的技术，尤其在人机互动虚拟游戏、虚拟人播报、3D影视制作等场合有着广泛的应用。目前，一部分商家会采用人工智能实现增强现实效果，从而做到逼真的表情互动场景。其中，增强现实，是指透过摄影机影像的位置及角度精算并加上虚拟图像的技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与交互。随着增强现实的技术越来越普及，其应用也随之多样化。在各类展示展览场景中，人工智能、增强现实等技术的应用也进一步提升了展览展示的互动体验效果，但当前大部分人工智能技术与场景、展览展示内容的结合还处于基础的效果叠加层面，无法提供实时、动态、趣味化的互动体验。
技术实现思路
本申请至少提供一种人脸表情互动方法、互动装置以及计算机存储介质。本申请第一方面提供了一种人脸表情互动方法，所述人脸表情互动方法包括：载入预设形象模型；获取用户的人脸表情图像；提取所述人脸表情图像的关键点信息；将所述关键点信息映射到所述预设形象模型，以使所述预设形象模型做出所述关键点信息对应的表情。通过上述方式，基于人脸关键点表现出来的表情变化驱动形象模型，获得实时、动态、趣味化的互动体验。其中，所述将所述关键点信息映射到所述预设形象模型，以使所述预设形象模型做出所述关键点信息对应的表情的步骤，包括：按照连续多帧的所述人脸表情图像的时间顺序比较所述关键点信息差异，从而将所述关键点信息组合为人脸表情信息；在所述人脸表情信息与预设的基础表情信息相匹配的情况下，将所述人脸表情信息映射到所述预设形象模型中，以使所述预设形象模型做出所述基础表情信息对应的表情；其中，预设的基础表情包括至少一种，每一种所述基础表情具有对应的基础表情信息。通过上述方式，比较人脸表情图像中的关键点变化，由关键点的位置变化体现出预设形象模型的表情。其中，所述按照连续多帧的所述人脸表情图像的时间顺序比较所述关键点信息差异，从而将所述关键点信息组合为人脸表情信息的步骤，包括：将所述关键点按照人脸区域划分为眉毛区域关键点、眼睛区域关键点、鼻子区域关键点、嘴巴区域关键点以及脸部轮廓关键点；按照连续多帧的所述人脸表情图像的时间顺序比较每一人脸区域中关键点的位置变化；结合所述预设形象模型和所述每一人脸区域中关键点的位置变化得到所述每一人脸区域的人脸表情信息。通过上述方式，将人脸区域具体划分不同的区域，不同区域的关键点体现出不同区域的表情变化。其中，所述人脸表情信息与预设的基础表情信息相匹配的步骤，包括：将所述人脸表情信息对应的关键点信息与每种预设的基础表情信息的关键点信息的对应关系进行比对，其中，所述预设的基础表情包括至少一种关键点信息；根据比对结果确认所述预设的基础表情。其中，所述提取所述人脸表情图像的关键点信息的步骤，包括：利用预设神经网络对所述人脸表情图像进行识别，得到所述人脸表情图像中预设数量关键点对应的关键点信息。通过上述方式，通过预设神经网络对人脸表情图像识别出关键点，关键点的数量越多，检测精度越高。其中，所述将所述人脸表情信息映射到所述预设形象模型中，以使所述预设形象模型做出所述基础表情信息对应的表情的步骤之后，所述人脸表情互动方法还包括：判断所述人脸表情信息对应的基础表情与是否为特定表情，其中，所述特定表情为所述基础表情中的至少一种；在所述人脸表情信息对应的基础表情是所述特定表情时，显示所述预设形象模型与所述特定表情对应的预设动画。通过上述方式，数据库中预存有多种基础表情，当预设形象模型成功与基础表情匹配，即用户做出与基础表情相同的表情时，可以触发形象模型的动画，提高趣味性。其中，所述载入预设形象模型的步骤，包括：展示数据库中的所有形象模型；基于用户输入信息选择所述预设形象模型，或基于所述用户输入信息将当前显示的形象模型切换为所述预设形象模型。通过上述方式，可以根据用户需求快速更换三维虚拟内容，即形象模型，系统支持多种艺术风格的形象模型。其中，所述预设形象模型为三维形象模型；所述人脸表情互动方法进一步包括：提取连续多帧的所述人脸表情图像的关键点信息以及三维信息；将所述关键点信息映射到所述预设形象模型，并基于所述三维信息触发所述预设形象模型的三维动画。通过上述方式，在平面表情互动的场景基础上，增加三维表情互动的场景。其中，所述载入预设形象模型的步骤之后，所述人脸表情互动方法还包括：获取摄像头采集的互动图像；在从所述互动图像中未检测到所述用户的人脸或人体的情况下，显示所述预设形象模型的等待动画。其中，所述载入预设形象模型的步骤之后，所述人脸表情互动方法还包括：获取摄像头采集的互动图像；在从所述互动图像中检测到所述用户的人脸或人体的情况下，获取所述用户的人脸表情图像。通过上述方式，在没有用户使用人脸表情互动功能时，通过播放等待动画吸收用户的注意。其中，所述在从所述互动图像中检测到所述用户的人脸或人体的情况下，获取所述用户的人脸表情图像的步骤，包括：在从所述互动图像中检测到所述用户的人脸或人体的情况下，判断所述用户的人脸或人体是否处于所述互动图像的预设区域范围内，和/或所述用户的人脸和人体的大小是否大于预设尺寸大小；若是，获取所述用户的人脸表情图像。其中，所述在从所述互动图像中检测到所述用户的人脸或人体的情况下，获取所述用户的人脸表情图像的步骤，包括：在从所述互动图像中检测到所述用户的人脸或人体的情况下，判断所述用户的人脸或人体是否处于所述互动图像的预设区域范围内，和/或所述用户的人脸和人体的大小是否大于预设尺寸大小；若否，显示引导信息的提示界面。通过上述方式，通过引导用户调整位置，可以获取较佳的人脸表情图像。本申请第二方面提供了一种互动装置，所述互动装置包括：载入模块，用于载入预设形象模型；提取模块，用于获取用户的人脸表情图像，还用于提取所述人脸表情图像的关键点信息；表情模块，用于将所述关键点信息映射到所述预设形象模型，以使所述预设形象模型做出所述关键点信息对应的表情。本申请第三方面提供了一种互动装置，所述互动装置包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述人脸表情互动方法的步骤。本申请第四方面提供了一种计算机存储介质，其中，计算机存储介质存储有计算机程序，计算机程序被执行时实现上述人脸表情互动方法的步骤。上述方案，互动装置载入预设形象模型；获取用户的人脸表情图像；提取的人脸表情图像的关键点信息；将关键点信息映射到预设形象模型，以本文档来自技高网...

【技术保护点】
1.一种人脸表情互动方法，其特征在于，所述人脸表情互动方法包括：/n载入预设形象模型；/n获取用户的人脸表情图像；/n提取所述人脸表情图像的关键点信息；/n将所述关键点信息映射到所述预设形象模型，以使所述预设形象模型做出所述关键点信息对应的表情。/n

【技术特征摘要】
1.一种人脸表情互动方法，其特征在于，所述人脸表情互动方法包括：
载入预设形象模型；
获取用户的人脸表情图像；
提取所述人脸表情图像的关键点信息；
将所述关键点信息映射到所述预设形象模型，以使所述预设形象模型做出所述关键点信息对应的表情。


2.根据权利要求1所述的人脸表情互动方法，其特征在于，
所述将所述关键点信息映射到所述预设形象模型，以使所述预设形象模型做出所述关键点信息对应的表情的步骤，包括：
按照连续多帧的所述人脸表情图像的时间顺序比较所述关键点信息差异，从而将所述关键点信息组合为人脸表情信息；
在所述人脸表情信息与预设的基础表情信息相匹配的情况下，将所述人脸表情信息映射到所述预设形象模型中，以使所述预设形象模型做出所述基础表情信息对应的表情；其中，预设的基础表情包括至少一种，每一种所述基础表情具有对应的基础表情信息。


3.根据权利要求2所述的人脸表情互动方法，其特征在于，
所述按照连续多帧的所述人脸表情图像的时间顺序比较所述关键点信息差异，从而将所述关键点信息组合为人脸表情信息的步骤，包括：
将所述关键点按照人脸区域划分为眉毛区域关键点、眼睛区域关键点、鼻子区域关键点、嘴巴区域关键点以及脸部轮廓关键点；
按照连续多帧的所述人脸表情图像的时间顺序比较每一人脸区域中关键点的位置变化；
结合所述预设形象模型和所述每一人脸区域中关键点的位置变化得到所述每一人脸区域的人脸表情信息。


4.根据权利要求3所述的人脸表情互动方法，其特征在于，
所述人脸表情信息与预设的基础表情信息相匹配的步骤，包括：
将所述人脸表情信息对应的关键点信息与每种预设的基础表情信息的关键点信息的对应关系进行比对，其中，所述预设的基础表情包括至少一种关键点信息；
根据比对结果确认所述预设的基础表情。


5.根据权利要求3所述的人脸表情互动方法，其特征在于，
所述提取所述人脸表情图像的关键点信息的步骤，包括：
利用预设神经网络对所述人脸表情图像进行识别，得到所述人脸表情图像中预设数量关键点对应的关键点信息。


6.根据权利要求2所述的人脸表情互动方法，其特征在于，
所述将所述人脸表情信息映射到所述预设形象模型中，以使所述预设形象模型做出所述基础表情信息对应的表情的步骤之后，所述人脸表情互动方法还包括：
判断所述人脸表情信息对应的基础表情是否为特定表情，其中，所述特定表情为所述基础表情中的至少一种；
在所述人脸表情信息对应的基础表情是所述特定表情时，显示所述预设形象模型与所述特定表情对应的预设动画。


7.根据权利要求1所述的人脸表情互动方法，其特征在于，
所述载入预设形象模型的步骤，包括：
展示数据库中的所有形象模型；

【专利技术属性】
技术研发人员：张一，揭志伟，
申请(专利权)人：浙江商汤科技开发有限公司，
类型：发明
国别省市：浙江;33