一种配合脸部表情跟随发出相应语音的方法和终端技术

本发明专利技术公开了一种配合脸部表情跟随发出相应语音的方法和终端，该方法的步骤包括：终端获取用户脸部表情图像，提取图像的第一特征值，以设定角色模型的初始脸部表情；终端监控用户脸部表情的变化，把变化后的第二特征值实时关联到角色模型；角色模型关联第二特征值的同时，终端发出由匹配模式设定的语音。通过上述方式，本发明专利技术能够使游戏角色模型配合脸部表情跟随发出相应语音，充分利用硬件设备对游戏玩法进行扩展，增强游戏的趣味性。

【技术实现步骤摘要】

本专利技术涉及图像识别领域，特别是涉及一种配合脸部表情跟随发出相应语音的方法和终端。
技术介绍
目前移动终端流行虚拟角色模型游戏，通过触摸角色模型不同部位时迅速做出相应的反应，或者把用户对角色模型说过的语音记录并经过变音后播放出来，伴随角色模型嘴部的动作，给人很强的滑稽感。现在的这类游戏玩法单一，只是通过用户操作触发角色模型的固定动作，或者模仿用户的话语使角色模型发声，未能充分的利用硬件设备对游戏玩法进行扩展。
技术实现思路
本专利技术主要解决的技术问题是提供一种配合脸部表情跟随发出相应语音的方法和终端，能够使游戏角色模型跟随用户脸部表情同时发出相应语音，充分利用硬件设备对游戏玩法进行扩展，增强游戏的趣味性。为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种配合脸部表情跟随发出相应语音的方法，该方法的步骤包括：终端获取用户脸部表情图像，提取图像的第一特征值，以设定角色模型的初始脸部表情；终端监控用户脸部表情的变化，把变化后的第二特征值实时关联到角色模型；角色模型关联第二特征值的同时，终端发出由匹配模式设定的语音；特征值包括人眼位置，两眼距离，嘴巴、鼻子、下巴的位置中的一个或两个以上的组合；匹配模式记录第二特征值与角色模型发声的对应关系。其中，角色模型关联第二特征值的同时，终端发出由匹配模式设定的语音的步骤包括：终端对比脸部表情变化的第一特征值和第二特征值；根据对比结果和匹配模式从终端的数据库查询对应第二特征值的终端数据库预存的语音；终端在角色模型脸部表情按照第二特征值变化时播放语音。其中，终端的数据库中至少包含与用户每一脸部表情特征值变化对应的至少一条语音，语音的语境符合当前角色模型的脸部表情。其中，在查询与第二特征值对应的语音的步骤中，终端数据库预置语音，或者用户以文字或录音的方式添加语音到终端数据库。其中，在设定角色模型的初始表情的步骤中，终端获取脸部表情图像的第一特征值关联角色模型，用作角色模型脸部表情特征值的基准，终端监测到用户脸部表情发生变化后，与该基准对比。为解决上述技术问题，本专利技术采用的另一个技术方案是：提供一种配合脸部表情跟随发出相应语音的终端，该终端包括：脸部表情提取模块、脸部表情关联模块和角色模型控制模块；脸部表情提取模块用于获取用户脸部表情图像，提取图像的第一特征值，以设定角色模型的初始表情，以及在用户脸部表情变化后提取第二特征值；脸部表情关联模块用于监控用户脸部表情的变化，把第一特征值和第二特征值实时关联到角色模型；角色模型控制模块用于使终端发出由匹配模式设定的语音；特征值包括人眼位置，两眼距离，嘴巴、鼻子、下巴的位置中的一个或两个以上的组合；匹配模式记录第二特征值与角色模型发声的对应关系。其中，角色模型控制模块包括：表情特征对比单元、数据库查询单元和语音播放单元，表情特征对比单元用于对比脸部表情变化的第一特征值和第二特征值，数据库查询单元用于根据对比结果和匹配模式从终端的数据库查询对应第二特征值的终端数据库预存的语音，语音播放单元用于在角色模型脸部表情按照第二特征值变化时播放语音。其中，终端的数据库中至少包括与用户每一脸部表情特征值变化对应的至少一条语音，语音的语境符合当前角色模型的脸部表情。其中，语音在终端的数据库预置，或由用户以文字或录音的方式添加到终端的数据库。其中，角色模型脸部表情关联第一特征值作为角色模型脸部表情特征值的基准，用户的脸部表情发生变化后与该基准对比。本专利技术的有益效果是：区别于现有技术的情况，本专利技术配合脸部表情跟随发出相应语音的方法中，终端通过人脸识别功能监测到脸部表情特征发生变化后，把变化后的脸部表情特征关联到角色模型，同时终端以角色模型的名义发出与当前脸部表情对应的语音，充分的利用硬件设备对游戏玩法进行扩展，增加游戏玩法，极大的增强游戏趣味性。附图说明图1是本专利技术一种配合脸部表情跟随发出相应语音的方法第一实施方式的流程示意图；图2是本专利技术一种配合脸部表情跟随发出相应语音的方法第二实施方式的流程示意图；图3是本专利技术一种配合脸部表情跟随发出相应语音的方法第三实施方式的流程示意图；图4是本专利技术一种配合脸部表情跟随发出相应语音的终端第一实施方式的结构示意图。具体实施方式参阅图1，图1是本专利技术一种配合脸部表情跟随发出相应语音的方法第一实施方式的流程示意图。该方法的步骤包括：S101：终端获取用户脸部表情图像，提取图像的第一特征值，以设定角色模型的初始脸部表情。人脸识别技术的主要技术流程主要有采集、处理、提取特征值和识别等步骤。该技术通常应用于身份验证及安防领域，需精确处理和识别。手机终端也具备简易的人脸识别功能，可利用人脸识别功能进行脸部表情跟随，将获取到的脸部表情的特征赋予模仿的宠物类角色模型游戏中的虚拟角色。目前比较公认的基本情绪有六种：高兴、悲伤、厌恶、恐惧、惊讶和愤怒。以上六种基本情绪所对应的表情经过人脸识别技术可进行有效识别。在本实施方式中，终端在开启游戏后，通过摄像头获取用户的脸部表情图像，并对该图像进行人脸识别，提取该脸部表情图像中的脸部表情的第一特征值。人的脸部最显著的特征有眼睛位置，双眼间距及嘴巴、鼻子和下巴的位置，终端提取上述显著特征点间的相对位置，根据上述脸部特征点之间的距离特性来获得人脸识别的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等，使角色模型的脸部各个特征点与用户脸部表情图像中各特征点的位置相对应。此时认为角色模型被赋予了用户脸部表情图像中用户当时的表情。S102：终端监控用户脸部表情的变化，把变化后的第二特征值实时关联到角色模型。终端的摄像头实时监测摄像头前用户的脸部表情，提取脸部表情的特征值，若提取到的特征值与步骤S101中的第一特征值相同，则不做处理，继续监测；在监测到用户的脸部表情发生变化后，获取变化后的脸部表情图像，提取脸部表情的特征值作为第二特征值。同样按步骤S101中的方法，将用户脸部表情的第二特征值赋予终端游戏的角色模型，改变了角色模型的脸部表情，使之与用户当前表情相同。S103：角色模型关联第二特征值的同时，终端发出由匹配模式设定的语音。人的脸部最显著的特征中，眼睛的位置、双眼间距及嘴巴、鼻子和下巴的位置，这些特征点中任意一项或几项发生变化，得到新的脸部表情，各个特征点组本文档来自技高网...

【技术保护点】
一种配合脸部表情跟随发出相应语音的方法，其特征在于，所述方法的步骤包括：终端获取用户脸部表情图像，提取所述图像的第一特征值，以设定角色模型的初始脸部表情；所述终端监控所述用户脸部表情的变化，把变化后的第二特征值实时关联到所述角色模型；所述角色模型关联所述第二特征值的同时，所述终端发出由匹配模式设定的语音；其中，所述第一特征值、第二特征值包括人眼位置，两眼距离，嘴巴、鼻子、下巴的位置中的一个或两个以上的组合；所述匹配模式记录所述第二特征值与所述角色模型发声的对应关系。

【技术特征摘要】
1.一种配合脸部表情跟随发出相应语音的方法，其特征在于，所述
方法的步骤包括：
终端获取用户脸部表情图像，提取所述图像的第一特征值，以设定
角色模型的初始脸部表情；
所述终端监控所述用户脸部表情的变化，把变化后的第二特征值实
时关联到所述角色模型；
所述角色模型关联所述第二特征值的同时，所述终端发出由匹配模
式设定的语音；
其中，所述第一特征值、第二特征值包括人眼位置，两眼距离，嘴
巴、鼻子、下巴的位置中的一个或两个以上的组合；所述匹配模式记录
所述第二特征值与所述角色模型发声的对应关系。
2.根据权利要求1所述的方法，其特征在于，所述角色模型关联所
述第二特征值的同时，所述终端发出由匹配模式设定的语音的步骤包
括：
所述终端对比所述脸部表情变化的所述第一特征值和第二特征值；
根据对比结果和所述匹配模式从所述终端的数据库查询对应所述
第二特征值的终端数据库预存的语音；
所述终端在所述角色模型脸部表情按照所述第二特征值变化时播
放所述语音。
3.根据权利要求2所述的方法，其特征在于，所述终端的数据库中
至少包含与用户每一脸部表情特征值变化对应的至少一条语音，所述语
音的语境符合当前所述角色模型的脸部表情。
4.根据权利要求2所述的方法，其特征在于，在查询与所述第二特
征值对应的所述语音的步骤中，所述终端数据库预置所述语音，或者用
户以文字或录音的方式添加所述语音到所述终端数据库。
5.根据权利要求1所述的方法，其特征在于，在所述设定角色模型
的初始表情的步骤中，所述终端获取脸部表情图像的第一特征值关联角

\t色模型，用作所述角色模型脸部表情特征值的基准，所述终端监测到用
户脸部表情发生变化后，与所述基准对比。
6...

【专利技术属性】
技术研发人员：刘美鸿，陈易华，
申请(专利权)人：深圳市亿思达科技集团有限公司，
类型：发明
国别省市：广东;44