【技术实现步骤摘要】
本专利技术实施例涉及图像处理，尤其涉及一种口型识别方法、装置、电子设备及存储介质。
技术介绍
1、表情识别中的口型识别技术是人机交互领域的重要支撑技术，通过对不同口型动作的识别，实现细微的口型动作识别和展现，有助于推动扩展现实(extended reality，xr)领域的数字人表情识别、唇语识别等方向的进一步发展。目前口型识别方法一般分为下面几步完成：一、使用rgb相机，采集人脸的完整彩色图像；二、利用深度学习人脸关键点检测模型，得到脸部的关键点的图像坐标；三、将属于唇部的关键点提取出来，通过向量计算，进行不同口型动作的分类。上述方法，使用rgb图像，易受到背景环境的干扰，影响识别精度；向量计算方法运算复杂，可以表示的口型种类少，控制粗糙；关键点的稳定性差，抖动大，也影响识别精度。
技术实现思路
1、本专利技术提供了一种口型识别方法、装置、电子设备及存储介质，以实现更准确的口型识别。
2、第一方面，本专利技术实施例提供了一种口型识别方法，包括：
3、采集嘴部图像；
4、将嘴部图像输入至口型识别模型，得到口型识别结果，口型识别结果包括嘴部图像对应的表情分量，表情分量用于表示嘴部指定关键点的动作幅度。
5、第二方面，本专利技术实施例提供了一种口型识别装置，包括：
6、图像采集模块，用于采集嘴部图像；
7、口型识别模块，用于将嘴部图像输入至口型识别模型，得到口型识别结果，口型识别结果包括嘴部图像对应的表情分量，表情
8、第三方面，本专利技术实施例提供了一种电子设备，包括：
9、至少一个处理器；以及
10、与至少一个处理器通信连接的存储器；其中，
11、存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所述的口型识别方法。
12、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的口型识别方法。
13、本专利技术实施例提供了一种口型识别方法、装置、电子设备及存储介质，该方法包括：采集嘴部图像；将嘴部图像输入至口型识别模型，得到口型识别结果，口型识别结果包括嘴部图像对应的表情分量，表情分量用于表示嘴部指定关键点的动作幅度。上述技术方案，通过口型识别模型识别嘴部图像，确定带有嘴部图像对应的表情分量的口型识别结果，通过口型识别模型端到端的学习表情分量，能更细腻稳定、高效、高准确性地识别口型。
14、应当理解，本部分所描述的内容并非旨在标识本专利技术实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其他特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种口型识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述采集嘴部图像，包括：
3.根据权利要求1所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，所述口型识别模型包括：主干网络和解码网络；
5.根据权利要求1所述的方法，其特征在于，所述口型识别模型的训练过程包括：
6.根据权利要求5所述的方法，其特征在于，
7.根据权利要求3所述的方法，其特征在于，所述三维引擎包括Unity；所述三维引擎基于blendshape组件控制三维人物模型呈现相应的口型。
8.一种口型识别装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的口型识别方法。
【技术特征摘要】
1.一种口型识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述采集嘴部图像，包括：
3.根据权利要求1所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，所述口型识别模型包括：主干网络和解码网络；
5.根据权利要求1所述的方法，其特征在于，所述口型识别模型的训练过程包括：
6.根据权利要求5所述的方法，其...
【专利技术属性】
技术研发人员：周阳，张佳宁，
申请(专利权)人：苏州端云创新科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。