一种表情驱动方法、装置、设备及介质制造方法及图纸

技术编号:37863930 阅读:11 留言:0更新日期:2023-06-15 20:53
本公开实施例涉及一种表情驱动方法、装置、设备及介质,其中该方法包括:获取目标图像,并识别目标图像中的目标对象的表情,得到至少一个表情系数;提取至少一个表情系数中的待处理表情系数,并确定待处理表情系数中的初始左表情系数和初始右表情系数;基于初始左表情系数和初始右表情系数之间的相似度,生成目标左表情系数和目标右表情系数;基于目标左表情系数和目标右表情系数,驱动虚拟形象做出相应的表情。本公开实施例不仅实现了对识别的表情系数的后处理关系约束,使得后续通过新的表情系数驱动表情时能够提升面部具有关系的各部位间的表情的一致性和同步性,而且避免了可能的表情失效,提升表情驱动的真实性。提升表情驱动的真实性。提升表情驱动的真实性。

【技术实现步骤摘要】
一种表情驱动方法、装置、设备及介质


[0001]本公开涉及图像处理
,尤其涉及一种表情驱动方法、装置、设备及介质。

技术介绍

[0002]随着互联网技术和人工智能技术的不断发展,在一些场景中可以通过生成并驱动目标对象的虚拟形象以实现更好的人机交互效果。
[0003]表情驱动可以理解为通过图像采集设备获取目标对象的面部表情图像,再借由算法获取表情驱动数据(例如表情系数),利用这些表情驱动数据驱动目标对象的虚拟形象(例如目标对象的三维虚拟面部模型),使得被驱动的虚拟形象能够做出和目标对象一致的表情。然而上述方式中,在某些情况下驱动的表情存在面部具有关系的各部位间的不一致性和不同步性,进而导致驱动效果不真实。

技术实现思路

[0004]为了解决上述技术问题,本公开提供了一种表情驱动方法、装置、设备及介质。
[0005]本公开实施例提供了一种表情驱动方法,所述方法包括:
[0006]获取目标图像,并识别所述目标图像中的目标对象的表情,得到至少一个表情系数;
[0007]提取所述至少一个表情系数中的待处理表情系数,并确定所述待处理表情系数中的初始左表情系数和初始右表情系数;
[0008]基于所述初始左表情系数和所述初始右表情系数之间的相似度,生成目标左表情系数和目标右表情系数;
[0009]基于所述目标左表情系数和所述目标右表情系数,驱动虚拟形象做出相应的表情。
[0010]本公开实施例还提供了一种表情驱动装置,所述装置包括:
[0011]识别模块,用于获取目标图像,并识别所述目标图像中的目标对象的表情,得到至少一个表情系数;
[0012]确定模块,用于提取所述至少一个表情系数中的待处理表情系数,并确定所述待处理表情系数中的初始左表情系数和初始右表情系数;
[0013]处理模块,用于基于所述初始左表情系数和所述初始右表情系数之间的相似度,生成目标左表情系数和目标右表情系数;
[0014]驱动模块,用于基于所述目标左表情系数和所述目标右表情系数,驱动虚拟形象做出相应的表情。
[0015]本公开实施例还提供了一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如本公开实施例提供的表情驱动方法。
[0016]本公开实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程
序,所述计算机程序用于执行如本公开实施例提供的表情驱动方法。
[0017]本公开实施例提供的技术方案与现有技术相比具有如下优点:本公开实施例提供的表情驱动方案,获取目标图像,并识别所述目标图像中的目标对象的表情,得到至少一个表情系数;提取至少一个表情系数中的待处理表情系数,并确定待处理表情系数中的初始左表情系数和初始右表情系数;基于初始左表情系数和初始右表情系数之间的相似度,生成目标左表情系数和目标右表情系数;基于目标左表情系数和目标右表情系数,驱动虚拟形象做出相应的表情。采用上述技术方案,通过对表情系数中待处理表情系数进行划分,使其包括左右两个部分,之后基于左右两个部分的相似度生成新的左右两个部分表情系数,并基于新的表情系数进行虚拟形象的表情驱动,不仅实现了对识别的表情系数的后处理关系约束,使得后续通过新的表情系数驱动表情时能够提升面部具有关系的各部位间的表情的一致性和同步性,而且避免了可能的表情失效,提升表情驱动的真实性。
附图说明
[0018]结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
[0019]图1为本公开实施例提供的一种表情驱动方法的流程示意图;
[0020]图2为本公开实施例提供的另一种表情驱动方法的流程示意图;
[0021]图3为本公开实施例提供的一种表情驱动的示意图;
[0022]图4为本公开实施例提供的一种对比示意图;
[0023]图5为本公开实施例提供的一种表情驱动装置的结构示意图;
[0024]图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0025]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
[0026]应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0027]本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0028]需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0029]需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
[0030]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
[0031]研究发现,由于未对表情系数在各部位间进行关系上的约束,在某些情况下,对虚拟形象进行表情驱动时,会出现面部具有关系的各部位间的不一致性和不同步性,进而导致驱动效果不真实,例如真人在正常张眼或眨眼时左右眼的大小基本一致,如果驱动的左右眼大小不一致,表现出来的效果便会极大影响用户体验。相关技术中,为了解决上述问题,可以按照各部位间存在的关系直接强加一致性约束,例如针对眼部驱动,将左右眼的对应表情驱动系数进行平均,再将平均后的系数重新赋值到原来的左右眼系数上,这样能够保证左右眼大小是完全一致的。但是上述方式较为单一,可能会使部分表情失效,例如单眼闭眼的表情失效,导致驱动效果不真实。
[0032]为了解决上述问题,本公开实施例提供了一种表情驱动方法,下面结合具体的实施例对该方法进行介绍。
[0033]图1为本公开实施例提供的一种表情驱动方法的流程示意图,该方法可以由表情驱动装置执行,其中该装置可以采用软件和/或硬件实现,一般可集成在电子设备中。如图1所示,该方法包括:
[0034]步骤101、获取目标图像,并识别目标图像中的目标对象的表情,得本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种表情驱动方法,其特征在于,包括:获取目标图像,并识别所述目标图像中的目标对象的表情,得到至少一个表情系数;提取所述至少一个表情系数中的待处理表情系数,并确定所述待处理表情系数中的初始左表情系数和初始右表情系数;基于所述初始左表情系数和所述初始右表情系数之间的相似度,生成目标左表情系数和目标右表情系数;基于所述目标左表情系数和所述目标右表情系数,驱动虚拟形象做出相应的表情。2.根据权利要求1所述的方法,其特征在于,识别所述目标图像中的目标对象的表情,得到至少一个表情系数,包括:将所述目标图像输入预先训练的表情识别网络,得到所述至少一个表情系数。3.根据权利要求1所述的方法,其特征在于,提取所述至少一个表情系数中的待处理表情系数,包括:提取所述至少一个表情系数中针对预设部位的表情系数,得到所述待处理表情系数,其中,所述预设部位具有左右两个对称子部位。4.根据权利要求1所述的方法,其特征在于,基于所述初始左表情系数和所述初始右表情系数之间的相似度,生成目标左表情系数和目标右表情系数,包括:采用相似性函数确定所述初始左表情系数和所述初始右表情系数之间的相似度;基于所述相似度分别对所述初始左表情系数和所述初始右表情系数进行调整,得到目标左表情系数和目标右表情系数。5.根据权利要求1或4所述的方法,其特征在于,所述初始左表情系数包括多个左维度数据,所述初始右表情系数包括多个右维度数据,所述多个左维度数据的数量与所述多个右维度数据的数量相同,并且每个所述左维度数据与一个所述右维度数据相对应;所述初始左表情系数和所述初始右表情系数之间的相似度按照维度数据对为单位确定,所述维度数据对的数量为多个,每个所述维度数据对包括相对应的一个所述左维度数据和一个所述右维度数据。6.根据权利要求4所述的方法,其特征在于,采用相似性函数确定所述...

【专利技术属性】
技术研发人员:陈培滨张惜今冷福星
申请(专利权)人:北京字跳网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1