System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请属于互联网领域,具体涉及一种生成虚拟数字人的方法、电子设备和存储介质。
技术介绍
1、随着科技的发展,为了更好地满足用户的个性化服务以及降低人工客服的运营成本,虚拟数字人应运而生。
2、相关技术在生成虚拟数字人的过程中,往往只会考虑让虚拟数字人的嘴型随着语音的变化而相应变化。这样一来,由于生成的虚拟数字人不够自然和逼真,用户在与虚拟数字人交互的过程中会存在不真实的感觉,影响了用户的接受度。
技术实现思路
1、本申请实施例提供一种生成虚拟数字人的方法、电子设备和存储介质,能够解决相关技术生成的虚拟数字人不够自然和逼真的问题。
2、第一方面,本申请实施例提供了一种生成虚拟数字人的方法,包括:
3、获取与输入语音相关联的特征信息;
4、基于所述特征信息,得到与虚拟数字人相关联的目标结果;
5、基于所述目标结果和形象量化模型,得到所述虚拟数字人的形象特征推荐结果;
6、基于所述目标结果和表情量化模型,得到所述虚拟数字人的表情特征推荐结果;
7、基于所述目标结果和动作量化模型,得到所述虚拟数字人的动作特征推荐结果;
8、基于所述虚拟数字人的形象特征推荐结果、所述虚拟数字人的表情特征推荐结果以及所述虚拟数字人的动作特征推荐结果,得到元素协同处理结果,所述元素协同处理结果用于生成虚拟数字人。
9、第二方面,本申请实施例提供了一种生成虚拟数字人的装置,包括:
10、获取模块
11、处理模块,用于基于所述特征信息,得到与虚拟数字人相关联的目标结果;基于所述目标结果和形象量化模型,得到所述虚拟数字人的形象特征推荐结果;基于所述目标结果和表情量化模型,得到所述虚拟数字人的表情特征推荐结果;基于所述目标结果和动作量化模型,得到所述虚拟数字人的动作特征推荐结果;基于所述虚拟数字人的形象特征推荐结果、所述虚拟数字人的表情特征推荐结果以及所述虚拟数字人的动作特征推荐结果,得到元素协同处理结果,所述元素协同处理结果用于生成虚拟数字人。
12、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
13、第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储程序或指令,所述程序或指令被执行时实现如第一方面所述的方法的步骤。
14、第五方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序在被处理器执行时实现如第一方面、第二方面或者第三方面所述的方法的步骤。
15、在本申请实施例中,获取与输入语音相关联的特征信息;基于所述特征信息,得到与虚拟数字人相关联的目标结果;基于所述目标结果和形象量化模型,得到所述虚拟数字人的形象特征推荐结果;基于所述目标结果和表情量化模型,得到所述虚拟数字人的表情特征推荐结果;基于所述目标结果和动作量化模型,得到所述虚拟数字人的动作特征推荐结果;基于所述虚拟数字人的形象特征推荐结果、所述虚拟数字人的表情特征推荐结果以及所述虚拟数字人的动作特征推荐结果,得到元素协同处理结果,所述元素协同处理结果用于生成虚拟数字人。如此,在生成虚拟数字人的过程中,通过引入形象量化模型、表情量化模型和动作量化模型,分别从形象、表情和动作这多个维度对虚拟数字人进行量化,之后再对量化后的结果协同处理,得到元素协同处理结果,从而让生成的虚拟数字人融合考虑了多种仿真元素,相较于单一仿真元素,能够更加自然和真实,解决相关技术生成的虚拟数字人不够自然和逼真的问题。
本文档来自技高网...【技术保护点】
1.一种生成虚拟数字人的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述特征信息,得到与虚拟数字人相关联的目标结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述特征信息和所述虚拟数字人服务策略,获取虚拟形象驱动向量集,包括:
4.根据权利要求1-3任一项所述的方法,其特征在于,所述特征信息包括语音基本特征、语音变化趋势特征、情绪特征和情绪变化特征中的至少一种;
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标结果和形象量化模型,得到所述虚拟数字人的形象特征推荐结果,包括:
6.根据权利要求1所述的方法,其特征在于,所述基于所述目标结果和表情量化模型,得到所述虚拟数字人的表情特征推荐结果,包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述目标结果和动作量化模型,得到所述虚拟数字人的动作特征推荐结果,包括:
8.根据权利要求1所述的方法,其特征在于,所述基于所述虚拟数字人的形象特征推荐结果、所述虚拟数字人的表情特征推荐结果以及所述
9.根据权利要求8所述的方法,其特征在于,所述元素协同处理结果为通过负面清单校验和所述目标结果校验的结果,所述负面清单为形象、表情、动作中的至少二者存在冲突的元素组合。
10.根据权利要求8所述的方法,其特征在于,所述元素协同处理结果包括虚拟形象状态向量,所述虚拟形象状态向量用于指示所述虚拟数字人的状态。
11.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-10任一项所述的方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储程序或指令,所述程序或指令被执行时实现如权利要求1-10任一项所述的方法的步骤。
13.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被执行时实现如权利要求1-10任一项所述的方法的步骤。
...【技术特征摘要】
1.一种生成虚拟数字人的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述特征信息,得到与虚拟数字人相关联的目标结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述特征信息和所述虚拟数字人服务策略,获取虚拟形象驱动向量集,包括:
4.根据权利要求1-3任一项所述的方法,其特征在于,所述特征信息包括语音基本特征、语音变化趋势特征、情绪特征和情绪变化特征中的至少一种;
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标结果和形象量化模型,得到所述虚拟数字人的形象特征推荐结果,包括:
6.根据权利要求1所述的方法,其特征在于,所述基于所述目标结果和表情量化模型,得到所述虚拟数字人的表情特征推荐结果,包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述目标结果和动作量化模型,得到所述虚拟数字人的动作特征推荐结果,包括:
8.根据权利要求1所述的方法,其特征在于,所述基于所述虚拟数字人的形...
【专利技术属性】
技术研发人员:徐景成,彭成高,叶凯莹,王劲鹏,叶天宽,胡洪涛,詹育壕,王新为,
申请(专利权)人:中移互联网有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。