虚拟对象动作生成方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种虚拟对象动作生成方法、装置、计算机设备和存储介质。所述方法包括：获取动作描述文本；对动作描述文本进行语义层次化解析，得到多个语义层级的动作描述信息，并获取用于生成虚拟对象动作的采样噪声信号；对多个语义层级的动作描述信息进行编码，得到多个语义层级各自的动作描述表征；基于多个语义层级各自的动作描述表征，对采样噪声信号进行多个语义层级的降噪处理，得到级联降噪后的动作特征向量；其中，每个语义层级的降噪处理输出的动作特征向量的粒度级逐语义层级递减；对级联降噪后的动作特征向量进行解码，得到虚拟对象动作。采用本方法能够提高所生成的虚拟对象动作的准确度。动作的准确度。动作的准确度。

【技术实现步骤摘要】
虚拟对象动作生成方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种虚拟对象动作生成方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术的发展，出现了文本驱动虚拟对象动作生成技术，该技术可以利用一段对虚拟对象进行描述的动作描述文本来生成虚拟对象动作。
[0003]传统技术中，通常采用的虚拟对象动作生成方式为，将动作描述文本作为控制信号输入生成式模型（如生成式对抗网络、变分自编码器、扩散模型等），以通过生成式模型将动作描述文本直接映射为虚拟对象动作。
[0004]然而，传统方法由于是将动作描述文本直接映射为虚拟对象动作，通常只能生成粗粒度的虚拟对象动作，存在所生成的虚拟对象动作不准确的问题。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高所生成的虚拟对象动作的准确度的虚拟对象动作生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种虚拟对象动作生成方法。所述方法包括：获取用于描述虚拟对象动作的动作描述文本；对所述动作描述文本进行语义层次化解析，得到多个语义层级的动作描述信息，并获取用于生成所述虚拟对象动作的采样噪声信号；对所述多个语义层级的动作描述信息进行编码，得到所述多个语义层级各自的动作描述表征；基于首个语义层级的动作描述表征，对所述采样噪声信号进行所述首个语义层级的降噪处理，得到所述首个语义层级输出的动作特征向量；在所述首个语义层级之后的每一语义层级，基于上一语义层级输出的动作特征向量和从所述首个语义层级到本语义层级各自的动作描述表征，对所述采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每个语义层级的降噪处理输出的动作特征向量的粒度级逐语义层级递减；对所述级联降噪后的动作特征向量进行解码，得到所述虚拟对象动作。
[0007]第二方面，本申请还提供了一种虚拟对象动作生成装置。所述装置包括：获取模块，用于获取用于描述虚拟对象动作的动作描述文本；语义解析模块，用于对所述动作描述文本进行语义层次化解析，得到多个语义层级的动作描述信息，并获取用于生成所述虚拟对象动作的采样噪声信号；编码模块，用于对所述多个语义层级的动作描述信息进行编码，得到所述多个语义层级各自的动作描述表征；
第一降噪处理模块，用于基于首个语义层级的动作描述表征，对所述采样噪声信号进行所述首个语义层级的降噪处理，得到所述首个语义层级输出的动作特征向量；第二降噪处理模块，用于在所述首个语义层级之后的每一语义层级，基于上一语义层级输出的动作特征向量和从所述首个语义层级到本语义层级各自的动作描述表征，对所述采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每个语义层级的降噪处理输出的动作特征向量的粒度级逐语义层级递减；解码模块，用于对所述级联降噪后的动作特征向量进行解码，得到所述虚拟对象动作。
[0008]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取用于描述虚拟对象动作的动作描述文本；对所述动作描述文本进行语义层次化解析，得到多个语义层级的动作描述信息，并获取用于生成所述虚拟对象动作的采样噪声信号；对所述多个语义层级的动作描述信息进行编码，得到所述多个语义层级各自的动作描述表征；基于首个语义层级的动作描述表征，对所述采样噪声信号进行所述首个语义层级的降噪处理，得到所述首个语义层级输出的动作特征向量；在所述首个语义层级之后的每一语义层级，基于上一语义层级输出的动作特征向量和从所述首个语义层级到本语义层级各自的动作描述表征，对所述采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每个语义层级的降噪处理输出的动作特征向量的粒度级逐语义层级递减；对所述级联降噪后的动作特征向量进行解码，得到所述虚拟对象动作。
[0009]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取用于描述虚拟对象动作的动作描述文本；对所述动作描述文本进行语义层次化解析，得到多个语义层级的动作描述信息，并获取用于生成所述虚拟对象动作的采样噪声信号；对所述多个语义层级的动作描述信息进行编码，得到所述多个语义层级各自的动作描述表征；基于首个语义层级的动作描述表征，对所述采样噪声信号进行所述首个语义层级的降噪处理，得到所述首个语义层级输出的动作特征向量；在所述首个语义层级之后的每一语义层级，基于上一语义层级输出的动作特征向量和从所述首个语义层级到本语义层级各自的动作描述表征，对所述采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每个语义层级的降噪处理输出的动作特征向量的粒度级逐语义层级递减；对所述级联降噪后的动作特征向量进行解码，得到所述虚拟对象动作。
[0010]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取用于描述虚拟对象动作的动作描述文本；
对所述动作描述文本进行语义层次化解析，得到多个语义层级的动作描述信息，并获取用于生成所述虚拟对象动作的采样噪声信号；对所述多个语义层级的动作描述信息进行编码，得到所述多个语义层级各自的动作描述表征；基于首个语义层级的动作描述表征，对所述采样噪声信号进行所述首个语义层级的降噪处理，得到所述首个语义层级输出的动作特征向量；在所述首个语义层级之后的每一语义层级，基于上一语义层级输出的动作特征向量和从所述首个语义层级到本语义层级各自的动作描述表征，对所述采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每个语义层级的降噪处理输出的动作特征向量的粒度级逐语义层级递减；对所述级联降噪后的动作特征向量进行解码，得到所述虚拟对象动作。
[0011]上述虚拟对象动作生成方法、装置、计算机设备、存储介质和计算机程序产品，获取用于描述虚拟对象动作的动作描述文本，对动作描述文本进行语义层次化解析，得到多个语义层级的动作描述信息，并获取用于生成虚拟对象动作的采样噪声信号，对多个语义层级的动作描述信息进行编码，能够得到多个语义层级各自的动作描述表征，基于首个语义层级的动作描述表征，对采样噪声信号进行首个语义层级的降噪处理，能够得到首个语义层级输出的动作特征向量，在首个语义层级之后的每一语义层级，以上一语义层级输出的动作特征向量和从首个语义层级到本语义层级各自的动作描述表征作为联合条件，对采样噪声信号进行降噪处理，能够利用多个语义层级各自的动作描述表征来逐渐丰富细粒度的运动细节，得到更细粒度的、准确表征虚拟对象动作的级联降噪后的动作特征向量，进而可以通过对级联降噪后的动作特征向量进行解码，得到虚拟对象动作。整个过程，能够以多个语义层级的动作描述信息作为细粒度的控制信号，通过捕捉多个语义层级的动作特征来细化生成虚拟对象动作，提高了所生成的虚拟对象动作的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟对象动作生成方法，其特征在于，所述方法包括：获取用于描述虚拟对象动作的动作描述文本；对所述动作描述文本进行语义层次化解析，得到多个语义层级的动作描述信息，并获取用于生成所述虚拟对象动作的采样噪声信号；对所述多个语义层级的动作描述信息进行编码，得到所述多个语义层级各自的动作描述表征；基于首个语义层级的动作描述表征，对所述采样噪声信号进行所述首个语义层级的降噪处理，得到所述首个语义层级输出的动作特征向量；在所述首个语义层级之后的每一语义层级，基于上一语义层级输出的动作特征向量和从所述首个语义层级到本语义层级各自的动作描述表征，对所述采样噪声信号进行降噪处理，得到级联降噪后的动作特征向量；其中，每个语义层级的降噪处理输出的动作特征向量的粒度级逐语义层级递减；对所述级联降噪后的动作特征向量进行解码，得到所述虚拟对象动作。2.根据权利要求1所述的方法，其特征在于，所述多个语义层级包括整体运动层级、局部动作层级以及动作细节层级；所述对所述动作描述文本进行语义层次化解析，得到多个语义层级的动作描述信息包括：将所述动作描述文本作为所述整体运动层级的动作描述信息，并从所述动作描述文本中提取出至少一个动词和与所述至少一个动词各自相应的属性短语；将所述至少一个动词作为所述局部动作层级的动作描述信息，并将与所述至少一个动词各自相应的属性短语，作为所述动作细节层级的动作描述信息。3.根据权利要求1所述的方法，其特征在于，所述对所述多个语义层级的动作描述信息进行编码，得到所述多个语义层级各自的动作描述表征包括：分别对所述多个语义层级中每个语义层级的各动作描述信息进行编码，得到各所述动作描述信息的第一特征向量；基于至少一对不同语义层级之间的动作描述信息之间的语义关联关系，对各所述动作描述信息的第一特征向量进行基于注意力机制的更新处理，得到各所述动作描述信息的第二特征向量；对同一语义层级的动作描述信息的第二特征向量进行拼接，得到所述多个语义层级各自的动作描述表征。4.根据权利要求3所述的方法，其特征在于，所述基于至少一对不同语义层级之间的动作描述信息之间的语义关联关系，对各所述动作描述信息的第一特征向量进行基于注意力机制的更新处理，得到各所述动作描述信息的第二特征向量包括：分别将各所述动作描述信息作为语义节点，并基于至少一对不同语义层级之间的动作描述信息之间的语义关联关系，确定连接各所述语义节点的连接边；将各所述动作描述信息的第一特征向量，分别作为各所述语义节点的节点表征；根据各所述语义节点、连接各所述语义节点的连接边以及各所述语义节点的节点表征，构建层次语义图；利用图注意力机制，更新所述层次语义图中各所述语义节点的节点表征，根据更新后的各所述语义节点的节点表征，得到各所述动作描述信息的第二特征向量。
5.根据权利要求4所述的方法，其特征在于，所述利用图注意力机制，更新所述层次语义图中各所述语义节点的节点表征包括：针对所述层次语义图中每个语义节点，确定所针对的语义节点的至少一个相邻节点；对所述至少一个相邻节点的节点表征和所述所针对的语义节点的节点表征进行基于图注意力机制的交互处理，确定所述至少一个相邻节点以及所述所针对的语义节点的注意力权重系数；根据所述注意力权重系数，对所述至少一个相邻节点的节点表征和所述所针对的语义节点的节点表征进行加权求和，得到更新后的所述所针对的语义节点的节点表征。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：在得到所述虚拟对象动作的情况下，响应于对所述层次语义图中连接各所述语义节点的连接边的边权重调整事件，对所述边权重调整事件所指示的连接边的边权重进行调整，得到更新的层次语义图；利用图注意力机制，更新所述更新的层次语义图中各所述语义节点的节点表征，根据更新后的各所述语义节点的节点表征，得到各所述动作描述信息的第三特征向量；对同一语义层级的动作描述信息的第三特征向量进行拼接，得到所述多个语义层级各自的更新后动作描述表征；基于所述多个语义层级各自的更新后动作描述表征，生成调整后虚拟对象动作。7.根据权利要求1所述的方法，其特征在于，所述基于首个语义层级的动作描述表征，对所述采样噪声信号进行所述首个语义层级的降噪处理，得到所述首个语义层级输出的动作特征向量包括：将所述采样噪声信号作为经过多步加噪的噪声信号，从所述多步加噪的最后一步开始，基于首个语义层级的动作描述表征，对每一步输入的噪声信号进行逆向的降噪处理，将对首步输入的噪声信号进行降噪处理所得到的降噪信号，作为所述首个语义层级输出的动作特征向量。8.根据权利要求7所述的方法，其特征在于，针对于所述多步加噪中的每一步，对所针对的加噪步输入的噪声信号进行的降噪处理的步骤包括：对所述所针对的加噪步的步数进行编码，得到加噪步特征；对所述首个语义层级的动作描述表征和所述加噪步特征进行融合，得到降噪条件特征；根据所述降噪条件特征，对所述所针对的加噪步输入的噪声信号进行降噪处理，得到降噪信号。9.根据权利要求8所述的方法，其特征在于，所述根据所述降噪条件特征，对所述所针对的加噪步输入的噪声信号进行降噪处理，得到降噪信号包括：根据所述降噪条件特征和所述所针对的加噪步输入的噪声信号，对所述所针对的加噪步相应的添加噪声进行预测，得到所述所针对的加噪步相应的第一预测添加噪声；根据所述第一预测添加噪声，对所述所针对的加噪步输入的噪声信号进行降噪处理，得到降噪信号。10.根据权利要求1
‑
9任意一项所述的方法，其特征在于，所述虚拟对象动作是通过预训练的动作序列生成模型确定的，所述动作序列生成模型包括级联降噪网络和解码器；所
述级联降噪网络用于进行每一语义层级的降噪处理，得到级联降噪...

【专利技术属性】
技术研发人员：伍洋，金鹏，樊艳波，孙钟前，杨巍，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：