数字人的动作控制方法及其系统技术方案

本发明专利技术公开了一种数字人的动作控制方法及其系统，其获取由摄像头采集的用户动作交互视频；对所述用户动作交互视频进行特征提取以得到上下文动作时序语义特征向量；以及，基于所述上下文动作时序语义特征向量，生成针对于数字人的动作控制指令

【技术实现步骤摘要】
数字人的动作控制方法及其系统


[0001]本专利技术涉及智能化控制
，尤其涉及一种数字人的动作控制方法及其系统
。

技术介绍

[0002]数字人是一种能够在虚拟环境中模拟真实人类的三维模型，具有高度的逼真度和交互性
。
数字人的动作控制是数字人技术的重要组成部分，它决定了数字人能否根据用户的意图进行合理的动作响应
。
[0003]目前，常见的数字人的动作控制方法主要有基于传感器的方法和基于视觉的方法
。
基于传感器的方法需要用户佩戴多个传感器来捕捉用户的动作数据，然后将其映射到数字人的动作上，这种方法存在成本高
、
侵入性强
、
易受干扰等缺点
。
基于视觉的方法则利用摄像头采集用户的动作视频，然后通过计算机视觉技术来识别用户的动作意图，并将其转换为数字人的动作控制指令，这种方法具有成本低
、
便捷性强
、
自然交互等优点
。
[0004]然而，现有的基于视觉的数字人的动作控制方法也存在一些问题
。
例如，难以准确地提取用户动作视频中的时序特征，导致动作识别效果不理想
。
因此，期待一种优化的数字人的动作控制方案
。

技术实现思路

[0005]本专利技术实施例提供一种数字人的动作控制方法及其系统，其获取由摄像头采集的用户动作交互视频；对所述用户动作交互视频进行特征提取以得到上下文动作时序语义特征向量；以及，基于所述上下文动作时序语义特征向量，生成针对于数字人的动作控制指令
。
这样，可以增强对于用户的操作意图的识别的准确性，进而来实现更准确
、
便捷的数字人动作控制
。
[0006]本专利技术实施例还提供了一种数字人的动作控制方法，其包括：获取由摄像头采集的用户动作交互视频；对所述用户动作交互视频进行特征提取以得到上下文动作时序语义特征向量；以及基于所述上下文动作时序语义特征向量，生成针对于数字人的动作控制指令
。
[0007]本专利技术实施例还提供了一种数字人的动作控制系统，其包括：视频获取模块，用于获取由摄像头采集的用户动作交互视频；特征提取模块，用于对所述用户动作交互视频进行特征提取以得到上下文动作时序语义特征向量；以及控制指令生成模块，用于基于所述上下文动作时序语义特征向量，生成针对于数字人的动作控制指令
。
附图说明
[0008]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图
。
[0009]在附图中：图1为本专利技术实施例中提供的一种数字人的动作控制方法的流程图
。
[0010]图2为本专利技术实施例中提供的一种数字人的动作控制方法的系统架构的示意图
。
[0011]图3为本专利技术实施例中提供的一种数字人的动作控制方法中步骤
120
的子步骤的流程图
。
[0012]图4为本专利技术实施例中提供的一种数字人的动作控制系统的框图
。
[0013]图5为本专利技术实施例中提供的一种数字人的动作控制方法的应用场景图
。
具体实施方式
[0014]为使本专利技术实施例的目的
、
技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明
。
在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定
。
[0015]除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的
的技术人员通常理解的含义相同
。
本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围
。
[0016]在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义
。
[0017]需要说明的是，本申请实施例所涉及的术语“第一
\
第二
\
第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一
\
第二
\
第三”在允许的情况下可以互换特定的顺序或先后次序
。
应该理解“第一
\
第二
\
第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施
。
[0018]数字人是指使用计算机技术和图形学技术创建的虚拟人物
。
它们可以是三维模型或二维图像，具有人类的外貌和行为特征
。
数字人在电影
、
游戏
、
虚拟现实
、
增强现实等领域被广泛应用
。
[0019]数字人的创建通常涉及建模
、
动画和渲染等过程
。
建模是指使用计算机软件创建数字人的三维模型，包括外形
、
肌肉
、
骨骼等细节
。
动画是指为数字人赋予生动的动作和表情，可以通过关键帧动画
、
动作捕捉等技术实现
。
渲染是指将数字人模型和动画加上光照
、
纹理等效果，使其在屏幕上呈现逼真的视觉效果
。
[0020]数字人的应用非常广泛
。
在电影和游戏中，数字人可以扮演角色，与真实演员或其他数字人进行互动
。
在虚拟现实和增强现实中，数字人可以作为虚拟导游
、
虚拟助手或虚拟角色出现，与用户进行交互
。
数字人还可以用于教育
、
培训
、
医疗等领域，提供虚拟实验
、
模拟训练和医学可视化等功能
。
[0021]随着计算机技术的不断发展，数字人的逼真程度和交互性不断提高
。
未来，数字人有望在各个领域发挥更加重要的作用，为人们带来更多的乐趣和便利
。
[0022]传统的数字人的动作控制方法包括：
1.
关键帧动画（
Keyframe Animation
）：这是一种基于关键帧的动画技术，通过在时间轴上设置关键帧来定义数字人在不同时间点的姿势和动作
。
动画软件会根据关键帧之间的插值计算来生成平滑的动画过渡效果
。
[0023]2....

【技术保护点】

【技术特征摘要】
1.
一种数字人的动作控制方法，其特征在于，包括：获取由摄像头采集的用户动作交互视频；对所述用户动作交互视频进行特征提取以得到上下文动作时序语义特征向量；以及基于所述上下文动作时序语义特征向量，生成针对于数字人的动作控制指令
。2.
根据权利要求1所述的数字人的动作控制方法，其特征在于，对所述用户动作交互视频进行特征提取以得到上下文动作时序语义特征向量，包括：对所述用户动作交互视频进行多区域的时序特征提取以得到多个用户动作交互时序特征图；以及提取所述多个用户动作交互时序特征图之间的全局语义关联以得到所述上下文动作时序语义特征向量
。3.
根据权利要求2所述的数字人的动作控制方法，其特征在于，对所述用户动作交互视频进行多区域的时序特征提取以得到多个用户动作交互时序特征图，包括：将所述用户动作交互视频进行视频切分以得到多个用户动作交互片段；将所述多个用户动作交互片段分别通过基于三维卷积神经网络的动作时序特征提取器以得到所述多个用户动作交互时序特征图
。4.
根据权利要求3所述的数字人的动作控制方法，其特征在于，提取所述多个用户动作交互时序特征图之间的全局语义关联以得到所述上下文动作时序语义特征向量，包括：将所述多个用户动作交互时序特征图分别展开为多个用户动作交互时序特征向量；以及将所述多个用户动作交互时序特征向量通过基于转换器的动作上下文编码器以得到所述上下文动作时序语义特征向量
。5.
根据权利要求4所述的数字人的动作控制方法，其特征在于，基于所述上下文动作时序语义特征向量，生成针对于数字人的动作控制指令，包括：对所述上下文动作时序语义特征向量进行特征分布优化以得到优化上下文动作时序语义特征向量；将所述优化上下文动作时序语义特征向量通过分类器以得到分类结果，所述分类结果用于表示用户动作交互视频对应的操作意图标签；以及基于所述分类结果，生成所述针对于数字人的动作控制指令
。6.
根据权利要求5所述的数字人的动作控制方法，其特征在于，对所述上下文动作时序语义特征向量进行特征分布优化以得到优化上下文动作时序语义特征向量，包括：对所述多个用户动作交互时序特征向量进行级联以得到用户动作交互时序级联特征向量；以及对所述用户动作交互时序级联特征向量以及所述上下文动作时序语...

【专利技术属性】
技术研发人员：张青辉，王英，
申请(专利权)人：世优北京科技有限公司，
类型：发明
国别省市：