【技术实现步骤摘要】
本专利技术属于智能机器人领域，特别涉及一种虚拟人的交互方法、系统及存储介质。
技术介绍
1、随着元宇宙概念的兴起，虚拟数字人成为了该领域内的浪潮，现有技术中虚拟人主要分为2d虚拟人和3d虚拟人，2d虚拟人主要是视频方式生成并输出，而3d虚拟人是通过三维重建技术生成和渲染技术呈现，3d虚拟人具有更强的拟人性，可以赋予3d虚拟人拟人肢体动作和丰富的情感的脸部表情，能够逼近物理人。
2、目前3d虚拟人应用场景非常广泛，其基本都是通过真人(物理人)驱动，具体通过物理人实时驱动数字虚拟人进行相关肢体动作和表情变化，并通过语音合成方式设置特定语音。真人驱动需要通过视觉捕捉设备采集当前物理人脸部表情、手势和姿态动作等，来生成一个运动序列数据，再驱动虚拟人做出对应动作，这种物理人做什么动作，虚拟人同时也做相同的动作的方式，统称为真人驱动，真人驱动的计算驱动型技术流程主要为：首先，设计形象，扫描真人形态及表演、采集驱动数据；其次，对于扫描得到的真人形象进行建模并绑定；再次，基于真人获取的语音表达、面部表情、具体动作等进行驱动模型建立；最后对构建好的模型进行动态渲染，生成最终内容。上述的真人驱动实质上是一对一的模仿复制展示，虚拟人的交互反馈都依赖于其背后物理人的真实反馈。其交互的实质还是真人与真人的交互，只是换了一种虚拟人身而已，并不能将对话过程中人的随着语言等变化而变化的情感体现在3d虚拟人的交互反馈中。
技术实现思路
1、本专利技术要解决的技术问题是为了克服现有技术中3d虚拟数字人只能
2、本专利技术是通过下述技术方案来解决上述技术问题：
3、一种虚拟人的交互方法，交互方法包括：
4、获取场景信息；
5、基于场景信息驱动虚拟人的对场景信息进行的反馈交互，其中，包括：
6、基于场景信息确定虚拟人的情感意图；
7、根据情感意图生成虚拟人的运动序列和情感序列；
8、基于运动序列和情感序列驱动虚拟人的对场景信息进行的反馈交互。
9、较佳地，场景信息包括环境信息，基于场景信息驱动虚拟人的对场景信息进行的反馈交互的步骤具体包括：
10、当检测到环境信息发生变化时，根据变化信息驱动虚拟人进行反馈交互。
11、较佳地，场景信息包括物理人的对话数据和/或物理人的姿态数据，基于场景信息确定虚拟人的情感意图的步骤具体包括：
12、基于物理人的对话数据和/或物理人的姿态数据确定虚拟人的情感意图。
13、较佳地，根据情感意图生成虚拟人的运动序列和情感序列的步骤具体包括：
14、将情感意图输入强化学习模型，输出虚拟人的运动序列和情感序列。
15、较佳地，交互场景分别与运动序列及情感序列设有对应关系，根据情感意图生成虚拟人的运动序列和情感序列的步骤具体包括：
16、确定当前交互场景；
17、根据对应关系确定虚拟人的与当前交互场景对应的初始运动序列和初始情感序列；
18、根据情感意图、初始运动序列和初始情感序列生成虚拟人的运动序列和情感序列。
19、较佳地，基于运动序列和情感序列驱动虚拟人的对场景信息进行的反馈交互的步骤具体包括：
20、若反馈交互包括对话交互，则结合运动序列相对应的运动和情感序列相对应的情感进行虚拟人的唇动动作；
21、若反馈交互包括表情交互，则结合运动序列相对应的运动和情感序列相对应的情感进行虚拟人的表情动作；
22、若反馈交互包括肢体交互，则结合运动序列相对应的运动和情感序列相对应的情感进行虚拟人的肢体动作。
23、较佳地，根据情感意图生成虚拟人的运动序列和情感序列的步骤具体包括：
24、根据情感意图生成包含时间戳的运动序列和包含时间戳的情感序列。
25、较佳地，虚拟人为多个，每个虚拟人设有不同的角色，根据情感意图生成虚拟人的运动序列和情感序列的步骤具体包括：
26、根据角色和情感意图生成与不同虚拟人对应的运动序列和情感序列。
27、较佳地，不同情感序列对应不同的渲染方案，渲染方案包括虚拟人的虚拟场景的背景渲染；
28、交互方法还包括：
29、获取与情感序列对应的目标渲染方案，并基于目标渲染方案对虚拟人的反馈交互进行渲染。
30、一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的虚拟人的交互方法。
31、一种虚拟人的交互系统，交互系统包括视觉捕捉器、运动驱动模块；
32、视觉捕捉器用于获取场景信息；
33、运动驱动模块用于基于场景信息驱动虚拟人的对场景信息进行的反馈交互，其中，运动驱动模块具体包括：
34、内容理解单元，用于基于场景信息确定虚拟人的情感意图；
35、序列生成单元，用于根据情感意图生成虚拟人的运动序列和情感序列；交互驱动单元，用于基于运动序列和情感序列驱动虚拟人的对场景信息进行的反馈交互。
36、本专利技术的积极进步效果在于：在与虚拟人进行交互时，通过实时获取的场景信息比如环境状态、物理人姿态、对话等信息，虚拟人做出反馈交互，实现真正的物理人与虚拟人的交互沟通，通过虚拟人自身的计算和判断确定交互下的情感意图，并基于情感意图生成运动序列和情感序列，进而基于运动序列和情感序列驱动虚拟人的对场景信息进行的反馈交互。
本文档来自技高网...【技术保护点】
1.一种虚拟人的交互方法，其特征在于，所述交互方法包括：
2.如权利要求1所述的虚拟人的交互方法，其特征在于，所述场景信息包括环境信息，所述基于所述场景信息驱动所述虚拟人的对所述场景信息进行的反馈交互的步骤具体包括：
3.如权利要求1所述的虚拟人的交互方法，其特征在于，所述场景信息包括物理人的对话数据和/或物理人的姿态数据，所述基于所述场景信息确定所述虚拟人的情感意图的步骤具体包括：
4.如权利要求1所述的虚拟人的交互方法，其特征在于，所述根据所述情感意图生成所述虚拟人的运动序列和情感序列的步骤具体包括：
5.如权利要求1所述的虚拟人的交互方法，其特征在于，交互场景分别与运动序列及情感序列设有对应关系，所述根据所述情感意图生成所述虚拟人的运动序列和情感序列的步骤具体包括：
6.如权利要求1所述的虚拟人的交互方法，其特征在于，所述基于所述运动序列和所述情感序列驱动所述虚拟人的对所述场景信息进行的反馈交互的步骤具体包括：
7.如权利要求1所述的虚拟人的交互方法，其特征在于，所述根据所述情感意图生成所述虚拟人的运动
8.如权利要求1所述的虚拟人的交互方法，其特征在于，所述虚拟人为多个，每个虚拟人设有不同的角色，所述根据所述情感意图生成所述虚拟人的运动序列和情感序列的步骤具体包括：
9.如权利要求1所述的虚拟人的交互方法，其特征在于，不同情感序列对应不同的渲染方案，所述渲染方案包括虚拟人的虚拟场景的背景渲染；
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的虚拟人的交互方法。
11.一种虚拟人的交互系统，其特征在于，所述交互系统包括视觉捕捉器、运动驱动模块；
...【技术特征摘要】
1.一种虚拟人的交互方法，其特征在于，所述交互方法包括：
2.如权利要求1所述的虚拟人的交互方法，其特征在于，所述场景信息包括环境信息，所述基于所述场景信息驱动所述虚拟人的对所述场景信息进行的反馈交互的步骤具体包括：
3.如权利要求1所述的虚拟人的交互方法，其特征在于，所述场景信息包括物理人的对话数据和/或物理人的姿态数据，所述基于所述场景信息确定所述虚拟人的情感意图的步骤具体包括：
4.如权利要求1所述的虚拟人的交互方法，其特征在于，所述根据所述情感意图生成所述虚拟人的运动序列和情感序列的步骤具体包括：
5.如权利要求1所述的虚拟人的交互方法，其特征在于，交互场景分别与运动序列及情感序列设有对应关系，所述根据所述情感意图生成所述虚拟人的运动序列和情感序列的步骤具体包括：
6.如权利要求1所述的虚拟人的交互方法，其特征在于，所述...
【专利技术属性】
技术研发人员：高静，
申请(专利权)人：武汉联影医疗科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。