【技术实现步骤摘要】
本申请涉及虚拟现实，尤其涉及一种虚拟现实场景的多模态人机交互方法、装置及存储介质。
技术介绍
1、在虚拟现实场景中，用户通过鼠标、键盘、触摸屏或手柄等外设进行交互操作。然而，通过外设进行交互操作使得用户缺乏真实的虚拟现实交互体验，用户比起“体验者”，更类似于“操作者”。因此，如何提高用户在虚拟现实场景中的代入感以及沉浸感是目前亟待解决的问题。
技术实现思路
1、有鉴于此，本申请提供一种虚拟现实场景的多模态人机交互方法、装置及存储介质，通过眼动与手势识别的方式来进行交互，无需鼠标以及手柄等外设。提高了用户在虚拟现实场景中的交互体验。
2、第一方面，本专利技术实施例提供一种虚拟现实场景的多模态人机交互方法，包括：
3、采集目标用户的眼动追踪信息；
4、根据所述眼动追踪信息从虚拟现实场景包含的多个可交互项目中确定目标可交互项目；
5、采集所述目标用户的手部动作信息；
6、根据所述手部动作信息从与所述目标可交互项目对应的多个预设手势中确定匹配的目标预设手势；
7、根据所述目标预设手势对所述目标可交互项目执行对应的交互反馈。
8、在一种可能的实现方式中，所述根据所述眼动追踪信息从虚拟现实场景包含的多个可交互项目中确定目标可交互项目，包括：
9、根据所述目标用户的眼动追踪信息确定目标用户的视线方向和注视点；
10、根据视线方向和所述注视点确定所述目标用户在虚拟现实场景中的感兴趣区域；p>
11、确定所述感兴趣区域中包含的可交互项目；
12、根据所述注视点从所述感兴趣区域中包含的可交互项目中确定所述目标可交互项目。
13、在一种可能的实现方式中，所述根据所述注视点从所述感兴趣区域中包含的可交互项目中确定所述目标可交互项目，包括：
14、根据所述注视点从所述感兴趣区域包含的可交互项目中确定目标用户所注视的候选可交互项目；
15、根据所述注视点判断所述目标用户对所述候选可交互项目的持续注视时长；
16、当所述持续注视时长大于第一阈值时将所述候选可交互项目确定为所述目标可交互项目。
17、在一种可能的实现方式中，所述采集所述目标用户的手部动作信息，包括：
18、通过至少一个图像采集设备采集所述目标用户的手部图像数据；
19、根据所述手部图像数据得到手部模型；
20、根据所述手部模型得到所述手部动作信息。
21、在一种可能的实现方式中，所述根据所述手部动作信息从与所述目标可交互项目对应的多个预设手势中确定匹配的目标预设手势，包括：
22、根据所述手部模型确定手势关键点特征；
23、将所述手部模型的所述手势关键点特征输入预先训练好的深度学习模型，以使所述深度学习模型根据所述手势关键点特征输出所述手势关键点特征与各个所述预设手势的匹配度；
24、将匹配度超过设定阈值且匹配度最高的预设手势确定为所述目标预设手势。
25、在一种可能的实现方式中，所述目标可交互项目包括虚拟驾驶场景的虚拟方向盘，所述目标预设手势为方向盘转动手势，所述根据所述目标预设手势对所述目标可交互项目执行对应的交互反馈，包括：
26、根据所述方向盘转动手势确定转动角度；
27、在所述虚拟方向盘上显示手部模型；
28、根据所述转动角度，渲染所述手部模型相对所述虚拟方向盘的手部动作和相对方位、并旋转所述手部模型和所述虚拟方向盘。
29、在一种可能的实现方式中，所述目标可交互项目包括虚拟驾驶场景的虚拟变速杠，所述目标预设手势为档位变换手势，所述根据所述目标预设手势对所述目标可交互项目执行对应的交互反馈，包括：
30、根据所述档位变换手势确定档位变换的目标档位；
31、在所述虚拟变速杠上显示手部模型；
32、根据所述目标档位的位置，渲染所述手部模型相对所述虚拟变速杠的手部动作、并控制所述手部模型和所述虚拟变速杠运动至所述目标档位；
33、和/或，
34、所述目标可交互项目包括虚拟驾驶场景的虚拟钥匙，所述目标预设手势为旋转手势，所述根据所述目标预设手势对所述目标可交互项目执行对应的交互反馈，包括：
35、在所述虚拟钥匙上显示手部模型；
36、根据所述目标预设手势渲染所述手部模型相对所述虚拟钥匙的手部动作、并旋转所述手部模型和所述虚拟钥匙。
37、在一种可能的实现方式中，所述方法还包括：
38、根据所述方向盘转动手势或所述档位变换手势确定所述目标用户的驾驶姿势评分。
39、在一种可能的实现方式中，所述虚拟现实场景包括虚拟交通场景项目，所述虚拟交通场景项目包括：虚拟行人、虚拟交通信号灯以及虚拟交通标志中的一项或多项组合，所述方法还包括：
40、根据所述眼动追踪信息在所述虚拟交通场景项目中确定并突出显示与所述眼动追踪信息对应的内容。
41、在一种可能的实现方式中，所述方法还包括：
42、根据所述眼动追踪信息确定目标用户对各个所述虚拟交通场景项目的注视时间、对所述各个虚拟交通场景项目的注视次数、对所述各个可交互项目的注视时间以及对所述各个可交互项目的注视次数；
43、根据所述手部动作信息、对所述各个虚拟交通场景项目的注视时间、对所述各个虚拟交通场景项目的注视时间、对所述各个虚拟交通场景项目的注视次数、对所述各个可交互项目的注视时间以及对所述各个可交互项目的注视次数进行生理分析，得到所述目标用户的驾驶专注度测评结果。
44、第二方面，本专利技术实施例提供一种虚拟现实场景的多模态人机交互装置，包括：
45、眼动采集模块，用于采集目标用户的眼动追踪信息；
46、处理模块，用于根据所述眼动追踪信息从虚拟现实场景包含的多个可交互项目中确定目标可交互项目；
47、手势采集模块，用于采集所述目标用户的手部动作信息；
48、所述处理模块，还用于根据所述手部动作信息从与所述目标可交互项目对应的多个预设手势中确定匹配的目标预设手势；
49、执行模块，用于根据所述目标预设手势对所述目标可交互项目执行对应的交互反馈。
50、第三方面，本专利技术实施例提供一种电子设备，包括：
51、至少一个处理器；以及
52、与所述处理器通信连接的至少一个存储器，其中：
53、所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面所述的方法。
54、第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面所述的方法。
55、本专利技术实施例中，将眼动跟踪与手势识别技术相结合，通过眼动跟踪来识别用户当前注视的交互本文档来自技高网...
【技术保护点】
1.一种虚拟现实场景的多模态人机交互方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述眼动追踪信息从虚拟现实场景包含的多个可交互项目中确定目标可交互项目，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述注视点从所述感兴趣区域中包含的可交互项目中确定所述目标可交互项目，包括：
4.根据权利要求1所述的方法，其特征在于，所述采集所述目标用户的手部动作信息，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述手部动作信息从与所述目标可交互项目对应的多个预设手势中确定匹配的目标预设手势，包括：
6.根据权利要求1所述的方法，其特征在于，所述目标可交互项目包括虚拟驾驶场景的虚拟方向盘，所述目标预设手势为方向盘转动手势，所述根据所述目标预设手势对所述目标可交互项目执行对应的交互反馈，包括：
7.根据权利要求1所述的方法，其特征在于，所述目标可交互项目包括虚拟驾驶场景的虚拟变速杠，所述目标预设手势为档位变换手势，所述根据所述目标预设手势对所述目标可交互项目执行对应的交互
8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1所述的方法，其特征在于，所述虚拟现实场景包括虚拟交通场景项目，所述虚拟交通场景项目包括：虚拟行人、虚拟交通信号灯以及虚拟交通标志中的一项或多项组合，所述方法还包括：
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11.一种虚拟现实场景的多模态人机交互装置，其特征在于，包括：
12.一种电子设备，其特征在于，包括：
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至10任一所述的方法。
...【技术特征摘要】
1.一种虚拟现实场景的多模态人机交互方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述眼动追踪信息从虚拟现实场景包含的多个可交互项目中确定目标可交互项目，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述注视点从所述感兴趣区域中包含的可交互项目中确定所述目标可交互项目，包括：
4.根据权利要求1所述的方法，其特征在于，所述采集所述目标用户的手部动作信息，包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述手部动作信息从与所述目标可交互项目对应的多个预设手势中确定匹配的目标预设手势，包括：
6.根据权利要求1所述的方法，其特征在于，所述目标可交互项目包括虚拟驾驶场景的虚拟方向盘，所述目标预设手势为方向盘转动手势，所述根据所述目标预设手势对所述目标可交互项目执行对应的交互反馈，包括：
7.根...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京津发科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。