【技术实现步骤摘要】
本专利技术属于虚拟现实领域，具体的说是一种vr/ar环境下手贴合菜单的交互方法。
技术介绍
1、目前现有技术中鲜有提到如何改善vr交互这一方面问题的措施。如《一种vr交互装置》、《一种基于ai的vr教学交互系统》、《一种基于vr虚拟现实角色的交互结构及交互方法》等等方法涉及的领域十分广泛，从教育到游戏再到旅游，却鲜有提出关于此问题的有效解决办法。
2、wimp(windows,icons,menus,apointing device)交互模型是人机交互领域中使用最普遍的电脑互动界面，在桌面系统上取得了广泛成功。但在vr中使用wimp，却面临着一系列问题。在桌面系统中，菜单出现在用户面前的计算机屏幕上，用户通过鼠标和键盘与二维屏幕进行交互；而在虚拟现实环境中，用户和菜单都在三维空间中，用户需要与三维菜单进行交互，桌面系统中常用的鼠标和键盘就变得不可用，如何与菜单交互是必须要考虑的问题。
3、在hmd中，空中显示+手柄交互是常见的输入方式，如面向消费者的htc vive和oculus quest。随着手部追踪准确性的提升，研究者们开始讨论使用手势控制菜单的交互方式。然而，这种形式的交互方式可能会让人很不舒服，例如，身体上的疲劳、互动的不自然以及临场感不足等问题。
4、insko等人在《passive haptics significantly enhances virtualenvironments》中表明，在虚拟环境中，触觉反馈可以增强用户的临场感，让用户感觉自己在现实世界中。对于大多数人来说，
技术实现思路
1、本专利技术是为了解决上述现有技术存在的不足之处，提出一种vr/ar环境下手贴合菜单的交互方法，以期能使用户可以更加自然地与虚拟世界进行互动，无需依赖外部设备或繁琐的手势操作，即可实现更加沉浸式的体验，提高手贴合菜单交互的直观性和高效性。
2、本专利技术为达到上述专利技术目的，采用如下技术方案：
3、本专利技术一种vr/ar环境下手贴合菜单的交互方法的特点在于，包括如下步骤：
4、步骤1：将使用者的一只手作为主导手，则另一只手作为非主导手，使用vr/ar头戴式设备的深度相机获取所述非主导手的多视图手部姿态图像p＝{p1,p2,…,pi,…,pn}；其中，pi表示第i个视图的手部姿态图；n表示视图的数量；
5、步骤2：获取虚拟手部网格m；
6、步骤3：获取虚拟手部网格m的手掌关节点集合其中，表示虚拟手部网格m的第j个手掌关节点；
7、获取使用者非主导手的手掌关节点集合其中，表示使用者非主导手的第j个手掌关节点；
8、计算与之间各个手掌关节点的相对平移距离集合d，从而根据相对平移距离的d对虚拟手部网格m进行平移，使得虚拟手部网格m完全映射到使用者的非主导手上，从而形成虚拟手部模型；
9、步骤4：设置菜单项的属性，包括：菜单项的交互区域、菜单项的直径范围[a,b]、菜单项的间隔c；其中，菜单项的中心为交互区域的中心；菜单项的半径r为交互区域的半径；交互区域为菜单项的最小包围圆所形成的区域；a、b、c为所设定的三个阈值；
10、步骤5：利用3d建模软件对虚拟手部模型进行uv展开，得到虚拟手部模型的uv展开图；再使用绘图软件在uv展开图上绘制f个菜单项的图标，得到uv贴图；
11、步骤6：若使用者采用vr头戴式设备，则vr头戴式设备将uv贴图映射到虚拟手部网格m上，形成附着有菜单的虚拟手部模型；
12、若使用者采用ar头戴式设备，则ar头戴式设备将虚拟手部模型进行隐藏后，再将uv贴图映射非主导手上，形成附着有菜单的非主导手；
13、步骤7：获取uv贴图上每个菜单项的图标的高度height和宽度width，以及每个菜单项图标的中心点的像素坐标{(x1,y1),(x2,y2),…,(xf,yf),…,(xf,yf)}，其中，(xf,yf)表示第f个菜单项图标的中心点的像素坐标，f为菜单项图标的数量；
14、步骤8：利用式(1)计算第f个菜单项图标的中心点的uv坐标(uf,,vf)，从而得到uv贴图中所有菜单项图标菜单项中心点的uv坐标集；
15、
16、步骤9：定义从主导手的食指指尖的中心点位置所产生的一条射线记为其中，o表示射线的起点，t表示射线的长度，表示射线的方向；
17、步骤10：获取虚拟手部网格m的网格中一个三角形的顶点坐标(v0,v1,v2)，其中，v0,v1,v2分别为三角形的三个顶点；
18、定义所述三角形内的任意一点point的重心坐标tpoint＝(1-b1-b2)×v0+b1v1+b2v2，其中，b1，b2为两个系数；
19、步骤11：假设l(t)与tpoint相交，从而对式(2)进行求解，得到两个系数b1，b2；
20、
21、步骤12：若满足b1≥0,b2≥0,b1+b2≤1，则表示射线l(t)指向的范围属于顶点坐标为(v0,v1,v2)的三角形内；否则，表示射线l(t)指向的范围不在顶点坐标为(v0,v1,v2)的三角形，则返回步骤10执行；
22、步骤13：将虚拟手部模型缩放成一个单位球，从而计算所述三角形的顶点坐标(v0,v1,v2)在所述单位球上的球面坐标(theta，phi)，其中，theta表示与坐标轴正z轴的夹角，且0≤theta≤2π，phi表示从坐标轴正x轴逆时针旋转到点的投影与正x轴的夹角，且0≤phi≤π；从而由球面坐标(theta，phi)计算得到所述三角形的顶点坐标(v0,v1,v2)的所对应的uv坐标(theta/2π，phi/π)；
23、步骤14：将所述uv坐标(theta/2π，phi/π)与uv贴图中所有菜单项图标菜单项中心点的uv坐标集中的每个uv坐标进行比较，若(theta/2π，phi/π)到(uf,,vf)的距离小于半径r，则表示主导手的食指指尖对第f个菜单项图标进行交互，否则，表示未交互。
24、本专利技术所述的一种vr/ar环境下手贴合菜单的交互方法的特点也在于，所述步骤2包括如下步骤：
25、步骤2.1：将第i个视图的手部姿态图pi输入到单视图估计器中进行处理，得到第i个视图的3d手部网格mi；
26、步骤2.2：对第i个视图的3d手部网格mi进行视图共享图特征的提取，得到第i个视图的图特征集合gi＝{gi1,gi2本文档来自技高网...
【技术保护点】
1.一种VR/AR环境下手贴合菜单的交互方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种VR/AR环境下手贴合菜单的交互方法，其特征在于，所述步骤2包括如下步骤：
3.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1或2所述交互方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
4.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1或2所述交互方法的步骤。
【技术特征摘要】
1.一种vr/ar环境下手贴合菜单的交互方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种vr/ar环境下手贴合菜单的交互方法，其特征在于，所述步骤2包括如下步骤：
3.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器...
【专利技术属性】
技术研发人员：李琳，张海龙，薛畅，魏孝材，王晨瑄，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。