环幕场景下基于手势识别的虚拟现实交互装置制造方法及图纸

本发明专利技术公开了一种环幕场景下基于手势识别的虚拟现实交互装置，其适用于环幕场景。本发明专利技术使得用户能够利用手势与虚拟场景进行交互、实现漫游，并且可以多人协同操作；该装置能够通过定位设备追踪用户的位置，通过手部追踪模块追踪手的位姿信息，识别用户的手势信息，使得用户做出的手势能够在虚拟世界中得到相应的实时反馈，最终在环幕进行展示；该装置包括定位设备、手部追踪模块、环幕、3D眼镜、图形工作站、通信模块；本发明专利技术实现了只依靠手势、识别精度高、设备轻量且支持多人协同操作的虚拟现实交互、漫游功能。漫游功能。漫游功能。

【技术实现步骤摘要】
环幕场景下基于手势识别的虚拟现实交互装置


[0001]本专利技术涉及虚拟现实和人机交互领域，具体涉及一种环幕场景下基于手势识别的虚拟现实交互装置。本专利技术应用于环幕投影显示系统场景下，实现了只依靠手势、识别精度高、设备轻量、支持多人协同操作的虚拟现实交互功能。

技术介绍

[0002]虚拟现实(Virtual reality，VR)又称虚拟环境，主要是利用计算机刺激产生三维的视觉虚拟世界，使用户在虚拟的三维世界中产生身临其境的感觉和探索。也就是说，虚拟现实设备可以根据用户的位置和视角产生相应的图像，使用户在其运动过程中感受到存在感。
[0003]目前常用的VR显示设备包括外接式头显、一体机、手机盒子、环幕投影显示系统等，其中环幕投影显示系统因为其可以被多人同时观赏的特性应用广泛，常见于展馆展示和虚拟仿真等应用场景。
[0004]环幕投影显示系统通常又称为环幕投影系统，是虚拟三维投影显示系统中一种沉浸式虚拟仿真环境，系统采用环形的投影屏幕作为仿真应用的显示载体。
[0005]常见的基于环幕投影显示系统的虚拟现实交互方法，多采用定位设备采集用户位置，手柄采集用户指令的方式进行。采用手柄的好处是识别精度高，但当用户身处虚拟世界，所见所感是一个虚拟的世界，与其进行交互的方式却需要借助外物，无法满足虚拟现实体验对于沉浸感的要求。
[0006]采用手势识别的方法进行交互，用户只需要利用手势发出指令，就可以与虚拟现实场景进行交互，满足虚拟现实体验的沉浸感。但在实际应用里会遇到诸多问题，一方面，手势的设计没有明确的标准,另一方面，往往会因为手势自遮挡或者识别精度不够导致手势的识别错误。
[0007]此外，常见的虚拟现实装置，为了满足对手势的识别，采用的方法主要有两种，(i)在场景中配置红外线发射器；(ii)采集图像用计算机视觉的方法进行处理。不管是哪种方法，都需要完成对数据的采集、处理，这使得整个装置的配置变得复杂而昂贵。而且这两种方法识别精度都不够高，采用红外线发射器在环幕投影系统的环境下，受到识别距离的限制，而采用计算机视觉的方法，受到算法本身的限制，都无法精准识别手势。
[0008]在环幕投影系统的环境中，通过定位设备获取用户的位置，使得用户的走动可以反馈到虚拟世界里，实现虚拟世界的漫游效果。但在实际应用中，受到环境配置和硬件条件的限制，当用户与环幕过近时，所看到的画面会发生极大的模糊，影响观感，而且此时用户不得不后退，即对虚拟世界的漫游是受到限制的。虽然使用手柄的指令进行漫游可以解决这个问题，但是如前面所述，会削弱虚拟现实体验过程中用户的沉浸感。
[0009]在传统的应用场景中，环幕投影系统环境中与虚拟世界产生交互的只有一名用户，此用户通过手柄向处理程序发送指令。虽然其他用户可以戴上3D眼镜对虚拟世界进行观察，但是无法与其产生交互。而真实世界里，环境中的所有参与者都是可以与世界产生交
互效果的，这就导致虚拟现实的沉浸感下降，应用环境受到限制。若需要满足此项功能，则需要为所有用户都配置手柄或其他指令装置，这使得整个系统的配置变得昂贵而复杂。
[0010]因此，如何解决上述现有技术的不足，是本专利技术所面临的问题。

技术实现思路

[0011]本专利技术提供了一种环幕场景下基于手势识别的虚拟现实交互装置，其可以应用于环幕场景下，基于手部追踪模块进行，其包括:获取用户位置的定位设备，获取用户手势的手部追踪模块，展示立体效果的3d眼镜及环幕投影系统。
[0012]本专利技术即将其技术问题所采用的技术方案如下：
[0013]本专利技术适用于环幕场景；本专利技术使得用户能够利用手势与虚拟场景进行交互、实现漫游，并且可以多人协同操作；该装置能够通过定位设备追踪用户的位置，通过手部追踪模块追踪手的位姿信息，识别用户的手势信息，使得用户做出的手势能够在虚拟世界中得到相应的实时反馈，最终在环幕进行展示；该装置包括定位设备、手部追踪模块、环幕、3D眼镜、图形工作站、通信模块；
[0014]所述的手部追踪模块、定位设备的定位器安装在3D眼镜上由用户佩戴，将定位设备的定位基站放置在环幕的中央区域；利用定位设备获取用户的位置；利用手部追踪模块获取用户的手的位姿信息，并经过通信模块将位姿信息发送给图形工作站；图形工作站将用户的局部坐标系与环幕所展示的虚拟世界的世界坐标系统一；图形工作站对手的位姿信息进行处理，将处理好的信息在环幕上进行仿真还原；若处理后的信息满足某种指令手势对位姿的要求，则根据该手势代表的意义，图形工作站发出的指令，虚拟世界里进行相应指令的反馈，重新渲染显示；
[0015]进一步的，所述的手部追踪模与3D眼镜组装在一起，依靠手部追踪模中的红外线发射器获取该模块局部坐标系中的空间位置信息；
[0016]手部追踪模块能够识别多只手的位姿信息，手的位姿信息包括左右手、手心手背、手的关节的空间位置信息，且图形工作站按毫秒级的频率对空间位置信息进行获取；手部追踪模块能够同时追踪多只手的位姿信息，以唯一ID进行区分；
[0017]所述的唯一ID在图形工作站中添加；当图形工作站接收到手部追踪模块发送的手的位姿信息后，按照这些手的空间位置关系给每只手添加唯一ID。
[0018]进一步的，坐标统一实现如下：所述的用户的手的位姿信息所在的局部坐标系，通过定位设备的定位器到定位基站的空间坐标映射关系同步到虚拟世界的世界坐标系；
[0019]进一步的，所述的手势信息包括静态手势和动态手势；图形工作站对手势的识别的过程中，其识别顺序是动态手势的优先级高于静态手势的优先级。
[0020]进一步的，虚拟场景中进行的交互、漫游，其实现是通过识别用户的手势信息完成的。
[0021]进一步的，所述的多人协同交互方式，通过手部追踪模块识别多只手的位姿信息实现，使得多人可以对同一虚拟世界进行协同交互。
[0022]进一步的，所述的多人协同交互方式，可以通过给每个用户添加一套手部追踪模块、定位设备定位器实现，使得多人可以对同一虚拟世界进行协同交互。
[0023]进一步的，多人协同交互的实现如下：对于多个手部追踪模块发送的手的位姿信
息，图形工作站能够通过坐标系统一；将所有手的位姿信息统一到环幕所展示的虚拟世界的世界坐标系，并按照空间位置关系为每只手添加唯一ID，使得对于现实世界中的每只手，在不同手部追踪模块中都能得到唯一的表达。
[0024]进一步的，通过多个手部追踪模块追踪手的位姿信息，能够避免在识别手势时出现因自遮挡而导致的识别错误情况；其原理是，图形工作站接收所有手部追踪模块发送的手的位姿信息，为每只手添加唯一ID后，根据ID分析每只手在不同手部追踪模块里得到的位姿信息，取多数手部追踪模块得到的该手的位姿信息为该手最终的位姿信息，而对其他结果认为是由于自遮挡而得出的结果，进行舍弃。
[0025]进一步的，利用多个手部追踪模块避免自遮挡，当出现多个手部追踪模块对同一只手的位姿信息的分析结果呈多种位姿信息得分相同时，则随机一种位姿信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.环幕场景下基于手势识别的虚拟现实交互装置，其适用于环幕场景；本发明使得用户能够利用手势与虚拟场景进行交互、实现漫游，并且可以多人协同操作；该装置能够通过定位设备追踪用户的位置，通过手部追踪模块追踪手的位姿信息，识别用户的手势信息，使得用户做出的手势能够在虚拟世界中得到相应的实时反馈，最终在环幕进行展示；该装置包括定位设备、手部追踪模块、环幕、3D眼镜、图形工作站、通信模块；所述的手部追踪模块、定位设备的定位器安装在3D眼镜上由用户佩戴，将定位设备的定位基站放置在环幕的中央区域；利用定位设备获取用户的位置；利用手部追踪模块获取用户的手的位姿信息，并经过通信模块将位姿信息发送给图形工作站；图形工作站将用户的局部坐标系与环幕所展示的虚拟世界的世界坐标系统一；图形工作站对手的位姿信息进行处理，将处理好的信息在环幕上进行仿真还原；若处理后的信息满足某种指令手势对位姿的要求，则根据该手势代表的意义，图形工作站发出的指令，虚拟世界里进行相应指令的反馈，重新渲染显示。2.根据权利要求1所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的手部追踪模与3D眼镜组装在一起，依靠手部追踪模中的红外线发射器获取该模块局部坐标系中的空间位置信息；手部追踪模块能够识别多只手的位姿信息，手的位姿信息包括左右手、手心手背、手的关节的空间位置信息，且图形工作站按毫秒级的频率对空间位置信息进行获取；手部追踪模块能够同时追踪多只手的位姿信息，以唯一ID进行区分；所述的唯一ID在图形工作站中添加；当图形工作站接收到手部追踪模块发送的手的位姿信息后，按照这些手的空间位置关系给每只手添加唯一ID。3.根据权利要求1或2所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于坐标统一实现如下：所述的用户的手的位姿信息所在的局部坐标系，通过定位设备的定位器到定位基站的空间坐标映射关系同步到虚拟世界的世界坐标系。4.根据权利要求1或2所述的环幕场景下基于手势识别的虚拟现实交互装置，其特征在于所述的手势信息包...

【专利技术属性】
技术研发人员：王毅刚，张明威，尹学松，李仕，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：