一种具有3D摄像组件的虚拟现实交互设备制造技术

本发明专利技术提供了一种具有3D摄像组件的虚拟现实交互设备，该设备包括3D摄像组件、头盔式虚拟现实显示器、信号处理组件以及移动设备接口，3D摄像组件连接至信号处理组件；3D摄像组件用于捕获含有深度信息的使用者手部的待测图像序列，并将待测图像序列发送给信号处理组件，信号处理组件用于基于待测图像序列来获得使用者的手势，并根据该手势确定对应的操作指令，以对连接至移动设备接口的移动设备执行该操作指令，头盔式虚拟现实显示器用于通过移动设备接口接收移动设备的屏幕显示信号，以将移动设备的屏幕以虚拟现实显示方式呈现于预定显示区域。本发明专利技术的上述技术能够利用手势识别技术进行人机交互，丰富了输入方式，且操作较为简便。

【技术实现步骤摘要】

本专利技术涉及人机交互技术，尤其涉及一种具有3D摄像组件的虚拟现实交互设备。
技术介绍
随着移动计算设备从笔记本电脑到手机、平板电脑的演化，移动计算设备的操控 方式也经历了从键盘、鼠标到手机按键、手写板，再到触摸屏、虚拟键盘的进化，可以看到， 移动设备的操控方式是朝着越来越直观、简便，并且符合人的自然习惯的方向进化的。目前在移动计算设备上广泛使用的基于触摸屏的操控方式，技术上是将一块透明 的触摸感应屏和显示屏贴合在一起，触摸感应屏实质上是一个定位装置，能够捕捉到屏幕 上的触摸动作并获取其位置，同时结合时间轴信息，将动作识别其为点触、长触、滑动等动 作之一。进而将位置和动作信息作为指令传递给移动计算设备，移动计算设备基于该指令 做出相应的操作反应。由于触摸感应屏与显示屏是叠加在一起的，因此带给使用者"所点即 所想"的使用感受，相比鼠标、触控板等定位设备需要通过光标反馈位置的输入方式，屏幕 触控方式带来更好的使用体验。 屏幕触控方式相比键盘加鼠标的方式，更加符合人的直观反应、更容易学习，但是 屏幕触控方式毕竟只捕捉到了人体手指的动作，在一些需要更多使用者本体信息输入的场 合，比如运动游戏、模拟训练、复杂操控、远距离操控等，屏幕触控方式就显示出其捕获人体 信息过于单一的局限性了。 目前，现有的虚拟现实交互技术通常是利用诸如鼠标、按键等常规输入方式来与 设备进行交互，使得输入方式过于有限，由此导致用户在进行功能选择或执行时，操作较为 繁琐，用户体验较差。
技术实现思路
在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本 理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的 关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。 鉴于此，本专利技术提供了一种具有3D摄像组件的虚拟现实交互设备，以至少解决现 有的虚拟现实交互技术的输入方式有限以及用户在进行功能选择或执行时操作较为繁琐 的问题。 根据本专利技术的一个方面，提供了一种具有3D摄像组件的虚拟现实交互设备，该虚 拟现实交互设备包括3D摄像组件、头盔式虚拟现实显示器、信号处理组件以及移动设备接 口，所述3D摄像组件连接至所述信号处理组件；所述信号处理组件连接至所述移动设备接 口，所述移动设备接口连接至所述头盔式虚拟现实显示器；所述3D摄像组件用于捕获含 有深度信息的使用者手部的待测图像序列，并将所述待测图像序列发送给所述信号处理组 件，所述信号处理组件用于基于所述待测图像序列来获得所述使用者的手势，并根据该手 势确定对应的操作指令，以对连接至所述移动设备接口的移动设备执行该操作指令，所述 头盔式虚拟现实显示器用于通过所述移动设备接口接收所述移动设备的屏幕显示信号，以 将所述移动设备的屏幕以虚拟现实显示方式呈现于预定显示区域。 进一步地，所述头盔式虚拟现实显示器包括：佩戴部，所述佩戴部可佩戴在使用者 头部；采集成像部，所述采集成像部设置于所述佩戴部上，并连接至所述移动设备接口以采 集所述移动设备的屏幕显示信号，来将所述屏幕以虚拟现实显示方式呈现于所述预定显示 区域。 进一步地，所述采集成像部包括显示屏和两组透镜组，所述显示屏为透明材质，所 述两组镜片组被设置成：当所述虚拟现实交互设备被使用者佩戴于头部时，所述两组镜片 组分别位于使用者对应的视线正前方。 进一步地，所述信号处理组件包括：轮廓检测单元，用于根据图像深度信息和图像 颜色信息，在所述待测图像序列的每帧图像中检测出所述使用者的手部轮廓；特征点序列 确定单元，用于针对所述使用者的每只手，利用预设的手部结构模板，在所述待测图像序列 的每帧图像中确定该只手的待测特征点序列；动作识别单元，用于针对所述使用者的每只 手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据所述匹配 序列确定该只手的动作名称和位置；手势识别单元，用于在预设手势表中选择与所述使用 者双手的动作名称和位置相匹配的手势，作为已识别手势；指令确定单元，用于根据预设操 作指令表，确定与所述已识别手势对应的操作指令；执行单元，用于对与确定的操作指令相 关的设备进行与该操作指令对应的操作。 进一步地，所述特征点序列确定单元包括：模板存储子单元，用于存储预设的手部 结构模板；模板匹配子单元，用于针对所述使用者的每只手，利用预设的手部结构模板，在 所述待测图像序列的每帧图像的手部轮廓中确定该只手的预定数目个特征点；序列生成子 单元，用于针对所述使用者的每只手，利用该只手在所述待测图像序列的各帧图像中对应 的预定数目个特征点，获得该只手的待测特征点序列。 进一步地，所述模板匹配子单元包括：定位基点确定模块，其用于针对所述待测 图像序列的每帧图像，根据该图像中的轮廓线的曲率找到该轮廓线中的指尖点和指根关节 点，以将所述指尖点作为定位基点；缩放基准确定模块，其用于针对所述定位基点确定模块 处理后的每帧图像，基于该帧图像中已找到的所述定位基点，匹配每个单指的指根关节点， 得到各单指的长度来作为尺度缩放的基准；缩放及形变模块，其用于针对所述缩放基准确 定模块处理后的每帧图像，基于已找到的所述指尖点和所述指根关节点的位置以及各单指 的长度来对相应的所述手部结构模板进行缩放和形变，通过匹配得到每只手的各指关节特 征点和手腕中点特征点；其中，所述模板存储子单元存储的所述手部结构模板包括左手结 构模板和右手结构模板，所述左手结构模板和右手结构模板各自包括：各手指的指尖特征 点、各指关节特征点、各指根关节特征点、手腕中点特征点以及各特征点之间的拓扑关系。 进一步地，所述动作识别单元包括：分割子单元，用于针对每只手的待测特征点序 列，根据预定时间窗将该待测特征点序列分割为多个子序列，并获得每个子序列对应的平 均位置；匹配序列确定子单元，用于针对每只手对应的每个子序列，将该子序列与所述多个 预设特征点序列中的每一个分别进行匹配，在所述多个预设特征点序列中选择与该子序列 的匹配程度高于预设的匹配阈值、并且最大的预设特征点序列，作为该子序列的匹配序列； 关联子单元，用于将每个子序列对应的平均位置与该子序列的匹配序列对应的动作名称相 关联；动作名称确定子单元，用于针对每只手，将该只手对应的各子序列的匹配序列作为该 只手对应的多个匹配序列，并将该多个匹配序列各自对应的动作名称作为该只手的多个动 作名称。 进一步地，所述手势识别单元包括：手势表存储子单元，用于存储如下映射列表来 作为所述预设手势表：该映射列表中的每个映射的左端是一组动作名称对及每个动作名称 对的位置；该映射列表中的每个映射的右端是一个手势；手势表匹配子单元，用于将所述 预设手势表中的每个映射的左端与所述使用者双手的动作名称和位置进行匹配，其中，动 作名称的匹配执行严格匹配，而位置则是通过使用者双手各自的平均位置计算得到相对位 置信息，进而计算该相对位置信息与映射左端的位置之间的相似度来实现的。 进一步地，所述信号处理组件还用于：基于所述使用者每只手的位置获得所述使 用者手部的模拟图形，以通过所述移动设备接口将该模拟图形显示在所述移动设备的屏幕 上。 进一步地，所述信号处理组本文档来自技高网...

【技术保护点】
一种具有3D摄像组件的虚拟现实交互设备，其特征在于，所述虚拟现实交互设备包括3D摄像组件、头盔式虚拟现实显示器、信号处理组件以及移动设备接口，所述3D摄像组件连接至所述信号处理组件，所述信号处理组件连接至所述移动设备接口，所述移动设备接口连接至所述头盔式虚拟现实显示器；所述3D摄像组件用于捕获含有深度信息的使用者手部的待测图像序列，并将所述待测图像序列发送给所述信号处理组件，所述信号处理组件用于基于所述待测图像序列来获得所述使用者的手势，并根据该手势确定对应的操作指令，以对连接至所述移动设备接口的移动设备执行该操作指令，所述头盔式虚拟现实显示器用于通过所述移动设备接口接收所述移动设备的屏幕显示信号，以将所述移动设备的屏幕以虚拟现实显示方式呈现于预定显示区域。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨晓光，李建英，朱磊，韩琦，
申请(专利权)人：哈尔滨市一舍科技有限公司，
类型：发明
国别省市：黑龙江;23