使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法制造方法及图纸

一种使用虚拟现实头戴式显示器系统来执行真实物体检测和控制的装置和方法，更具体地，真实物体检测和控制是检测在自由空间中的手部存在和控制，在虚拟现实环境里，所述控制是诸如在自由空间中的姿势或移动。

Device and method for implementing real target detection and control using virtual reality head mounted display system

A device and method for performing real object detection and control using a virtual reality head mounted display system, more specifically, real object detection and control is to detect the presence and control of hands in a free space, in a virtual reality environment, such as posture or movement in a free space.

【技术实现步骤摘要】
【国外来华专利技术】使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
本专利技术涉及一种使用虚拟现实头戴式显示系统来执行真实目标检测和控制的装置和方法，特别涉及但不限于在虚拟现实环境里检测和控制真实目标，如手部存在和姿势。在大多数虚拟现实(VR)应用中，虚拟世界和自然交互的直观探索起着非常重要的作用。因此，非常希望用户能够在虚拟环境中获得有关其身体的视觉反馈。这种视觉反馈有多种益处，可以将虚拟身体的真实可视化纳入到虚拟现实环境中，虚拟身体可以由用户的肢体运动来实时控制，并以自我为中心的视角来观看。但是，诸如在虚拟现实环境中徒手操作图形用户界面(GUI)或在VR环境中触摸虚拟物体等最自然的方式尚未普及。目前市场上的主要VR头戴式显示器(HMD)(也被称为VR头盔或VR眼镜)系统不具有智能和有效方式以方便用户操作。其中大多数仍在使用笨重的游戏手柄控制器、触摸板、头部旋转等。
技术实现思路
鉴于以上所述，根据本专利技术实施例披露了在VR应用或环境里使用VRHMD系统来检测自由空间中的手部存在以及利用手部检测来控制(例如手部姿势/移动)的VRHMD系统及方法。特别地，本专利技术实施例提供了一种VRHMD系统和方法，将自由空间划分为不同区域，并在每个区域应用检测到的色彩变化，用于手势检测和手部控制。根据本专利技术的一个方面，提供了一种在虚拟现实环境中检测真实物体的存在和控制的方法，包括：获取图像传感器视野中拍摄图像的颜色像素值，并根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值将拍摄图像的颜色像素与虚拟现实背景进行α混合；接收真实物体的输入即真实物体的不同种类的移动、或移动真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体；检测真实空间中特定位置上的颜色变化序列；根据所接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上所述颜色变化序列的相应改变。根据本专利技术的另一方面，提供了一种用于在虚拟现实环境中检测真实物体存在和移动的系统，包括图像传感器、处理器；图像传感器用于获取视野中拍摄图像的颜色像素值；处理器包括真实物体存在模块、真实物体控制模块、和呈现模块；真实物体存在模块根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值将拍摄图像的颜色像素与虚拟现实背景进行α混合；真实物体控制模块接收真实物体的输入即真实物体的不同种类的移动、或移动真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体，并检测真实空间中特定位置上的颜色变化序列；呈现模块根据所接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上所述颜色变化序列的相应改变。根据本专利技术的另一方面，提供一种包含指令的非暂时性机器可读介质，当所述指令是由头戴式显示器系统的一个或多个处理器执行时，使得该介质能够执行操作，所述操作包括：获取图像传感器视野中拍摄图像的颜色像素值，根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值将拍摄图像的颜色像素与虚拟现实背景进行α混合；接收真实物体的输入即真实物体的不同种类的移动、或移动真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体；检测真实空间中特定位置上的颜色变化序列；根据所接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上所述颜色变化序列的相应改变。附图说明从以下结合附图对实施例的描述，本专利技术的这些和/或其它方面以及优点将越专利技术显且更易于理解，其中：根据本专利技术实施例，图1A是虚拟现实头戴式显示器(HMD)或头盔的正面透视图，图1B是VRHMD的背面透视图，图1C显示VRHMD的垂直视野，图1D显示VRHMD的水平视野。图2是根据本专利技术实施例的虚拟现实头戴式显示器(VRHMD)的示意性框图。图3描述根据本专利技术实施例的一种基于用户肤色在VR应用中用于校准和手部存在以及控制的方法的流程图。图4A和4B是分别描述如何获得肤色检测校准概率密度函数(PDF)以及手部检测色彩分布的示意图。图5A-5C描述根据本专利技术实施例的(a)真实空间块；(b)由n个真实空间块组成的合并真实空间；(c)一个预定义映射函数，将肤色概率映射到α混合值。图6描述根据本专利技术实施例的在VR环境里的手部控制(例如手部姿势和手部移动)以及用于确定手部姿势和移动的数据。图7A和7B描述根据本专利技术实施例的在VR里的(a)手部存在和(b)手部控制的模拟结果。具体实施方式现将详细参考本专利技术的当前实施例，其示例在附图中示出，其中，相同的附图标记始终表示相同的元件。以下通过参考附图来描述实施例以便更好地解释本专利技术。在以下的披露中，为了简化描述，短语“虚拟现实”通常用于描述虚拟现实和增强现实。根据本专利技术实施例，图1A是虚拟现实头戴式显示器(HMD)或头盔的正面透视图，图1B是VRHMD的背面透视图，图1C显示VRHMD的垂直视野，图1D显示VRHMD的水平视野。虚拟现实头戴式显示器(VRHMD)10包括壳体12、包括左侧立体摄像机14a和右侧立体摄像机14b的图像传感器、以及头带16。壳体12容纳VRHMD10的电子器件。用户将VRHMD10安置在其头上，并将头带16紧固在用户头部周围(图中未示出)以便将VRHMD10保持在头部的正确位置。显示器17使用户能够观看VR环境。左侧和右侧立体摄像机14a和14b用于在垂直和水平视野(FOV)18、19中观看真实物体，例如手部。图2是根据本专利技术实施例的VRHMD10的示意性框图。惯性测量单元(IMU)传感器20用于进行VRHMD10的用户的头部朝向的旋转跟踪。处理器24通过执行存储在存储器26里的操作系统程序和一个或多个应用程序来控制VRHMD10的整体操作。处理器24可以是一个或多个，可以是但不限于CPU、GPU、DSP、APU或FPGA。存储器26可以是一个或多个，可以是但不限于易失性或非易失性的，诸如SDRAM、DRAM、SRAM、闪存、MRAM、F-RAM或P-RAM。处理器24从左侧和右侧摄像机14a、14b接收图像数据，并将其显示在透镜15a、15b上，将图像数据显示在显示器17上也是可能的，显示器17的数目可以是一个或多个。因此，VRHMD10可以连接到支持HDMI连接的显示器17。在摄像机模式里，左侧和右侧摄像机14a、14b和IMU传感器20将真实世界输出指示到处理器24，使用户能够看到用户周围的真实世界以及增强现实(AR)视频内容。处理器24包括校准模块30、肤色检测模块31、手部存在模块32、手部控制模块34、呈现模块36、以及VR内容模块38。VR内容模块38从IMU传感器20接收头部朝向数据。存储器40(可以是但不限于非易失性的，如硬盘)存储来自校准模块30的目标颜色概率密度函数。广义上来说，由于本专利技术实施例可以包含不是手部的真实物体，因此肤色检测模块31、手部存在模块32和手部控制模块34可以被称为真实物体色彩检测模块31、真实物体出现模块32和真实物体控制模块34。左侧和右侧摄像机14a、14b和IMU传感器20位于HMD主体12中。本专利技术描述了处理器24、存储本文档来自技高网...

【技术保护点】
1.一种在虚拟现实环境里检测真实物体的存在和控制的方法，所述方法包括：获取图像传感器视野中拍摄图像的颜色像素值，并根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值，将所述拍摄图像的颜色像素与虚拟现实背景进行α混合；接收所述真实物体的输入即所述真实物体的不同种类的移动、或移动所述真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体；检测所述真实空间中所述特定位置上的颜色变化序列；和根据所述接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上的所述颜色变化序列的相应改变。

【技术特征摘要】
【国外来华专利技术】2018.02.23 US 15/903,7811.一种在虚拟现实环境里检测真实物体的存在和控制的方法，所述方法包括：获取图像传感器视野中拍摄图像的颜色像素值，并根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值，将所述拍摄图像的颜色像素与虚拟现实背景进行α混合；接收所述真实物体的输入即所述真实物体的不同种类的移动、或移动所述真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体；检测所述真实空间中所述特定位置上的颜色变化序列；和根据所述接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上的所述颜色变化序列的相应改变。2.根据权利要求1所述的方法，还包括：使用所述图像传感器，拍摄所述视野中图像的颜色像素值；从所述真实物体的一个预定义采样区域获取所述颜色像素值；执行一个校准过程即在有限集合的所述拍摄图像里收集所述真实物体的颜色像素值作为数据样本，通过在色调、饱和度和明度(HSV)色域里找到所述目标颜色概率密度函数；其中所述HSV色域是针对不同种类的真实物体而预定义的。3.根据权利要求2所述的方法，其中所述真实物体是手部，所述颜色像素值是所述手部皮肤的。4.根据权利要求1所述的方法，其中所述图像传感器包括第一和第二摄像机，以目标颜色概率密度函数作为输入值的一个函数是根据以下确定：定义一个由n个真实空间块组成的合并真实空间；对所述n个真实空间块中的每个真实空间块，将所述变化的α值分配给所述每个真实空间块的相应的颜色像素对集合，如下：如果(P(Xs,Ys,Zs)＝＝0){在图像像素(Xslik,Ysljk)上的α值被设定为τ在图像像素(Xsrik,Ysrjk)上的α值被设定为τ}否则{在图像像素(Xslik,Ysljk)上的α值＝Ψ(Φl(I(Xslik,Ysljk)))在图像像素(Xsrik,Ysrjk)上的α值＝Ψ(Φr(I(Xsrik,Ysrjk)))}其中τ∈[0,1],s∈{0..n-1}，Φl是所述第一摄像机即左侧摄像机的PDF，Φr是所述第二摄像机即右侧摄像机的PDF，I是所述颜色，Ψ是一个预定义映射函数，将目标颜色概率映射到从τ开始的α混合值。5.根据权利要求2所述的方法，其中所述图像传感器包括第一和第二摄像机，以目标颜色概率密度函数作为输入值的一个函数是根据以下确定：定义一个由n个真实空间块组成的合并真实空间；和对所述n个真实空间块中的每个真实空间块，将所述变化的α值分配给所述每个真实空间块的相应的颜色像素对集合，如下：如果(P(Xs,Ys,Zs)＝＝0){在图像像素(Xslik,Ysljk)上的α值被设定为τ在图像像素(Xsrik,Ysrjk)上的α值被设定为τ}否则{在图像像素(Xslik,Ysljk)上的α值＝Ψ(Φl(I(Xslik,Ysljk)))在图像像素(Xsrik,Ysrjk)上的α值＝Ψ(Φr(I(Xsrik,Ysrjk)))}其中τ∈[0,1],s∈{0..n-1}，Φl是所述第一摄像机即左侧摄像机的PDF，Φr是所述第二摄像机即右侧摄像机的PDF，I是所述颜色，Ψ是一个预定义映射函数，将目标色彩概率映射到从τ开始的α混合值。6.根据权利要求1所述的方法，其中操作GUI或虚拟物体包括以下至少一个：确定所述真实物体水平滑动所述GUI的菜单或所述虚拟物；确定所述真实物体双击所述GUI的菜单或所述虚拟物；确定所述真实物体单击所述GUI的菜单或所述虚拟物。7.根据权利要求2所述的方法，其中操作所述GUI或虚拟物体包括以下至少一个：确定所述真实物水平滑动所述GUI的菜单或所述虚拟物；确定所述真实物体双击所述GUI的菜单或所述虚拟物；确定所述真实物体单击所述GUI的菜单或所述虚拟物。8.根据权利要求5所述的方法，其中操作所述GUI或虚拟物体包括以下至少一个：确定所述真实物体水平滑动所述GUI的菜单或所述虚拟物；确定所述真实物体双击所述GUI的菜单或所述虚拟物；确定所述真实物体单击所述GUI的菜单或所述虚拟物。9.根据权利要求8所述的方法，其中水平滑动的确定使用了所述颜色变化序列，根据以下确定：S＝{P(X,Ys,Zs)}其中X∈{－Ws/2,Ws/2}S’＝S(t+δt)其中δt是一个单元集合，H＝{S’(X+δxi)}其中和其中Ys和Zs分别是感兴趣真实空间块的y坐标和z坐标，由所述摄像机14a、14b之间的中点确定；Ws是在x方向上平铺的感兴趣真实空间块的宽度之和；S是在特定时间t时的感兴趣真实空间块的一系列目标颜色发生值P(X,Ys,Zs)，S’是在在下一个时间t+δt时的感兴趣真实空间块的一系列目标颜色发生值P(X,Ys,Zs)；δxi是感兴趣真实空间块的移动距离；H是具有不同移动距离的S'的副本的集合；真实物体位移＝δx和如果(S∩S’(X+δx)＝Max(S∩H)和Max(S∩H)>δswipe其中δswipe是阈值；其中双击的确定使用了所述颜色变化序列，根据以下确定：S＝{P(Xt+k,Yt+k,Zt+k)}S’＝{S(t+δt)}其中和i∈{0,30}其中{k}是一个目标真实空间块和相邻真实空间块。S是在特定时间t时的感兴趣真实空间块的一系列目标颜色发生值P(Xt+k,Yt+k,Zt+k)，S’是在下一个时段时的S序列。如果S∩Sdouble-tap>δdouble-tap，则双击＝真其中Sdouble-tap是预定义的，δdouble-tap是阈值，其中单击的确定使用了所述颜色变化序列，根据以下确定：S＝{P(Xt+k,Yt+k,Zt+k)}S’＝{S(t+δt)}其中和i∈{0,30}其中{k}是一个目标真实空间块和相邻真实空间块；S是在特定时间t时的感兴趣真实空间块的一系列目标颜色发生值P(Xt+k,Yt+k,Zt+k)，S’是在下一个时段时的S序列。如果S’∩Ssingle-tap>δsingle-tap，则单击＝真其中Ssingle-tap是预定义的，δsingle-tap是阈值。10.一种在虚拟真实环境里检测真实物体的存在和控制的系统，所述系统包括：图像传感器，其获取视野里拍摄图像的颜色像素值；处理器，包括：真实物体存在模块，其根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值，将所述拍摄图像的颜色像素与虚拟现实背景进行α混合；真实物体控制模块，其接收所述真实物体的输入即所述真实物体的不同种类的移动、或移动所述真实物体到真实空间中的一个或多个特定位置...

【专利技术属性】
技术研发人员：倪一翔，梁富屯，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：中国香港,81