一种可视可操作无实体的触摸屏系统技术方案

本发明专利技术属于人机交互技术领域，是作为一种可视可操作无实体的触摸屏系统，该系统由一台计算机，两个网络摄像头，一个头戴式显示器，以及一个标定参照物组成，该参照物标定了一个虚拟触摸屏。用户可以通过头戴式显示器观察含有虚拟触摸屏的现实世界，并且可以直接用手操作没有实体的触摸屏。本发明专利技术采用两个摄像头进行实时的图像采集。计算机系统根据摄像头输入的图像，在标定参照物的配合下进行空间定标与指尖位置动作识别，并且合成相应的图像。头戴式显示器把含有虚拟触摸屏的图像输出给用户，用户通过头戴式显示器直接观察到虚拟触摸屏的反馈。本发明专利技术可以用于人机交互领域，特别适合作为便携式计算机或多媒体交互体验系统的人机交互设备。

A visual, operable, disembodied touch screen system

The invention belongs to the field of human-computer interaction technology, as a kind of visual operation without physical touch screen system, the system consists of a computer, two network camera, a head mounted display, and a calibration reference, the reference calibration of a virtual touch screen. Users can observe the real world of virtual touch screens through the head mounted display device and can operate the touch screen without entity directly by hand. The invention adopts two cameras to carry out real-time image acquisition. According to the image inputted by the camera, the computer system carries out the space calibration and the fingertip action recognition under the coordination of the reference object, and synthesizes the corresponding image. The head mounted display outputs the image containing the virtual touch screen to the user, and the user directly monitors the feedback of the virtual touch screen through the head mounted display. The invention can be used in the field of human-computer interaction, and is especially suitable as a human-computer interaction device for a portable computer or a multimedia interactive experience system.

【技术实现步骤摘要】

本专利技术属于人机交互
，具体涉及一种可视可操作的触摸屏系统。
技术介绍
在很多虚拟现实系统中，用户使用数据手套、指示笔、三维鼠标代替鼠标和键盘进行操作。它们能适应虚拟现实系统中空间定位的要求，扩展了操作的形式。但是，它们有共同的缺点使用不自然。用户使用这些器材的时候，有的要佩戴沉重的设备，有的要连着限制活动范围的数据线。以虚拟现实为代表的计算机系统的拟人化和以手持电脑、智能手机为代表的计算机的微型化、随身化、嵌入化,是当前计算机的两个重要的发展趋势，而以鼠标和键盘为代表的GUI技术是影响它们发展的瓶颈。所以，脱离设备，使用人的感觉和动作来进行输入越来越受到人们重视。另一方面，在虚拟现实的人机交互中，人们不单需要有自然的输入，还需要自然的输出。人们希望观察的虚拟世界就在他们周围，而不仅限于屏幕中。这样人们才能以平常观察物体的方式，从自己喜欢的角度观看并获取需要的信息。研究者开始抛弃传统的固定显示器，提出了用投影以及头戴式显示器来进行输出的方法，或者是使用三维全息显示设备来向人们展示虚拟的物体。CN1912816A号专利公告公布了一种基于多摄像头的虚拟触摸屏系统。该系统有2个或以上固定的摄像头来拍摄手指在虚拟触摸屏上的移动和点击操作，利用HSV色彩空间背景分割方法提取手部轮廓，使用粒子滤波追踪来进行指尖定位。该专利技术能解决利用直接人手进行输入的问题，但是却没有考虑到用户如何观察虚拟输出，只是使用普通的显示屏进行输出，在输出的层面没有实现虚拟化。
技术实现思路
本专利技术的目的在于提供一种能使用户同时观察和操作的没有实体的触摸屏系统，该系统结合了基于计算机视觉的指尖检测技术和增强现实技术，把手指的位置映射到增强现实世界中，使用户看到的虚拟触摸屏能在正确的位置被触摸和操作，可在输出层面实现虚拟化。本专利技术的触摸屏系统包括一台计算机，两个网络摄像头， 一个头戴式显示器， 一个标定参照物，该标定参照物标定了一个供操作者手部触摸操作的虚拟触摸屏。两个网络摄像头和计算机连接，计算机再与头戴式显示器连接。头戴式显示器佩戴于用户(即操作者)眼前，两个网络摄像头分别设置于头戴式显示器左右上方，用于拍摄用户手部以及标定参照物，实时捕获得到视频图像。两个网络摄像头拍摄方向所在射线相交，在同一水平面上成30到90度的夹角。该系统对夹角角度没有严格的要求。网络摄像头把捕获的视频帧传送到计算机；计算机中设有计算软件系统，该软件系统根据标定参照物在视频帧中的图像，计算得到当前摄像头所在的方位，从而确定虚拟触摸屏所在位置；根据人手在视频帧中的图像，计算人手的位置，判别人手是否与虚拟触摸屏接触；根据以上信息，计算软件系统再进行图像合成；合成的图像通过头戴式显示器进行输出，用户通过头戴式显示器直接观察到虚拟触摸屏的反馈。本专利技术各个部分进一步描述如下1、 虚拟触摸屏，以及用户对其的操作本专利技术中的虚拟触摸屏，实际上是现实空间中的一个矩形区域。这片区域使用一个参照物来进行标定。用户可以用手指(握拳状态时伸出的任意一根手指)在这片区域中进行点击、拖曳、多点触控等传统触摸屏的操作。本专利技术没有在该区域设置任何触控感知硬件设备以及显示设备，而是通过两个网络摄像头进行基于视觉的人手触控感应，通过头戴式显示器中触摸屏虚拟影像与现实世界影像的叠加进行显示输出。在旁人看来，用户是在操作不可见的物体。2、 两个摄像头，用于实时采集视频图像本专利技术使用两个网络摄像头同时拍摄用户手部以及标定参照物。系统在初始化时，主要是进行摄像头捕获图像的前期工作，包括读入摄像镜头的数据，设定摄像头的光学特性与画面大小。另外，系统也会读入参照物的形状数据，供之后匹配使用。系统在接近的时间分别捕获两个摄像头的图像，并留待后面步骤处理。同时，对捕获到的图像做一个备份，作为后期合成时使用的背景图像。捕获到的图像格式是RGBA格式(R-红，G-绿，B-蓝，A-透明度)。之所以保留A通道，是因为之后的图像合成处理中要使用A通道来进行透明判断，进而决定虚拟图像与现实图像的合成方式。系统在左目摄像头与右目摄像头捕获时机要求尽可能接近，是因为要依赖两个摄像头观察到的指尖的位置来判断该时刻指尖是否有触碰平面。如果捕获时间相差较远，两个摄像头捕获到的图像相互之间就没有关联了。3、 计算机对输入图像进行处理本专利技术的核心，在于计算机软件模块。该模块对摄像头采集的图像进行处理，获得必要的人机交互信息，然后再进行虚拟触摸屏图像的合成。该计算机软件模块包括如下一些模块1) 虚拟触摸屏定位模块该模块根据参照物的坐标系与摄像头的坐标系之间的转换关系，确定虚拟触摸屏相对于摄像头的空间位置。对虚拟触摸屏进行定位后，系统可以得到虚拟触摸屏上面的点与摄像头拍摄到的图像上的点的对应关系，可以得到虚拟触摸屏影像合成在现实世界影像的位置和角度。ARToolKit是由Hirokazu Kato等人提出的一个开源的增强现实开发库。系统使用ARToolKit进行增强现实相关计算。该库也可以由其他类似开源开发库代替。使用ARToolkit的库函数arGetTransMat，通过参照物在图像中的大小和角度，可以求出从标志物坐标系到摄像头坐标系的变换矩阵Tm。配合计算机图形开发包OpenGL的库函数gluProject，可以计算出矩形虚拟触摸屏的4个角点在摄像头坐标系上的对应点。在获取了虚拟触摸屏平面的位置后，系统已经确定了虚拟触摸屏在采集图像中的位置。把这块区域单独截取出来作为敏感区域(指尖定位及运动检测模块关心的区域)继续进行处理指尖识别，同时舍弃其余区域。2) 指尖定位及运动检测模块该模块首先进行肤色检测，把人手区域分割出来，再用计算机图像处理的形态学方法获取人手指尖(如食指)在摄像头图像中的位置。然后，根据虚拟触摸屏的位置，计算出手指在其上的位置，并使用运动追踪算法加强稳定性。最后，使用射影几何方法，判断指尖是否与虚拟触摸屏接触。该模块又分为如下几个子模块i)肤色检测子模块本系统使用Wu Yueming等提出的一种基于肤色检测算法的背景分割方法。该算法基于这样一个统计数据人手的色彩在YCbCr (Y-亮度分量，Cb-蓝色色度分量，而Cr-红色色度)色彩空间上的分布投影到Cb-Cr平面上时，能近似聚集在一个椭圆区域内。由此可以判定在该椭圆区域范围内的色彩是肤色，得到肤色所在的区域，即人手所在的区域。在使用该背景分割算法之前，需要根据特定的摄像头进行调整。 一旦调整完成，该数据便可以一直使用。以下提及的R、 G、 B以及Y、 Cb、 Cr都将标准化到0-255范围内。首先，需要把采集到图片的RGBA色彩空间转换到YCbCr色彩空间上。转换公式如式1所示<formula>formula see original document page 7</formula>(式l)式1为RGBA色彩空间转换到YCbCr色彩空间的标准公式。使用具体的摄像头采集图片，对其中人手区域进行提取，对其颜色进行统计，得出其在Cb-Cr平面上的颜色分布。以一个椭圆区域近似包围颜色分布范围，得到该椭圆的长半轴长度a和短半轴长度b，中心点的坐标^^'yJ，以及长轴逆时针方向与x轴所成的角度④。把该椭圆进行标准化，相应变换公式如式2、式3所示本文档来自技高网...

【技术保护点】
一种可视可操作无实体的触摸屏系统，其特征在于包括一台计算机，两个网络摄像头，一个头戴式显示器，一个标定参照物，该标定参照物标定了一个供用户手部触摸操作的虚拟触摸屏；两个网络摄像头和计算机连接，计算机再与头戴式显示器连接；头戴式显示器佩戴于用户眼前，两个网络摄像头分别设置于头戴式显示器左右上方，用于拍摄用户手部以及标定参照物，实时捕获得到视频图像；两个网络摄像头拍摄方向所在射线相交，在同一水平面上成３０到９０度的夹角；网络摄像头把捕获的视频帧传送到计算机；计算机中设有计算软件系统，该软件系统根据标定参照物在视频帧中的图像，计算得到当前摄像头所在的方位，从而确定虚拟触摸屏所在位置，并根据人手在视频帧中的图像，计算人手的位置，判别人手是否与虚拟触摸屏接触；根据以上信息，计算软件系统再进行图像合成；合成的图像通过头戴式显示器进行输出，用户通过头戴式显示器直接观察到虚拟触摸屏的反馈。

【技术特征摘要】

【专利技术属性】
技术研发人员：许景禧，沈一帆，
申请(专利权)人：复旦大学，
类型：发明
国别省市：31[中国|上海]