视窗手语游标控制的识别方法技术

本发明专利技术提供了一种视窗手语游标控制的识别方法，该识别方法是利用视窗上的多重指向感测系统检测空间中的手语运作模式，当多重指向感测系统检测到空间的手语动作时，将手语的动作比对已设定的３Ｄ模式，利用手语的动作来执行操作视窗的运作。

【技术实现步骤摘要】
所属
本专利技术提供一种，尤指一种利用视窗上的多重指向 感测系统检测空间中的单手或是双手的运作模式的手语的识别方法。
技术介绍
在电子设备发展过程中，键盘、滑鼠与触控板的出现，解决了输入控制问题。不过， 对初学者而言，学会使用这些输入介面门槛相当高，而且所占空间不小，例如，笔记型电脑 或手机一半体积都被键盘占据。若能省下键盘空间，自然能提升产品可携性，最可行的方 式，就是直接用面板以触控方式进行操作。因此，对于指向性装置(Pointing Stick)与触 控板(Touch Pad)技术有日益广泛的应用需求，希望能用以取代传统的滑鼠、键盘的操作 功能，由于手势语言的形态简单且不易识别错误，一些研究机构开始着手研发可识别手势 语言的技术，让触控面板操作更人性化且将可让多只手指、手掌及多位使用者同时使用，达 到手触的最高境界。触控技术发展，其实已行之有年，然而，自iPhone推出，为触控市场投 下了 1枚震撼弹，电子产业了解到，触控屏幕并非只是小众市场，其实足以成为主流输入介 面。iPhone证明好的触控介面，确实能取代大多数键盘功能，并赋与使用者更直觉、便利的 操作体验；以更大的面板替代键盘，还能设计出更轻薄、时尚造型；加上完全采用固态面板 技术，不需担心键盘、滑轮等机械零件故障问题。IT产品将步入多点触控(Multi-touch)新时代，虽可运用电阻/电容的方式建置 多点触控屏幕电脑，但是此种方式的触控点数不够多，较不适合多位使用者同时使用。而较 新颖的技术则是用电荷耦合元件(CCD)取像电脑视觉的方式建置，除了触控点数可以非常 多外，亦不限于单一使用者，可让多只手指、其他笔控方式及多位使用者同时使用，达到多 点触控(Multi-touch)的最高境界，其应用空间将无限宽广。目前，在电脑操作系统中，已经开发出触控的相容模式，所以各家业者无不竞相投 入手势识别的研发，欲定义出不同的操作手势。触控屏幕的应用越来越多，促使各项技术发 展也相当快速。iPhone改采投射电容式技术实现多点触控功能，让大家将注意力转移到新 的触控技术，激发触控屏幕朝向多点触控互动技术激烈竞争，有多种不同技术正在发展，包 括电容式、表面音波式及光电式等。由于近年来影像感测元件及影像处理速度提高，使得影 像光电式触控互动屏幕受到重视，有许多厂商提出新的实验系统或产品。目前比较有代表性的是NYU Jefferson Y. Han所成立Perspective Pixel之产 品及微软所发表的Computing Surface.,两者皆采用红外线光源照亮与屏幕接触之手指 或接触物，再以红外线摄影机(IR Camera)取像进行识别，达到同时多点触控互动之目的。 图1为Perspective Pixel之技术原理，其技术采用受抑内全反射(Frustrated Total Internal Reflection,FTIR)原理，发光二极体(LED)在侧边接触板(图为压克力材质)中 进行全反射，当折射率高于接触板之手指接触到时，接触区破坏内部全反射，照射入手指接 触处产生散射光，位于下方之红外线影像摄影机(Video Camera)取得接触板上所有接触点 影像，计算出动态接触位置，以兹进行与投影内容互动。US 7，411，575专利技术专利案中所揭示的技术为一种2D触控的感应模式，多个指向 接触触摸表面或在触摸表面上移动，该触摸表面被探测到且产生并传递命令，以增强感测 系统的功能应用。其中直觉的鼠标右键手势当使用者的手指接触触摸表面以结束一个显示在触摸 表面的应用程序，驱动器识别该接触为一个鼠标左键事件，并注入鼠标左键事件到应用程 序中。如果使用者随后触摸该触摸表面用另一个手指同时保持第一个手指的触摸状态，而 且随后的触摸是在先前触摸的右边且接近于先前触摸的地方，驱动器识别该随后的表面接 触为一鼠标右键事件，并且注入鼠标右键事件到应用程序中。作为对鼠标右键事件的响应， 应用程序打开并显示一下拉菜单。使用户使用与通过鼠标来调用鼠标右键事件所完成动作 相似的手语调用一鼠标右键动作，作为增加功能该右击手语能被不同手的单个手指执行。上下及左右卷动手势如果使用者用一对手指同时触摸显示的应用程序视窗上方 的触摸表面，手指接近地且大致水平地隔开，驱动器识别该同时的手指触摸为一卷动手语 且注入一卷动事件到应用程序中。作为对手指的随后的垂直方向的移动的响应，触摸地点 数据通过驱动器被传送到应用程序，被应用程序识别为向上或向下卷动的命令。向上向下翻页手势使用者用三个手指同时地碰触触摸表面，作为对向上或向下 翻页的响应，应用程序以合适的方向更换屏幕上的显示资讯。旋转手势使用者以单根手指滑动触摸该触摸表面，随后以另一手指触摸该面板 并以拱形滑动触摸该面板同时保持第一根手指的接触状态。缩放手势使用者以一对接近的手指同时触摸表面，然后在大致水平的方向上扩 大手指间的距离，驱动器识别该手指动作为一缩小手语，相反的动作识别为一放大手势。展开手势使用者以一对接近的手指同时触摸表面，然后在大致倾斜的方向上扩 大手指间的距离，驱动器识别该手指动作为一扩大应用程序视窗的手语，相反的动作识别 为一缩小手势。图标选择及打开手势使用者以一对接近的手指同时触摸图标，驱动器识别该手 指动作为一双击手势。目标及窗口移动手势如果用户在接触表面上方或者目标上方移动一对接近的手 指，驱动器识别该手语为移动该目标的手势。由此可见，视窗控制的手势是各家触控系统所力争之地；日后具有越简单操作手 势的感测系统将越易为使用者所接受。然而触控仍受限于有限的面积才可以实施，并不利 于手势的动作。有鉴于此，本专利技术创作人针对上述缺陷与不足，经过长期研究，并配合学理 的运用，终于创设出一种能够解决上述不足和缺陷的专利技术设计方案。
技术实现思路
本专利技术之主要目的是在于提供一种，该识别方法是 利用视窗上一个以上照相机捕捉位于空间的手指位置之图项数据，使感测系统能够侦测到 空间中的手指的动作，进而识别手指所代表的动作，以进行视窗的指令操控动作。本专利技术之另一目的是在于提供一种，该识别方法是 将手指的动作予以简化，以中指做为游标感应点。为达到本专利技术的上述目的，可以通过以下的技术方案加以实现本专利技术提供一视5窗手语游标控制的识别方法，该识别方法利用视窗上若干个照相机捕捉位于空间的手指位 置之图项数据，使感测系统能够侦测到空间中的手指的动作；手指的动作则包含有单手与 双手动作的操作模式；其中，单手的操作模式包括有启动模式、滑鼠移动、滑鼠左键、滑鼠右 键与游标相对移动速度控制等事件；而双手的操作模式包括有移动比例、缩放模式与旋转 模式等事件。其中，以单手的操作模式中的启动模式则是利用设定的特定记号加上数字以形成 通关密码作为启动讯号。滑鼠移动的模式则是利用食指与中指并拢作为感测启动讯号，感测系统锁定中指 指尖位置所做的移动做为游标的移动距离，当感测系统感应到食指与中指分开或是消失 时，则设定为移动结束，游标将停止于最后感应点，不再移动。滑鼠右键的模式则是利用无名指与小指下弯的动作作为感测讯号，此时游标则停 留于原先的位置，做出启动滑鼠左键的指令。滑鼠左键的模式则是利用拇指向食指靠拢或下弯的动作作为感测讯号，此时游标 则停留于原先的位置，做本文档来自技高网...

【技术保护点】
一种视窗手语游标控制的识别方法，该识别方法是利用一感测系统捕获位于空间的图像，处理捕获的图像以探查感测点，检查此指向感测点，以识别不同的连续的指向动作，描绘一以指向感测点的相对位置为基础的手语表达；当描绘一个手语的不同的连续的指向动作发生时，显示装置上会更新为与所述手语对应的图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：吴智孟，
申请(专利权)人：实盈光电股份有限公司，
类型：发明
国别省市：71[]