一种基于手势识别的投影增强交互方法技术

本发明专利技术涉及智能制造和人机交互领域，具体地说，涉及一种基于手势识别的投影增强交互方法。该方法利用了基于用户习惯的指尖识别图像处理算法和基于LeapMotion和Kinect的手势识别算法，通过基于LeapMotion和Kinect的手势识别算法可以有效排除在复杂装配过程中异物进入交互区域，造成误操作的问题。利用基于用户习惯的指尖识别图像处理算法可以让操作人员利用手点击投影出的按钮即可完成交互，从而有效提升交互的直观性和自然性。通过使用方法与手势和投影交互的实验对比，发现该方法克服了单纯手势识别的不直观和不稳定性，以及投影增强交互过程中错误触发的问题，有效提高了用户的操作体验。的操作体验。的操作体验。

【技术实现步骤摘要】
一种基于手势识别的投影增强交互方法

：
[0001]本专利技术涉及智能制造和人机交互领域，具体地说，涉及一种基于手势识别的投影 增强交互方法。

技术介绍
：
[0002]AR是一种融合物理世界和虚拟世界的计算机系统，通过视、听、触等人机交互方 式作用于用户，为用户提供高度融合的交互式虚实融合场景。AR系统的重要特征包括 信息融合真实性、实时交互性和空间同步性。基于投影的增强现实显示技术是增强现 实技术中，发展较为早的一项技术，它通过将计算机中的虚拟信息，通过投影仪直接 投射到现实物理环境中，从而达到将虚拟信息叠加到真实物体上的目的。早期的投影 显示技术主要应用于教育、商务、娱乐等领域。近年来，随着数字化生产制造的普及， 投影显示技术才逐步走入制造领域当中。由于应用场景的变化，在实际的制造过程中 应用投影显示技术不仅仅为了实现信息引导，实现基于投影显示的自然人机交互也显 得尤为重要。
[0003][0004]投影增强交互系统利用相机检测装配场景，利用投影仪在现实场景中投影显示出 虚拟图像。由于引入了交互，在复杂装配任务中会对投影仪和相机的成像光路形成遮 挡。对于投影仪的引起的光路遮挡问题，可以使用多个投影仪进行投影叠加来解决。 但是，在点击投影出来的菜单时会存在误点误触的问题，特别是零件进入交互区域会 带来误交互的问题。
[0005]为了解决投影增强交互中点击投影菜单存在的误点误触及零件干扰问题，本专利技术 专利通过利用Leap Motion和Kinect进行手势识别，然后根据图像处理的方式确定 交互指令的方法，保证最终交互的准确性和鲁棒性。

技术实现思路
：
[0006]本专利技术提供一种基于手势识别的投影增强交互方法，旨在解决投影增强装配过程 中原有的人机交互方式难以适应现场装配、存在误点误触及零件干扰正常交互的问题。
[0007]为了解决以上技术问题，本专利技术通过一种技术方案实现了基于手势识别的投影增 强交互方法，首先利用Leap Motion和Kinect分别获取手部信息，根据检测结果排除 实验干扰物，从而保证在交互区域交互的为用户的手而非异物。根据此先决条件，通 过图像处理的方式确定手指指尖的位置，然后将该点的像素点坐标与投影出的菜单中 的按钮位置进行比对，根据停留时间确定是否触发相应的装配指令，从而保证增强装 配交互的准确进行。
[0008]本专利技术提出的一种基于手势识别的投影增强交互方法，其特点是采用以下步骤：
[0009]步骤1：利用Leap motion和Kinect设备分别获取人机交互中操作人员的手部信 息，根据Leap motion如图3所示，及Kinect自身内部手势检测算法输出进入交互区 域的是人手还是异物，进而确定是否进行接下来的操作，如图1所示。如果进入该交 互区域的是人
手则设定为需要进行交互操作，否则，认定为异物如图2所示的情形， 系统不进行任何反馈；
[0010]步骤2：如图4所示，根据图像处理的相关常用算法如图像分割、灰度处理等， 然后利用本文提出的基于用户习惯的指尖检测算法实时获取手指指尖所在的像素点坐 标，并将该信息传递给系统，其中基于用户习惯的指尖检测算法是利用经过图像处理 的视频流，通过查找并绘制轮廓、排除微小不连续区域、轮廓边缘检测遍历等操作获 取到操作人员的手指指尖所在的像素点坐标；
[0011]步骤3：系统根据前面传递回来的信息，通过判断步骤2中获取的用户指尖在交 互区域相应按钮上的停留时间确定是否触发相应的装配指令。根据相应的用户实验证 明，该停留时间大于等于0.5s时可以认为用户已经进行了点击操作，即触发了相应的 装配指令。当装配指令的触发时，系统将相应的装配引导信息呈现给用户，进而引导 用户完成相应的装配任务。
[0012]本专利技术的有益效果是：投影增强装配场景中的人机交互区域为本专利技术方法的数据 采集输入区域，首先利用Leap Motion和Kinect分别对该区域进行信息捕捉，从而获 取到该部分的数据信息。利用捕捉的信息，经过Leap Motion及Kinect内部手势检测 算法，判断进入交互区域的为人手或者异物。从而保证点击投影出的菜单的为操作人 员的手，进而避免装配零件误入导致的误操作问题。
[0013]在确认进行交互的对象为操作人员的手时，即操作人员即将进行点击的动作从而 进行交互，此时系统开始对进入到投影出的菜单区域的对象进行图像处理，首先利用 相机获取整个交互区域的视频流，进行灰度处理、图像分割等操作，进而利用图像的 帧差法获取当前帧与背景帧之间的差值，并排除可能存在的微小噪点，最终获取手所 在区域的凸包，利用本专利技术的基于用户习惯的指尖识别算法，计算出操作人员手指指 尖所在的像素点坐标。根据该像素点坐标与按钮所在像素点区域进行对比，从而判断 是否落在相应的按钮区域，并将信号传递给下一步。
[0014]根据前两步传递来的信号，根据本专利技术提出的基于手势识别的投影增强交互算法， 只有当第一步两个信号均为真时才进行操作指令判断。在操作指令判断过程，根据落 在投影出的按钮区域的时间来判断是否触发相应的装配指令，即在步骤二的信号为真 的前提下。从而保证整个过程高效、有效地完成交互任务。
[0015]与现有技术相比，本专利技术的主要优点在于：本专利技术采用的方法利用了基于用户习 惯的指尖识别图像处理算法和基于Leap Motion和Kinect的手势识别算法。通过基于 Leap Motion和Kinect的手势识别算法可以有效排除在复杂装配过程中异物进入交互 区域，造成误操作的问题。利用基于用户习惯的指尖识别图像处理算法可以让操作人 员利用手点击投影出的按钮即可完成交互，从而有效提升交互的直观性和自然性。通 过使用方法与手势和投影交互的实验对比，发现该方法克服了单纯手势识别的不直观 和不稳定性，以及投影增强交互过程中错误触发的问题，有效提高了用户的操作体验。 因此，本专利技术的方法可以有效地应用到现场投影增强装配的过程中，便于操作人员与 系统实现自然交互及整个装配系统智能化的进程。
附图说明：
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所 需要使用的附图作简单地介绍，在附图中，相同的或对应的技术特征或部件将采用相 同或对应的附图标记来表示。
[0017]图1为本专利技术提出的一种基于手势识别的投影增强交互方法的流程示意图；
[0018]图2为本专利技术中异物干扰问题示意图；
[0019]图3为本专利技术应用的Leap Motion识别手势的过程示意图；
[0020]图4为本专利技术提出的基于用户习惯的指尖识别算法的示意图；
具体实施方式：
[0021]参照图1，本专利技术实施案例所提供的基于手势识别的投影增强交互方法的一个流 程示意图，该方法流程如下：
[0022]实施案例为增强投影装配过程，输入为人机交互区域场景信息。然后Leap Motion 和Kinect捕获该区域场景信息，利用自身的手势检测算法计算出当前对象是否为操作 人员本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手势识别的投影增强交互方法，其特征在于，包括如下步骤：步骤1：利用Leap motion和Kinect设备分别获取人机交互中操作人员的手部信息，根据Leap motion及Kinect自身内部手势检测算法输出进入交互区域的是人手还是异物，进而确定是否进行接下来的操作：如果进入该交互区域的是人手则设定为需要进行交互操作，否则，认定为异物情形，系统不进行任何反馈；步骤2：根据图像处理的相关算法，利用基于用户习惯的指尖检测算法实时获取手指指尖所在的像素点坐标，并将该信息传...

【专利技术属性】
技术研发人员：王淑侠，曹志伟，何卫平，张杰，李江红，魏兵钊，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：