指示手势的手指尖定位方法技术

本发明专利技术涉及一种指示手势的手指尖定位方法。它是根据指示手势行为中的指示手势的手部特征，自动确定指示手势的手指尖位置。采用背景差分法，提取指示手势对象，运用肤色分割方法，提取指示手势的手部区域，根据指示手势的手指尖位于指示手势的手部边沿轮廓且距离指示手势的手指区域重心最远处，自动确定手指尖点。从而快速有效地定位指示手势的手指尖点位置，满足指示手势人机交互中的特征提取要求。

Finger tip positioning method for indicating hand gesture

The invention relates to a finger tip positioning method for indicating gestures. It automatically determines the position of the finger tip indicating the gesture according to the hand characteristics indicating the hand gesture in the gesture. Using the method of background subtraction, extraction of gesture indicating object segmentation method using color extraction, hand area indicating gestures, finger pointing gesture according to the regional center of gravity of the finger tip is located in the edge of hand gesture instructions and contour gesture indicating the distance the distance, automatically determine the finger tip. It can locate the finger tip position of the gesture quickly and effectively, and satisfy the requirement of feature extraction in the human-computer interaction of the deictic gesture.

【技术实现步骤摘要】

本专利技术涉及一种，用于视频数字图像分析与理解。属于智能信息处理

技术介绍
随着计算机技术的迅猛发展，研究符合人类自然交流习惯的新颖人机交互技术异 常活跃，且人机交互技术已从以计算机为中心逐步转移到以人为中心，而多媒体用户界面 则大大丰富了计算机信息的表现形式，使用户可以交替或同时利用多个感觉通道。然而，多 媒体用户界面的人机交互形式，仍迫使用户使用常规的输入设备(如键盘、鼠标器和触摸 屏等)进行输入，成为当今人机交互的瓶颈。虚拟现实作为一种新型人机交互形式，可实现 和谐的、以人为中心的人机界面。在虚拟现实中，若以人手直接作为计算机输入设备，则可 充分利用人类的日常技能，且不需特别训练或学习，人机间的通信将不再需要中间媒介。在 以人手作为自然交互的工具领域中，指示手势(pointing gesture)容易解释。指示手势是 人们日常生活中用手指对空间感兴趣目标的反映，是人类语系发展和个体发生学的重要先 驱，可揭示人类社会智力，是一种理想的自然人机交互模式。 为实现基于指示手势的人机交互，目前采用基于数据头盔、数据手套和身体标记等，这类方法为侵入式，用户需专门训练，操作不便；为克服上述不足，采用基于非接触传感器(如摄像机)，获取指示手势的对象特征，确定指势空间目标，实现人机交互，其中，指势空间目标，由指示手势的手指尖与人眼视线的连线同目标所在平面的交点确定。 在获取指示手势的手指尖位置时， 一般有如下方法一是佩戴无线传感手套或佩戴特殊颜色的手套，算法需要配备专门的仪器设备，操作不便；二是要求背景简单，指示手势对象单一，该方法难以适应复杂变化场景。
技术实现思路
本专利技术的目的在于针对现有指示手势的手指尖提取方法，存在需要借助接触性外 界设备(如手套)或要求背景简单，指示手势对象单一等问题，提供一种改进的指示手势的 手指尖定位方法。它是根据指示手势行为中的指示手势手的特征快速定位指势手指尖，从 而提高人机交互的灵活性和简便性。 为达到上述目的，本专利技术的构思是采用背景差分法，提取指示手势对象，运用肤 色分割方法，提取指示手势的手部区域，根据指示手势的手指尖位于指示手势的手部边沿 轮廓且距离指示手势的手指区域重心最远处，自动确定手指尖点，从而快速有效地定位指 示手势的手指尖点位置。 根据上述专利技术构思，本专利技术采用下述技术方案 —种。它是根据指示手势行为中的指示手势的手部特 征，自动确定指示手势的手指尖位置，具体步骤如下 1)启动指示手势图像采集系统采集视频图像； 2)获取背景图像 连续采集不包含指示手势目标的场景图像，当某设定时间间隔内两图像差小于某 个设定阈值时，则将该时间间隔内的某一幅图像作为背景图像，否则重新采集，直到满足设 定的时间间隔内的两图像差小于某个设定阈值； 3)指示手势对象的分割 由摄像机采集的当前帧图像与步骤2)获取的背景图像相减，分割出指示手势对 象区域； 4)提取手部区域； 5)确定指示手势的手部区域； 6)确定指示手势的手指尖位置。 上述步骤4)的具体操作步骤如下 (1)彩色空间转换，计算色彩值Cr， Cb :由RGB彩色空间的红R、绿G、蓝B三分量， 计算YCbCr色彩空间的色彩值Cr， Cb : Cr = 0. 5XR-0. 4187 XG-0. 0813 XB Cb = -0. 1687XR-0. 3313XG+0. 5XB (2)肤色区域提取分别确定色彩值Cr， Cb以及Cr/Cb的阈值T" T2， T3， T4， 丁5，将 满足下式的所有像素组成的区域，确定为肤色区域S S = (Cr > 1\ n Cr《T2) n (Cb > T3 n Cb《T4) n (Cr/Cb > T5) 其中，n为"逻辑与"操作符； (3)提取可能的指示手势对象的肤色区域将同时满足步骤3)与步骤(2)的图像 区域，作为可能的指示手势对象的肤色区域； (4)提取手部区域对步骤(3)的二值图像进行连通区域搜索，计算连通区域高& 与宽Sw的比值，以及连通区域中的孔洞数H和连通区域大小W，将满足下式的所有像素组成 的区域视为非手部区域，从步骤(3)的二值图像区域中剔除； F = (S"Sw > T6 n s^s,《T7) n (H > i) n W < T8 其中，Te，T"T8为阈值。 上述步骤5)确定指示手势的手部区域的方法是分别计算经步骤(4)所得的二值 图像连通区域的底部象素i ， j的纵坐标By :By = max (j)和横坐标Bx :Bx = i (j = By)，将 包含具有最小By值及与之对应的Bx所组成的连通区域，确定为指示手势的手部区域； 上述步骤6)确定指示手势的手指尖位置的方法是计算指示手势的手部区域重 心Cx， Cy，以及指示手势的手部区域轮廓线上各点的像素坐标i， j到重心Cx， Cy的距离D， 将距离D具有最大值的像素坐标i， j，确定为指示手势的手指尖位置Px， Py， Px :Px = i (D =max (D)) ， Py :Py = j (D = max (D))。 本专利技术的原理如下 在本专利技术的技术方案中，根据背景差分法能提供较完全的特征数据，基于场景中 任何可察觉的目标运动都会体现在场景图像序列的变化中，利用当前图像与背景图像之间 的差分，从视频图像中检测指示手势对象。 设时间间隔At内，分别获得tn—工与tn两时刻的两帧图像f (tn—p x， y) ， f (tn， x， y)，将两幅图像逐象素求差值，得差分图像Diff(x，y):4 DiffR(x， y) = |fR(tn， x， y)-fR(tn—" x， y) DiffG(x， y) = |fG(tn， x， y)-fG(tn—" x， y) DiffB(x， y) = |fB(tn， x， y)-fB(tn—" x， y) 其中，DiffR，DiffG，DiffB分别对应差分图像红、绿、蓝三分量，|f|为f的绝对值。 若时间间隔At内的两序列图像f(tn—px，y)，f(tn，x，y)的差值DiffR(x，y)《T|DiffG(x， y)《T|DiffB(x，y)《T，其中，T为阈值，|为"逻辑或"运算符，表明At时间间隔内没有 变化物体，从而可将tn tn—工之间某一时刻的图像，作为背景图像。 利用所得背景图像，根据当前获取的当前帧图像，采用背景差分法，分割出指示手 势对象区域。 同时，尽管肤色因人而异，且千差万别，但在YCrCb的色彩空间中，人类肤色呈现 良好的聚类特性，且对姿态变化不敏感，可克服旋转、表情等变化影响，具有强的鲁棒性。在 YCbCr模型中，Y分量表示颜色的亮度信息，Cr和Cb分量分别表示红色和蓝色的色度。从 RGB空间转换到YCbCr空间的转换公式如下<formula>formula see original document page 5</formula> 在YCbCr空间中，肤色在Cb、Cr以及Cr/Cb的分布上，处在一个稳定的范围内，即， 在当前获取的图像中，将满足(Cr > 1\ n Cr《T2) n (Cb > T3 n Cb《T4) n 本文档来自技高网...

【技术保护点】
一种指示手势的手指尖定位方法，其特征在于根据指示手势行为中的指示手势的手部特征，自动确定指示手势的手指尖点位置，具体步骤如下：１）启动指示手势图像采集系统：采集视频图像；２）获取背景图像连续采集不包含指示手势目标的场景图像，当某设定时间间隔内两图像差小于某个设定阈值时，则将该时间间隔内的某一幅图像作为背景图像，否则重新采集，直到满足设定的时间间隔内的两图像差小于某个设定阈值；３）指示手势对象的分割由摄像机采集的当前帧图像与步骤２）获取的背景图像相减，分割出指示手势对象区域；４）提取手部区域；５）确定指示手势的手部区域；６）确定指示手势的手指尖位置。

【技术特征摘要】

【专利技术属性】
技术研发人员：管业鹏，于蕴杰，
申请(专利权)人：上海大学，
类型：发明
国别省市：31[中国|上海]