使用2D图像数据来执行手势识别制造技术

系统和方法可以用于确定视频信号中的多个像素的皮肤色调分布，并使用皮肤色调分布来对于视频信号执行一个或多个基于区块的手势判断。在一个示例中，视频信号包括二维(2D)图像数据，皮肤色调分布具有大于基于区块的手势判断的执行时间预算的执行时间预算。

【技术实现步骤摘要】
【国外来华专利技术】
各实施例一般涉及手势识别。更具体而言，各实施例涉及使用二维（2D)图像数据 的手势识别。
技术介绍
手势识别传统上可以使用直接对三维（3D)数据云的像素或点进行操作的算法来 执行。这些算法中有许多可以使用当逐个帧为基础使用时计算量大的技术。 附图简述 本领域内技术人员通过阅读下面的说明书和权利要求书并参照附图能清楚知道 各实施例的各种优势，在附图中： 图1是根据一实施例的手势判断方法的示例的框图； 图2是根据一实施例的执行手势判断的架构的示例的框图； 图3A是根据一实施例的检测边缘的方法的示例的流程图； 图3B是根据一实施例的边缘检测阈值逻辑的示例的框图； 图3C是根据一实施例的像素的边缘检测邻近区域的示例的框图； 图4是根据一实施例的生成距离图的方法的示例的流程图； 图5A是根据一实施例的标识一组轮廓线像素的方法的示例的流程图； 图5B是根据一实施例的一组轮廓线的示例的图示； 图6A是根据实施例的标识区块的方法的示例的流程图； 图6B是根据一实施例的高斯内核以及检测器的示例的曲线； 图6C是根据一实施例的一组手势以及对应的区块布局的图示； 图6D是根据一实施例的卷积方法的示例的框图； 图6E是根据一实施例的矢量处理方法的示例的框图； 图7A是根据一实施例的标识手势的方法的示例的流程图； 图7B是根据一实施例的与区块集群信息重叠的一组图像的示例的图示； 图7C是根据一实施例的密度图的示例的图示； 图8A是根据一实施例的使用维特比分数来执行基于区块的手势判断的方法的示 例的流程图； 图8B是根据一实施例的观察轨迹的示例的框图； 图8C是根据一实施例的值集群化方法的示例的框图； 图8D是根据一实施例的笛卡尔乘积方法的示例的框图； 图9是根据一实施例的处理器的示例的框图；以及 图10是根据一实施例的系统的示例的框图。【具体实施方式】 现在转向图1，示出了作出手势判断的方法，其中，由离线模块22和在线模块24处 理具有二维（2D)图像数据的视频信号20。可以从图像捕捉设备和/或存储器设备中获取 的视频信号20,可包含执行与各种应用程序（诸如，游戏、设备控制（例如，计算机、电视机、 灯、音响系统、恒温器）等等）相关联的各种手势的人类对象的图像。在所示示例中，离线 模块22确定视频信号20中的多个的像素的皮肤色调分布26,而在线模块24使用基于像素 的皮肤色调分布来相对于视频信号20执行一个或多个基于区块的手势判断28。如比较详 细地讨论的，区块可以是在两个维度形状类似于高斯分布（例如，离散的内核）的形状的可 视结构，其中基于区块的方法可以减轻与基于像素的图像分析相关联的计算复杂性。 此外，皮肤色调分布26还可以具有大于基于区块的手势判断28的执行时间预算 的执行时间预算，因为可能不预期皮肤色调从一个帧到另一个帧显著地变化。例如，皮肤色 调分布26可以具有大约2-3秒或更多的执行时间预算，而基于区块的手势判断28可以具 有执行大致16. 66毫秒的执行时间预算，这将支持通常可以用于游戏应用程序中的60帧每 秒的帧速率。 图2示出了具有执行手势判断的离线模块22(22a-22c)和在线模块24(24a-24c) 的架构的一个示例。一般而言，架构可以被实现为支持利用最小复杂性和处理开销来进行 手势的实时识别的手势检测流水线。手势检测流水线可以实现为以存储在某些机器可读的 介质中的处理器指令的形式存在的软件实现，指令如果被执行，导致处理器执行手势判断， 实现为以包括多个逻辑电路的设备的形式存在的硬件实现，如果向该逻辑电路提供时钟和 电力信号，则导致设备执行手势判断，或实现为通过组合硬件和软件实现所产生的实现。类 似地，术语"单元"和"逻辑"可以是指软件实现、硬件实现或者组合的硬件/软件实现。 在一个示例中，离线模块22包括边缘检测单元22a，该边缘检测单元22a接收与视 频信号的帧相关联的彩色图像，并对多个通道中的每一个的所述彩色图像进行边缘分析。 另外，距离单元22b可以标识与边缘分析相关联的边缘图，并反复传播边缘图中的像素之 间的最近邻信息，以获得距离图。所示出的离线模块22还包括指尖单元22c，用于基于所述 边缘图和所述距离图，标识包围所述彩色图像中的多个指尖的多组轮廓线像素，其中可以 基于多组轮廓线像素内的像素的颜色值，确定所述皮肤色调分布。正如所指出的那样，取决 于情况，可以以相对慢的速率来确定皮肤色调分布。 在线模块24可以基于皮肤色调分布，从视频信号的输入帧中去除非皮肤像素，并 二次采样输入帧（例如，重复地跳过每一维度中的d行或d列，其中，d是可调参数），以获 得修改的帧。在一个示例中，在线模块24包括标识修改的帧中的多个区块的特征提取单元 24a。姿势单元24b可以将与多个区块相关联的一个或多个姿势与存储在库中的一个或多 个姿势匹配，其中临时的识别单元24c可以标识一个或多个姿势的多个观察轨迹，并同时 保持多个观察轨迹的分数。临时的识别单元24c也可以使用所述分数来执行基于区块的手 势判断。下面比较详细地讨论了手检测流水线的组件。 离线边缘检测 继续参考图2和3A-3C，示出了检测边缘的方法30。所示出的处理框32用于接收 与视频信号的帧相关联的彩色图像36,其中可以针对多个通道34中的每一个，对彩色图像 36 -般性地进行边缘分析。关于这一点，彩色图像36可包括RGB(红/蓝/绿）数据以及 Y亮度（Y)，彩色红（Cr)和彩色蓝（Cb)数据，其中如果一个像素被确定为通道34中的任何 一个中的边缘像素，则该像素可以被视为边缘像素。 更具体而言，在框38,对于多个通道34中的每一个通道，可以确定一组高斯导数。 例如，可以使用下面的表达式来获得两个维度中的一阶高斯导数。 其中，〇是高斯导数的方差参数。所示出的框40在所述高斯导数组和所述彩色 图像36中的每一个像素之间执行卷积，以每个通道地为所述彩色图像中的每一个像素获 得梯度幅度和梯度角度。此外，可以将方差参数设置为大于1的值（例如，〇 = 4)，这可以 帮助显著去除与粗纹理相关联的边缘像素（例如，去噪声）。在某些手势识别应用程序中， 这样的像素可能没有价值。 -旦计算出了梯度幅度和角度，可以为每一个通道定义两个幅度阈值42 :高阈值 和低阈值。可以通过构建多个通道34中的每一个中的梯度幅度值的单独的直方图，来确定 阈值42。因此，直方图44可以允许凭经验地确定阈值42而并非绝对地。在每一通道中，低 和高阈值可以被定义为，例如，分别将"最好的"8%和35%的像素与其余像素分离的那些幅 度值。最好，我们可以涉及带有最高梯度幅度值的像素。这些阈值百分比可以在相对大的 图像组上导出观察。正如所指出的那样，每一通道都可以使用单独的阈值对。可以使用包 含多个一阶高斯导数值的矩阵来执行利用高斯导数的卷积，其中，每一一阶高斯导数值都 使用公式（1)和（2)来计算，并将其转换为整数形式。转换为整数形式可以通过除法利用 矩阵中的最小值来实现。 -旦定义了阈值42,就可以使用低阈值来检测"薄的"边缘像素，可以将它们传递 到第二滤波阶段，在那里，剩余的像素与沿着梯度角度出现的局部梯度幅度最大值相关联。 从这些薄的边缘像素中，可以将带有高于高阈值的梯本文档来自技高网...

【技术保护点】
一种识别手势的设备，包括：确定视频信号中的多个像素的皮肤色调分布的离线模块；以及使用所述皮肤色调分布来对于所述视频信号进行一个或多个基于区块的手势判断的在线模块。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：M·库纳维斯，R·亚瓦特卡，I·肖伊纳斯，C·阿拜德瓦兹克斯，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US