用于基于多个传感器信号的融合识别手势的方法和设备技术

提供一种允许基于不同类型的传感器信号的融合来改进手势识别的方法、设备和计算机程序产品。在一种方法的情境中，接收一系列图像帧和雷达信号序列。该方法确定指示手势的针对一系列图像帧的评估分数。该评估分数的确定可以基于图像区域中的运动块和运动块在图像帧之间的移位。该方法也确定指示手势的针对雷达信号序列的评估分数。该评估分数的确定可以基于序列中的符号分布和序列中的强度分布。该方法对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数以识别手势。

【技术实现步骤摘要】
【国外来华专利技术】用于基于多个传感器信号的融合识别手势的方法和设备
本专利技术的一示例实施例一般涉及用户界面技术并且更具体地涉及一种用于识别 手势的方法、设备和计算机程序产品。
技术介绍
为了有助于用户与计算设备交互，已经开发了用户界面以对用户的手势做出响 应。通常，这些手势是直观的并且因此用于有助于使用计算设备并且改善总体用户体验。计 算设备可以识别的手势可以服务于许多功能、诸如打开文件、关闭文件、移到文件内的不同 位置、增加音量等。计算设备可以识别的一种类型的手势是挥手（hand-wave)。可以定义挥 手以提供各种类型的用户输入、例如包括用于控制媒体播放器的导航命令、图库浏览或者 幻灯片演示。 计算设备一般提供基于由单个传感器、诸如相机、加速度计或者雷达传感器提供 的信号的手势识别。然而通过依赖于单个传感器，计算设备就识别手势而言可能有些受限。 例如依赖于相机以捕获从其识别手势的图像的计算设备可能难以适应照明改变以及在相 机捕获的图像内的白平衡。而且，依赖于加速度计或者陀螺仪以提供从其识别手势的信号 的计算设备不能在计算设备本身固定就位的实例中检测手势。此外，依赖于雷达传感器以 提供从其识别手势的信号的计算设备可能难以确定产生手势的对象实际上是什么。
技术实现思路
因此根据一示例实施例提供一种方法、设备和计算机程序产品以便提供基于不同 类型的传感器所提供的信号的融合的改进的手势识别。在一个实施例中，例如提供一种方 法、设备和计算机程序产品以便基于相机或者其它图像捕获设备和雷达传感器所提供的信 号的融合识别手势。通过依赖于不同类型的传感器所提供的信号并且通过对与不同类型的 传感器所提供的信号关联的评估分数适当加权，可以用比依赖于单个传感器以用于识别手 势的计算设备更可靠的方式以更少的限制来识别手势。 在一个实施例中，提供一种方法，该方法包括接收一系列图像帧并且接收雷达信 号序列。这一实施例的该方法还确定指示手势的针对一系列图像帧的评估分数。就这一点 而言，确定评估分数可以包括基于在图像区域中的运动块和运动块在图像帧之间的移位确 定评估分数。这一实施例的该方法也包括确定指示手势的针对雷达信号序列的评估分数。 就这一点而言，确定评估分数可以包括基于序列中的符号分布和序列中的强度分布确定评 估分数。这一实施例的该方法还对评估分数中的每个评估分数进行加权并且在加权之后融 合评估分数，以识别手势。 该方法可以通过对图像数据进行下采样以生成针对一系列图像帧的下采样图像 块，从下采样图像块提取多个特征并且确定下采样图像块的移动状态以便基于连续图像帧 中的相应特征的值的改变而确定运动块来确定针对一系列图像帧的评估分数。就这一点而 言，该方法也可以基于投影直方图的第一边界和第二边界的基于相应下采样图像块的移动 状态确定的移动来确定手势的运动方向。 -个实施例的该方法可以通过基于图像区域中的平均运动块比率确定评估分数 来确定针对一系列图像帧的评估分数。雷达信号的强度可以取决于产生手势的对象与雷达 传感器之间的距离，而与雷达信号关联的符号可以取决于对象相对于雷达传感器的运动方 向。对评估分数中的每个评估分数加权可以包括基于线性判别分析、Fisher判别分析或者 线性支持向量机确定将与评估分数关联的权重。一个实施例的该方法还可以包括在识别手 势的实例中基于一系列图像帧确定该手势的运动方向。 在另一实施例中，提供一种设备，该设备包括至少一个处理器和包括计算机程序 代码的至少一个存储器，其中存储器和计算机程序代码被配置成，通过处理器，使该设备接 收一系列图像帧并且接收雷达信号序列。这一实施例的至少一个存储器和计算机程序代码 还被配置成，通过处理器，使该设备通过基于图像区域中的运动块和运动块在图像帧之间 的移位确定指示手势的针对一系列图像帧的评估分数来确定该评估分数。这一实施例的至 少一个存储器和计算机程序代码还被配置成，通过处理器，使该设备通过基于雷达信号序 列中的符号分布和雷达信号序列中的强度分布确定指示手势的针对雷达信号序列的评估 分数来确定该评估分数。这一实施例的至少一个存储器和计算机程序代码还被配置成，通 过处理器，使该设备对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数 以识别手势。 至少一个存储器和计算机程序代码还被配置成，通过处理器，使一个实施例的该 设备通过对图像数据进行下采样以生成针对一系列图像帧的下采样图像块、从下采样图像 块提取多个特征并且确定下采样图像块的移动状态以便基于连续图像帧中的相应特征的 值的改变确定运动块来确定针对一系列图像帧的评估分数。这一实施例的至少一个存储器 和计算机程序代码还可以被配置成，通过处理器，使该设备基于投影直方图的第一边界和 第二边界的基于相应下采样图像块的移动状态确定的移动来确定手势的运动方向。 一个实施例的至少一个存储器和计算机程序代码可以被配置成，通过处理器，使 该设备通过基于图像区域中的平均运动块的比率确定评估分数来从一系列图像帧确定该 评估分数。雷达信号的强度可以取决于产生手势的对象与雷达传感器之间的距离，而与雷 达信号关联的符号可以取决于对象相对于雷达传感器的运动方向。至少一个存储器和计算 机程序代码被配置成，通过处理器，使一个实施例的该设备通过基于线性判别分析、Fisher 判别分析或者线性支持向量机确定将与评估分数关联的权重来对评估分数中的每个评估 分数进行加权。至少一个存储器和计算机程序代码还被配置成，通过处理器，使一个实施例 的该设备在识别手势的实例中基于一系列图像帧确定手势的运动方向。一个实施例的该设 备还可以包括：用户界面电路，该用户界面电路被配置成有助于用户通过使用显示器来控 制该设备的至少一些功能并且使该设备的用户界面的至少一部分被显示于显示器上以有 助于用户控制该设备的至少一些功能。 在又一实施例中，提供一种包括至少一个计算机可读存储介质的计算机程序产 品，至少一个计算机可读存储介质中存储有计算机可执行程序代码部分，其中该计算机可 执行程序代码部分包括被配置为接收一系列图像帧并且接收雷达信号序列的程序指令。这 一实施例的程序指令还被配置为通过基于图像区域中的运动块和运动块在图像帧之间的 移位确定指示手势的针对一系列图像帧的评估分数来确定该评估分数。这一实施例的程序 指令还被配置为通过基于雷达信号序列中的符号分布和雷达信号序列中的强度分布确定 指示手势的针对雷达信号序列的评估分数来确定该评估分数。这一实施例的程序指令还 被配置为对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数，以识别手 势。 根据一个实施例的计算机可执行程序部分还可以包括被配置为通过对图像数据 进行下采样以生成针对一系列图像帧的下采样图像块、从下采样图像块提取多个特征并且 确定下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确定运动块 来针对一系列图像帧确定评估分数的程序指令。这一实施例的计算机可执行程序部分还可 以包括被配置为基于投影直方图的第一边界和第二边界的基于相应下采样图像块的移动 状态确定的移动来确定手势的运动方向的程序指令。 根据一个实施例的被配置为针对一系列图本文档来自技高网...

【技术保护点】
一种方法，包括：接收一系列图像帧；接收雷达信号序列；确定指示手势的针对所述一系列图像帧的评估分数，其中确定所述评估分数包括基于图像区域中的运动块和运动块在图像帧之间的移位确定所述评估分数；确定指示所述手势的针对所述雷达信号序列的评估分数，其中确定所述评估分数包括基于所述序列中的符号分布和所述序列中的强度分布确定所述评估分数；对所述评估分数中的每个评估分数进行加权；以及在所述加权之后融合所述评估分数以识别所述手势。

【技术特征摘要】
【国外来华专利技术】1. 一种方法，包括： 接收一系列图像帧； 接收雷达信号序列； 确定指示手势的针对所述一系列图像帧的评估分数，其中确定所述评估分数包括基于 图像区域中的运动块和运动块在图像帧之间的移位确定所述评估分数； 确定指示所述手势的针对所述雷达信号序列的评估分数，其中确定所述评估分数包括 基于所述序列中的符号分布和所述序列中的强度分布确定所述评估分数； 对所述评估分数中的每个评估分数进行加权；以及 在所述加权之后融合所述评估分数以识别所述手势。2. 根据权利要求1所述的方法，其中确定针对所述一系列图像帧的所述评估分数包 括： 对图像数据进行下采样以生成针对所述一系列图像帧的下采样图像块； 从所述下采样图像块提取多个特征；以及 确定所述下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确 定所述运动块。3. 根据权利要求2所述的方法，还包括基于投影直方图的第一边界和第二边界的基于 相应下采样图像块的所述移动状态确定的移动来确定所述手势的运动方向。4. 根据权利要求1-3中的任一权利要求所述的方法，其中确定针对所述一系列图像帧 的评估分数包括基于所述图像区域中的平均运动块比率确定所述评估分数。5. 根据权利要求1-4中的任一权利要求所述的方法，其中所述雷达信号的幅值取决于 产生所述手势的对象与雷达传感器之间的距离，并且与所述雷达信号关联的符号取决于所 述对象相对于所述雷达传感器的运动方向。6. 根据权利要求1-5中的任一权利要求所述的方法，其中对所述评估分数中的每个评 估分数进行加权包括基于线性判别分析、Fisher判别分析或者线性支持向量机确定将与所 述评估分数关联的权重。7. 根据权利要求1-6中的任一权利要求所述的方法，还包括在识别所述手势的实例中 基于所述一系列图像帧确定所述手势的运动方向。8. -种设备，包括至少一个处理器和包括计算机程序代码的至少一个存储器，其中所 述至少一个存储器和所述计算机程序代码被配置成，通过所述处理器，使所述设备： 接收一系列图像帧； 接收雷达信号序列； 通过基于图像区域中的运动块和运动块在图像帧之间的移位确定指示手势的针对所 述一系列图像帧的评估分数来确定所述评估分数； 通过基于所述序列中的符号分布和所述序列中的强度分布确定指示所述手势的针对 所述雷达信号序列的评估分数来确定所述评估分数； 对所述评估分数中的每个评估分数进行加权；并且 在所述加权之后融合所述评估分数以识别所述手势。9. 根据权利要求8所述的设备，其中所述至少一个存储器和所述计算机程序代码被配 置成，通过所述处理器，使所述设备通过以下操作确定针对所述一系列图像帧的所述评估 分数： 对图像数据进行下采样以生成针对所述一系列图像帧的下采样图像块； 从所述下采样图像块提取多个特征；以及 确定所述下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确 定所述运动块。10. 根据权利要求9所述的设备，其中所述至少一个存储器和所述计算机程序代码还 被配置成，通过所述处理器，使所述设备基于投影直方图的第一边界和第二边界的基于相 应下采样图像块的所述移动状态确定的移动来确定所述手势的运动方向。11. 根据权利要求8-10中的任一权利要求所述的设备，其中所述至少一个存储器和所 述计算机程序代码还被配置成，通过所述处理器，使所述设备通过基于所述图像区域中的 平均运动块比率确定针对所述一系列图像帧的评估分数来确定所述评估分数。12. 根据权利要求8...

【专利技术属性】
技术研发人员：谢晓辉，方亦凯，汪孔桥，T·T·劳蒂艾南，
申请(专利权)人：诺基亚公司，
类型：发明
国别省市：芬兰;FI