基于灵敏度参数的人脸朝向识别方法技术

本发明专利技术公开了一种基于灵敏度参数的人脸朝向识别方法，包括步骤：S1：对采集到的单帧图像逐一进行静态人脸朝向识别，根据人脸旋转的角度大小判断单帧图像的人脸朝向是正面、朝左还是朝右；S2：在给定的采集时间内，对采集到的所有单帧图像都进行静态人脸朝向识别，得出一个按照时序依次排列的人脸朝向结果集；S3：对人脸朝向结果集进行过程分析，识别指令意图，得出人脸朝向过程给出的指令结果。本发明专利技术结合简单的面部特征与实时捕捉头部动态过程结果作为相应指令匹配方式，能准确识别移动机器人人机交互过程中的面部转动指令，这种方式自然而且表达清晰，不受环境的限制，适用范围广。

【技术实现步骤摘要】

本专利技术涉及移动机器人，尤其涉及一种用于机器人的基于灵敏度参数的人脸朝向识别方法。
技术介绍
在复杂室内环境中，如现代实验室、运输物流工厂等，移动机器人常用来替代人员执行简单、危险、重复性的任务，以节省大量的人力资源成本。在流程控制特别繁琐的室内环境中，如在化学实验室中，移动机器人的运用能减少科研人员接触危险品的机会，不仅能够保证实验的准确性，而且能有效地降低事故发生几率。人机交互是移动机器人智能化的重要组成部分，如今，人类已经从通过触摸式，如鼠标、键盘、按钮等媒介，对机器进行指令发送发展到通过各种传感器(如声音传感器，红外传感器等)的运用给机器下达各种任务指令。微软公司Kinect传感器的出现，使人机交互方式又迈出了一大步，基于Kinect传感器开发的交互界面下，人身体本身就可以成为控制器。譬如，使用双臂完成几种姿势来操控机器人完成任务(如申请号201210267315.3公开了《一种双臂机器人基于Kinect的人机交互方法》和申请号201310327955.3公开了《基于kinect人体骨骼跟踪控制的智能机器人人机交互方法》)，但是这种应用场景范围非常受限。例如：当机器人面对与双手紧抱重物或手持物品的工作人员进行人机交互，或者机器人面对电梯里挤满不同工作单位的人员时，该如何听从指令；此外，还需要一些与特定的操作任务无关的手势用于改变机器人的操作模式，这些都造成了操作任务的交流不自然。因此需要一种自然的容易被操作人员理解记忆的控制方法。当然，我们也可以利用语音来进行操作(如申请号201410057451.9公开了《一种基于单人手势和语音信息的机器人人工导航方法》)，但是如果在工厂里或者声音嘈杂的实验室环境下，移动机器人如何正确的接收并分析识别所下达的语音指令也是一个难题。这些公开的档案中，很多都侧重于或只考虑人的肢体行为，只依赖于Kinect传感器提供的骨骼数据，而忽略了人类社会中另一种重要的交流媒介——人脸，并且Kinect传感器本身拥有廉价而又优越的硬件条件，如深度传感器，红外传感器和普通摄像头可以提供可达到每秒30帧的1080p高清图像，这些高清图像足够可以应付要求达到高识别率的人脸识别技术并且可以构建清晰的人脸三维模型，通过人脸面部与头部行为来对机器人获取控制权和下达指令。然而，普通的人脸识别都是基于静态单帧图像处理或者只关注于脸部细微特征变化(如申请号201410848027.6公开了《基于Kinect及人脸识别的疲劳驾驶检测方法》)，虽然可以达
到很高的人脸识别准确率，但是不能应用于与移动机器人交互的动态过程中，因为，如果运用脸部表情刻意变化去表征某个指令，对于用户来说不够自然感到不适并且表情细微的变化特征抖动会限制指令正确识别率。此外，如果只处理单个时间点的数据帧，当机器人捕捉到的人脸本身就是有旋转角度的人脸图像，譬如，机器人首先捕捉到朝右的人脸图像，过了两秒后捕捉到人脸图像又是朝右，是否一定能判断此人做出的行为一定是头部向右转动？答案是否定的，因为在2秒这段时间内人的头部行为是未知的，这就降低了识别的准确率。因此，在实际运用中必须要实时的动态的识别人的脸部状态，这就既要求高识别准确率又要求短的计算时间。
技术实现思路
本专利技术目的在于提供一种基于灵敏度参数的人脸朝向识别方法，以解决现有面部识别应用于与移动机器人交互的动态过程中识别的准确率不高的技术问题。为实现上述目的，本专利技术提供了一种基于灵敏度参数的人脸朝向识别方法，包括以下步骤：S1：对采集到的单帧图像逐一进行静态人脸朝向识别，根据人脸旋转的角度大小判断单帧图像的人脸朝向是正面、朝左还是朝右；S2：在给定的采集时间内，对采集到的所有单帧图像都进行静态人脸朝向识别，得出一个按照时序依次排列的人脸朝向结果集；S3：对人脸朝向结果集进行过程分析，识别指令意图，得出人脸朝向过程给出的指令结果。作为本专利技术的方法的进一步改进：优选地，步骤S1包括以下步骤：S101：对采集到的单帧图像，获取头部原点四元数，采用如下公式计算起始时刻头部旋转的角度的欧拉角的大小：其中，四元数是由实数w加上三个虚数单位i,j,k组成的超复数，表示为w+xi+yj+zk，其中i的旋转代表X轴与Y轴相交平面中X轴正向向Y轴正向的旋转，j旋转代表Z轴与X轴相交平面中Z轴正向向X轴正向的旋转，k旋转代表Y轴与Z轴相交平面中Y轴正向向Z轴正向的旋转，-i、-j、-k分别代表i、j、k旋转的反向旋转；S102：根据欧拉角中ω值大小，判断人脸朝向：如果起始时刻ω大于左灵敏度阈值，判断起始人脸朝向为朝左；如果起始时刻ω处于左灵敏度阈值与右灵敏度阈值之间或者等于左灵敏度阈值与右灵敏度阈值时，判断起始人脸朝向为正面；如果起始时刻ω小于右灵敏度阈值，判断起始人脸朝向为朝右；S103：记录人脸朝向状态。优选地，在步骤S102中，左灵敏度阈值为0或者根据用户动作习惯设置的第一定值；右灵敏度阈值为0或者根据用户动作习惯设置的第二定值。优选地，人脸朝向结果集包括人脸朝向数组，步骤S2包括以下步骤：S201：获取在给定的采集时间内按照采集频率采集的多个单帧图像；S202：采用步骤S101对采集到的所有单帧图像都计算起始时刻头部旋转的角度的欧拉角的大小，得出一个按照时序依次排列的向量ω＝(ω1,ω2,…,ωi,…,ω30t)且t＝1,2,3,…；其中t为单帧图像采集的时序编号；S204：采用步骤S102判断向量ω中的每个元素的人脸朝向，得出人脸朝向数组r＝(r1,r2,…,ri,…,r30t)且t＝1,2,3,…,ri＝0,1,2。优选地，人脸朝向结果集还包括角度差值数组，在步骤S204完成后，步骤S2包括以下步骤：S205：计算向量ω中的每个元素与起始时刻ω值的差值绝对值d的大小，d＝||ω-ωi||，并保存入角度差值数组d＝(d1,d2,…,di,…,d30t)且t＝1,2,3,…，角度差值数组中的元素与人脸朝向数组中的元素一一对应。优选地，在步骤S204进行之前，步骤S2还包括以下步骤：S203：判断当前单帧图像当前时刻是否已经超出给定采集时间的长度阀值，如果否，进入步骤S204。优选地，指令结果，包括转动朝向，转动朝向包括正面、朝左及朝右，步骤S3包括以下步骤：S301：如果起始人脸朝向为正面，遍历人脸朝向结果集中的后续值，如果后续值都是正面则指令结果为正面；如果遍历时出现的第一个不为正面的值是朝左则判断指令结果为朝左，如果遍历时出现的第一个不为正面的值是朝右则判断指令结果为朝右；S302：如果起始人脸朝向为朝左，遍历人脸朝向结果集中的后续值，直到出现第一个不是朝左的值，如果这个值为正面，则继续遍历；如果继续遍历出现的值为朝右则判断指令结果为朝右；如果只有正面和朝左那么统计后续值分别为正面和朝左的数量，如果朝左的数量
多那么判断指令结果为朝左；反之结果为朝右；如果没有非值是朝左的其他值，则指令结果为正面；S303：如果起始人脸朝向为朝右，遍历人脸朝向结果集中的后续值，直到出现第一个不是朝右的值，如果这个值为正面，则继续遍历；如果继续遍历出现的值为朝左则判断指令结果为朝左；如果只有正面和朝右那么统计后续值分别为正面和朝右的数量，如果朝右的数量多那么结果为朝右，反之结本文档来自技高网...

【技术保护点】
一种基于灵敏度参数的人脸朝向识别方法，其特征在于，包括以下步骤：S1：对采集到的单帧图像逐一进行静态人脸朝向识别，根据人脸旋转的角度大小判断所述单帧图像的人脸朝向是正面、朝左还是朝右；S2：在给定的采集时间内，对采集到的所有单帧图像都进行静态人脸朝向识别，得出一个按照时序依次排列的人脸朝向结果集；S3：对所述人脸朝向结果集进行过程分析，识别指令意图，得出人脸朝向过程给出的指令结果。

【技术特征摘要】
1.一种基于灵敏度参数的人脸朝向识别方法，其特征在于，包括以下步骤：S1：对采集到的单帧图像逐一进行静态人脸朝向识别，根据人脸旋转的角度大小判断所述单帧图像的人脸朝向是正面、朝左还是朝右；S2：在给定的采集时间内，对采集到的所有单帧图像都进行静态人脸朝向识别，得出一个按照时序依次排列的人脸朝向结果集；S3：对所述人脸朝向结果集进行过程分析，识别指令意图，得出人脸朝向过程给出的指令结果。2.根据权利要求1所述的人脸朝向识别方法，其特征在于，所述步骤S1包括以下步骤：S101：对采集到的单帧图像，获取头部原点四元数，采用如下公式计算起始时刻头部旋转的角度的欧拉角的大小：其中，四元数是由实数w加上三个虚数单位i,j,k组成的超复数，表示为w+xi+yj+zk，其中i的旋转代表X轴与Y轴相交平面中X轴正向向Y轴正向的旋转，j旋转代表Z轴与X轴相交平面中Z轴正向向X轴正向的旋转，k旋转代表Y轴与Z轴相交平面中Y轴正向向Z轴正向的旋转，-i、-j、-k分别代表i、j、k旋转的反向旋转；S102：根据欧拉角中ω值大小，判断人脸朝向：如果起始时刻ω大于左灵敏度阈值，判断起始人脸朝向为朝左；如果起始时刻ω处于左灵敏度阈值与右灵敏度阈值之间或者等于左灵敏度阈值与右灵敏度阈值时，判断起始人脸朝向为正面；如果起始时刻ω小于右灵敏度阈值，判断起始人脸朝向为朝右；S103：记录人脸朝向状态。3.根据权利要求2所述的人脸朝向识别方法，其特征在于，在所述步骤S102中，所述左灵敏度阈值为0或者根据用户动作习惯设置的第一定值；所述右灵敏度阈值为0或者根据用户动作习惯设置的第二定值。4.根据权利要求3所述的人脸朝向识别方法，其特征在于，所述人脸朝向结果集包括人脸朝向数组，所述步骤S2包括以下步骤：S201：获取在给定的采集时间内按照采集频率采集的多个单帧图像；S202：采用步骤S101对采集到的所有单帧图像都计算起始时刻头部旋转的角度的欧拉角的大小，得出一个按照时序依次排列的向量ω＝(ω1,ω2,…,ωi,…,ω30t)且
\tt＝1,2,3,…；其中t为所述单帧图像采集的时序编号；S204：采用步骤S102判断向量ω中的每个元素的人脸朝向，得出人脸朝向数组r＝(r1,r2,…,ri,…,r30t)且t＝1,2,3,…,ri＝0,1,2。5.根据权利要求4所述的人脸朝向识别方法，其特征在于，所述人脸朝向结果集还包括角度差值数组，在所述步骤S204完成后，所述步骤S2包...

【专利技术属性】
技术研发人员：刘辉，李燕飞，张雷，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43