基于移动云台的三维人脸跟踪及表情识别系统技术方案

本发明专利技术提出一种基于移动云台的三维人脸跟踪及表情识别系统，系统包括：数据采集模块、电机伺服控制系统和软件功能模块。所述数据采集模块包括两个摄像头、图像采集卡；所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块。本发明专利技术方案采用两个摄像头捕获左右图像，使用人脸检测、特征匹配实现对人脸区域的三维世界坐标准确定位，从而计算出云台舵机需要移动的角度，保证了全方位无死角的人脸跟踪和表情识别。

3D face tracking and expression recognition system based on mobile platform

This invention proposes a three-dimensional face tracking and facial expression recognition system based on mobile cloud platform. The system includes data acquisition module, motor servo control system and software function module. The data acquisition module includes two cameras and image acquisition cards, and the motor servo control system includes two two degrees of freedom steering gear, step motor and motion control card, and the software function modules include image preprocessing module, face detection module, face tracking module, expression recognition module, and cloud platform control module. System module. The scheme uses two cameras to capture the left and right images, and uses face detection and feature matching to accurately locate the 3D world coordinates of the face area, thus calculating the angle that the cloud platform rudder needs to move, so as to ensure the face tracking and expression recognition of the omni-directional no dead angle.

【技术实现步骤摘要】
基于移动云台的三维人脸跟踪及表情识别系统
本专利技术涉及人机交互领域，具体涉及一种基于移动云台的三维人脸跟踪及表情识别系统。
技术介绍
人脸表情不仅在人与人的交流中发挥着重要的作用，而且是使计算机能够更准确地理解人类表情所表达的意图，实现人机交互的一个重要研究内容。现有的人脸跟踪及表情识别系统大多是针对固定摄像头的视频，使用人脸检测技术和表情识别技术进行人脸跟踪和识别，然而这种类型的系统受限于摄像头的角度和位置，无法获取到正面的人脸表情图像或视频，从而导致识别错误。此外，人脸检测系统往往采用单摄像头进行跟踪，单摄像头难以实现人脸区域的三维位置定位，只能在二维平面内实现定位，对于远处走来的人往往容易丢失跟踪区域。
技术实现思路
本专利技术目的在于克服现有技术的不足，尤其解决现有人脸跟踪及表情识别系统中，受限于摄像头的角度和位置，无法获取到正面的人脸表情图像或视频，从而导致识别错误；以及采用单摄像头进行跟踪，单摄像头难以实现人脸区域的三维位置定位，只能在二维平面内实现定位，对于远处走来的人往往容易丢失跟踪区域的问题。为解决上述技术问题，本专利技术提出一种基于移动云台的三维人脸跟踪及表情识别系统，系统包括：数据采集模块、电机伺服控制系统和软件功能模块，其中：所述数据采集模块包括两个摄像头、图像采集卡；所述摄像头连接于图像采集卡，用于捕获行人视频；所述图像采集卡用于发送指令至摄像头，用于开启、关闭摄像头以及设置摄像头参数，并将捕获视频传输至软件功能模块；所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述舵机云台连接于步进电机，用于实现摄像头的旋转；所述摄像头位于舵机云台上；所述步进电机连接于运动控制卡，所述运动控制卡连接于软件功能模块，用于控制步进电机动作从而实现云台运动；所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块；所述图像预处理模块接收来自数据采集模块的视频数据，经过处理后发送至人脸检测模块；所述人脸检测模块使用注意力选择算法快速检测人脸，并将人脸区域发送至人脸跟踪模块和表情识别模块；所述表情识别模块使用分类器对人脸区域的表情特征进行分类，得到表情类别；所述人脸跟踪模块使用特征匹配方法计算左右摄像头图像的视差，计算出人脸的三维坐标，将人脸区域始终定位到左图像的中心，从而计算得到云台需要转动的角度，实现人脸区域的跟踪。进一步地，所述左侧摄像头位于左侧舵机云台上，右侧摄像头位于右侧舵机云台上；进一步地，所述图像预处理模块包括：图像灰度化、图像均衡化、图像二值化操作；进一步地，所述人脸跟踪模块，使用SIFT特征计算左右摄像头图像的视差。本专利技术与现有技术相比具有以下的有益效果：本专利技术方案采用两个摄像头捕获左右图像，使用人脸检测、特征匹配实现对人脸区域的三维世界坐标准确定位，从而计算出云台舵机需要移动的角度，保证了全方位无死角的人脸跟踪和表情识别。附图说明图1为本专利技术基于移动云台的三维人脸跟踪及表情识别系统的一个实施例的结构图。图2为本专利技术实施例的云台运动角度的示意图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。参见图1，一种基于移动云台的三维人脸跟踪及表情识别系统，系统包括：数据采集模块、电机伺服控制系统和软件功能模块，其中：所述数据采集模块包括两个摄像头、图像采集卡；所述摄像头连接于图像采集卡，用于捕获行人视频；所述图像采集卡用于发送指令至摄像头，用于开启、关闭摄像头以及设置摄像头参数，并将捕获视频传输至软件功能模块；所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述舵机云台连接于步进电机，用于实现摄像头的旋转；所述摄像头位于舵机云台上；所述步进电机连接于运动控制卡，所述运动控制卡连接于软件功能模块，用于控制步进电机动作从而实现云台运动；所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块；所述图像预处理模块接收来自数据采集模块的视频数据，经过处理后发送至人脸检测模块；所述人脸检测模块使用注意力选择算法快速检测人脸，并将人脸区域发送至人脸跟踪模块和表情识别模块；所述表情识别模块使用分类器对人脸区域的表情特征进行分类，得到表情类别；所述人脸跟踪模块使用特征匹配方法计算左右摄像头图像的视差，计算出人脸的三维坐标，将人脸区域始终定位到左图像的中心，从而计算得到云台需要转动的角度，实现人脸区域的跟踪。其中：所述图像预处理模块首先对获取得到左右图像先做图像灰度化操作，该操作是将彩色图像转换为只有一个灰度信息的灰度图像；然后将图像进行均衡化，其目的在于拉伸灰度图像的对比度，使得人脸图像对比明显；最后将图像进行二值化操作，则图像中只存在黑白两色，大大减少了颜色信息，提升计算性能。所述人脸检测模块在注意力选择算法给定的区域下进行人脸检测，在每一帧视频图像中检测是否存在人脸，以及一共包含人脸的个数和人脸中心区域坐标，用人脸检测算法得到人脸目标直接来指导注意力，减少对下一帧图像的检测时间；在使用人脸检测分类器之前需要先使用大量的人脸样本图片和非人脸样本图片进行分类器训练。所述表情识别模块是在人脸区域图像经过图像预处理模块处理后动态实时完成表情识别并输出识别结果，人脸表情特征提取算法的优劣直接关系系统的性能，所以特征提取算法的选择非常重要。为了使系统能够达到所用特征提取算法的最佳性能，在分类器与特征提取算法之间建立一个反馈联系，这样通过分类器的输出结果所产生的参数调整信息就可以反馈给特征提取模块以调整算法参数。不同的算法通过表情识别模块将训练出不同的表情分类器，本实施例中表情识别模块采用小波变换提取人脸表情特征。所述人脸跟踪模块首先提取出左右图像的SIFT特征，然后通过特征匹配得到左右图像的对准点，计算出左右图像的视差，再计算出人脸三维位置P(x,y,z)。参见图2，所述云台跟踪模块得到人脸三维位置P(x,y,z)以及原人脸三维位置P(x1,y1,z1)，根据下式计算出云台的俯角Tilt，云台水平运动的角度Pan以及两个摄像头与目标之间的夹角称为Vergence：其中，B为两个摄像头间的距离长度。本文档来自技高网...

【技术保护点】
1.一种基于移动云台的三维人脸跟踪及表情识别系统，其特征在于，系统包括：数据采集模块、电机伺服控制系统和软件功能模块，其中：所述数据采集模块包括两个摄像头、图像采集卡；所述摄像头连接于图像采集卡，用于捕获行人视频；所述图像采集卡用于发送指令至摄像头，用于开启、关闭摄像头以及设置摄像头参数，并将捕获视频传输至软件功能模块；所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述舵机云台连接于步进电机，用于实现摄像头的旋转；所述摄像头位于舵机云台上；所述步进电机连接于运动控制卡，所述运动控制卡连接于软件功能模块，用于控制步进电机动作从而实现云台运动；所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块；所述图像预处理模块接收来自数据采集模块的视频数据，经过处理后发送至人脸检测模块；所述人脸检测模块使用注意力选择算法快速检测人脸，并将人脸区域发送至人脸跟踪模块和表情识别模块；所述表情识别模块使用分类器对人脸区域的表情特征进行分类，得到表情类别；所述人脸跟踪模块使用特征匹配方法计算左右摄像头图像的视差，计算出人脸的三维坐标，将人脸区域始终定位到左图像的中心，从而计算得到云台需要转动的角度，实现人脸区域的跟踪。...

【技术特征摘要】
1.一种基于移动云台的三维人脸跟踪及表情识别系统，其特征在于，系统包括：数据采集模块、电机伺服控制系统和软件功能模块，其中：所述数据采集模块包括两个摄像头、图像采集卡；所述摄像头连接于图像采集卡，用于捕获行人视频；所述图像采集卡用于发送指令至摄像头，用于开启、关闭摄像头以及设置摄像头参数，并将捕获视频传输至软件功能模块；所述电机伺服控制系统包括两个二自由度的舵机云台、步进电机、运动控制卡；所述舵机云台连接于步进电机，用于实现摄像头的旋转；所述摄像头位于舵机云台上；所述步进电机连接于运动控制卡，所述运动控制卡连接于软件功能模块，用于控制步进电机动作从而实现云台运动；所述软件功能模块包括图像预处理模块、人脸检测模块、人脸跟踪模块、表情识别模块、云台控制模块；所述图像预处理模块接收来自数据采集模块的视频数据，经过处理后发送至人脸检测模块；所述人...

【专利技术属性】
技术研发人员：钟鸿飞，覃争鸣，杨旭，
申请(专利权)人：广州映博智能科技有限公司，
类型：发明
国别省市：广东,44