一种人脸位置跟踪方法、装置和电子设备制造方法及图纸

本申请提供一种人脸位置跟踪方法、装置及电子设备。所述方法包括：获取当前帧图片的人脸区域；根据所述当前帧图片的人脸区域确定所述当前帧图片的下一帧图片中人脸出现的预测区域；在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；检测所述下一帧图片的人脸区域；基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。利用本申请中各个实施例，可以在强光线干扰、人脸快速移动等复杂场景中准确定位跟踪出帧图片中的人脸区域，提高人脸跟踪效果，提高用户使用体验。

Method, device and electronic device for tracking human face position

The present invention provides a face position tracking method, a device and an electronic device. The method includes: the face region of the current frame image; according to the forecast of regional face appeared a picture under the current frame image of the current frame to determine the face region of the image; in the prediction of regional search and the face region similarity reaches the preselected area for a predetermined first face region; detection of the next frame image; the detection results face region the first preselected region and the next frame based on pictures, determine the location of the face tracking results under a frame image according to preset selection rules. Use this application in various embodiments, can accurately locate the face region in the picture frame tracking in strong light interference, fast moving face in complex scenes, improve the face tracking effect, improve the user experience.

【技术实现步骤摘要】
一种人脸位置跟踪方法、装置和电子设备
本申请属于图像信息数据处理领域，尤其涉及一种人脸位置跟踪方法、装置和电子设备。
技术介绍
人脸跟踪通常可以指在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程。一直以来，人脸跟踪在图像分析与识别、图像监控与检索、即时视频通信等领域都具有重大意义和广泛应用。一般的，所述的人脸跟踪的处理过程可以主要包括在视频中找到人脸的位置，在视频拍摄时期，当人脸移动时，可以根据特定的算法例如粒子偏移、Meanshift(均值偏移)等跟踪出人脸在视频的具体位置。目前现有技术中主要采用的人脸跟踪方法的处理过程包括：对每一帧图片做人脸检测，即可以认为每一帧为单独的一张图片，然后对每帧图片做人脸检测，从而计算得到每一帧图片中人脸的位置。而在实际的应用中，例如用户用手机前置摄像头进行自拍的过程中，往往由于光线或者场景的突然变化、强光或测光的干扰、人脸的快速移动等造成人脸跟踪丢失或者检测错误的问题。这样往往会导致用户视频监测、视频通话等使用过程中出现人脸跟踪画面不连续，不能达到实时流畅跟踪的效果，大大降低了用户体验，尤其是在处理性能较低的终端设备中表现的更为明显。当然，现有技术中的人脸跟踪方法也难以满足对人脸跟踪要求较高的用户的需要。现有技术中的人脸跟踪方法，尤其是在光线变化强烈、光线干扰、人脸快速移动等复杂场景中仍然存在人脸跟踪丢失或错误的问题，导致视频画面中人脸图片模糊、人脸跟踪画面不连续等，降低了人脸检测和跟踪的效果和用户的使用体验。
技术实现思路
本申请目的在于提供一种人脸位置跟踪方法、装置和电子设备，可以在光线变化强烈、光线干扰、人脸快速移动等复杂场景中较准确定位出帧图片中的人脸区域，提高人脸跟踪效果。同时解决了人脸跟踪丢失的问题，达到较为流程的人脸位置跟踪效率，提高用户使用体验。本申请提供的一种人脸位置跟踪方法、装置和电子设备是这样实现的：一种人脸位置跟踪方法，所述方法包括：获取当前帧图片的人脸区域；根据所述当前帧图片的人脸区域确定所述当前帧图片的下一帧图片中人脸出现的预测区域；在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；检测所述下一帧图片的人脸区域；基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。一种人脸位置跟踪装置，所述装置包括：检测模块，用于检测帧图片的人脸区域；预测区域计算模块，用于根据所述检测模块检测出的当前帧图片的人脸区域计算所述当前帧图片的下一帧图片中人脸出现的预测区域；预选区域计算模块，用于在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；跟踪结果选取模块，用于基于所述第一预选区域和所述检测模块对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。一种人脸位置跟踪的电子设备，所述电子设备被设置成，包括：信息获取单元，用于获取待处理的帧图片；处理单元，用于检测所述帧图片的人脸区域；还用于根据检测出的当前帧图片的人脸区域计算所述当前帧图片的下一帧图片中人脸出现的预测区域，并在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；还用于基于所述第一预选区域和所述检测模块对所述当前帧图片的下一帧图片人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果；显示单元，用于显示所述处理单元得到的人脸位置跟踪结果。本申请提供的人脸位置跟踪方法、装置和电子设备，可以根据当前帧图片中的人脸区域预测下一帧图片中人脸出现的预测区域的范围。然后可以在所述预测区域的范围内找到与前一帧图片的人脸区域相似度达到预定要求(例如相似度最高)的人脸区域的预选区域。这样，在所述当前帧的下一帧图片中可以获取根据上一帧图片根据得到的预选人脸的信息。进一步的，本申请方案中可以检测所述下一帧图片的人脸区域，如果在所述下一帧图片中检测不到人脸区域，则可以使用根据上一帧计算得到的预选区域作为所述下一帧的人脸区域。如果可以检测到人脸区域，则所述下一帧图片的至少两个人脸区域，然后可以根据预先设置的选取规则选取符合要求的人脸区域作为所述下一帧图片最终的人脸位置跟踪的结果。因此，在本申请中，即使发生光线突变等复杂场景导致当前帧检测不到人脸区域，也可以使用基于上一帧的人脸区域预测的得到的预选区域定位跟踪人脸位置，保障了人脸检测、跟踪的连续性，提高人脸检测和跟踪效果，以及用户使用人脸跟踪的使用体验。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请所述一种人脸位置跟踪方法一种实施例的方法流程图；图2是根据当前帧图片的人脸区域确定下一帧图片中人脸出现的预测区域的示意图；图3是本申请在所述预测区域匹配查找到的第一预选区域的示意图；图4是本申请提供的一种确定人脸位置跟踪结果的选取场景示意图；图5是本申请实施例中进一步查找所述第二预选区域的示意图；图6是本申请所述人脸位置跟踪装置一种实施例的模块结构示意图；图7是本申请提供的所述预选区域计算模块一种实施例的模块结构示意图；图8是本申请所述预选区域计算模块另一种实施例的模块结构示意图；图9是本申请提供的跟踪结果选取模块一种实施例的模块结构示意图；图10是本申请所述人脸位置跟踪的电子装置的一种实施例的结构示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。下面结合附图对本申请所述的基础数据处理方法进行详细的说明。图1是本申请所述一种人脸位置跟踪方法一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述的方法的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的本申请提供的一种人脸位置跟踪方法的一种实施例如图1所示，所述方法可以包括：S1：获取当前帧图片中人脸区域。一般的，人脸位置跟踪多用于利用摄像装置拍摄的视频流信息处理中，例如监控设备，或者用户使用手机摄像头视频拍摄等。本申请提供的人脸位置跟踪方法可以包括但不限于视频流的信息处理，在其他的一些跟踪图像序列中人脸位置的应用场景中连续图画或电影胶片数字信息中的人脸跟踪等仍然可以使用本申请方案。为便于清楚的描述本申请方案，本实施例中可以以用户使用手机前置摄像头进行自拍的应用场景进行说明。在本实施例中，可以先获取当前视频当前帧图片中的人脸区域。具体的可以在视本文档来自技高网...

【技术保护点】
一种人脸位置跟踪方法，其特征在于，所述方法包括：获取当前帧图片的人脸区域；根据所述当前帧图片的人脸区域确定所述当前帧图片的下一帧图片中人脸出现的预测区域；在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；检测所述下一帧图片的人脸区域；基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。

【技术特征摘要】
1.一种人脸位置跟踪方法，其特征在于，所述方法包括：获取当前帧图片的人脸区域；根据所述当前帧图片的人脸区域确定所述当前帧图片的下一帧图片中人脸出现的预测区域；在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；检测所述下一帧图片的人脸区域；基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。2.如权利要求1所述的一种人脸位置跟踪方法，其特征在于，所述在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域包括：按照第一移动步长遍历所述预测区域，获取所述人脸区域的比对区域；计算得到所述人脸区域与比对区域的相似度；将所述下一帧图片中相似度达到预定要求的比对区域作为所述下一帧图片的第一预选区域。3.如权利要求2所述的一种人脸位置跟踪方法，其特征在于，利用下述公式计算所述人脸区域与所述比对区域的相似度：minX＝max(-leftori,-leftdes)maxX＝max(width-leftori,width-leftdes)minY＝max(-topori,-topdes)maxY＝max(height-topori,height-topdes)effctiveNum＝[min(width,maxX)-max(1,minX)]*[min(height,maxX)-max(1,minY)]dis＝sumDis*(width*height)/effctiveNum上述公式中，leftori、leftdes、topori、topdes分别表示为所述人脸区域的左边界位置、当前比对区域的左边界位置、所述人脸区域的上边界位置、当前比对区域的上边界位置；width表示为所述人脸区域的宽度，height表示为所述人脸区域的高度，f(i，j)表示为所述当前帧图片人脸区域中坐标为(i，j)像素点的灰度值，g(i，j)表示为所述下一帧图片比对区域中坐标为(i，j)像素点的灰度值；x表示为设置的经验阈值，dis为所述人脸区域与所述比对区域的相似度。4.如权利要求2所述的一种人脸位置跟踪方法，其特征在于，所述相似度达到预定要求的比对区域包括：所述下一帧图片的比对区域中相似度的值最大的比对区域。5.如权利要求2所述的一种人脸位置跟踪方法，其特征在于，所述第一移动步长的取值范围为大于或等于两个像素点。6.如权利要求2至5中任意一项所述的一种人脸位置跟踪方法，其特征在于，所述方法还包括：在所述第一预选区域周围的第二步长范围内查找与所述人脸区域相似度最高的第二预选区域，所述第二步长的取值小于所述第一步长；相应的，所述基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果包括：基于所述第二预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果。7.如权利要求1所述的一种人脸位置跟踪方法，其特征在于，所述基于所述第一预选区域和所述下一帧图片的人脸区域的检测结果，按照预设的选取规则确定所述下一帧图片的人脸位置跟踪结果包括：所述下一帧图片的人脸区域的检测结果为未检测到人脸区域时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；检测出的所述下一帧图片的人脸区域与所述第一预选区域的重合系数为0时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；检测出的所述下一帧图片的人脸区域与所述第一预选区域的重合系数小于预定阀值时，以所述第一预选区域作为所述下一帧图片的人脸位置跟踪结果；检测出的所述下一帧图片的人脸区域与所述第一预选区域的重合系数大于或等于预定阀值时，以所述检测出的所述下一帧图片的人脸区域作为所述下一帧图片的人脸位置跟踪结果。8.如权利要求1所述的一种人脸位置跟踪方法，其特征在于，所述的获取当前帧图片的人脸区域包括：在检测出当前帧图片中至少存在两组人脸时，选取所述当前帧中图片面积最大的人脸对应的区域作为所述当前帧图片的人脸区域。9.一种人脸位置跟踪装置，其特征在于，所述装置包括：检测模块，用于检测帧图片的人脸区域；预测区域计算模块，用于根据所述检测模块检测出的当前帧图片的人脸区域计算所述当前帧图片的下一帧图片中人脸出现的预测区域；预选区域计算模块，用于在所述预测区域内查找与所述人脸区域相似度达到预定要求的第一预选区域；跟踪结果选取模块，用于基于所述第...

【专利技术属性】
技术研发人员：王楠，杜志军，张宇，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY