人脸抠图图片的优选方法及装置制造方法及图纸

本发明专利技术公开了一种人脸抠图图片的优选方法及装置，其中，该方法包括：对视频原图进行人脸检测，得到多个人脸框坐标；根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。本发明专利技术能够筛选出人脸比较正，人脸面积较大以及人脸位置比较居中的图片，能够提升抠图效果。

Optimal Method and Device for Face Matching Pictures

【技术实现步骤摘要】
人脸抠图图片的优选方法及装置
本专利技术涉及图像处理
，尤其涉及一种人脸抠图图片的优选方法、装置、终端及可读存储介质。
技术介绍
在监控或抓拍视频中，通常采用人脸抠图技术从视频帧序列的图像中抠出人脸图片。由于视频中行人的状态不断变化，视频中人脸的位置也会不断变化，在白天场景下进行人脸抓拍抠图时，人脸抠图的图片容易出现脸不正的问题。另外，由于行人移动至不同位置时，行人人脸的大小及位置也各不相同，经过人脸抠图的人脸图片有的比较小，有的比较靠近监控画面的边框，导致人脸抠图的效果较差。有鉴于此，有必要提出对目前的人脸抠图技术进行进一步的改进。
技术实现思路
为解决上述至少一技术问题，本专利技术的主要目的是提供一种人脸抠图图片的优选方法、装置、终端及可读存储介质。为实现上述目的，本专利技术采用的第一个技术方案为：提供一种人脸抠图图片的优选方法，包括：对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标；根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。其中，所述根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点，包括：在检测出多个人脸框坐标后，从视频原图上抠出人脸图片；将人脸图片以居中形式填充成指定形状并缩小到设定分辨率；利用nnie神经网络加速引擎对缩小的人脸图片进行处理，并根据深度学习神经网络算法检测出多个人脸关键点。其中，所述根据人脸关键点计算出人脸角度评分，包括：在检测出的多个人脸关键点中，选定一人脸关键点作为起点，剩下的关键点作为终端，连接起点与多个终点后得到多组向量，并计算相邻两组向量之间的夹角；根据标准正脸的多个关键点得到多个标准向量，并计算出相邻两组标准向量之间的夹角；根据相邻两组向量之间的夹角与对应相邻两组标准向量之间的夹角计算出人脸角度评分。其中，所述根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分，包括：根据人脸框坐标算出人脸的宽度高度；根据人脸高度及宽度算出人脸面积；以及将人脸面积除以视频原图面积，计算出人脸面积评分。其中，所述根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分，包括：根据多个人脸的人脸框坐标计算出视频原图的中心点坐标以及人脸中心点坐标；根据中心点坐标计算出每个人脸的人脸中心点到视频原图中心点的距离；对每个人脸中心点到视频原图中心点的距离除以视频原图对角线的长度，得到人脸位置评分。其中，所述根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分，具体为：所述人脸图片总评分为a*人脸角度评分、b*人脸面积评分以及c*人脸位置评分三者之和，其中，a，b，c均为评分系数，a＝10000，b＝100，c＝1。为实现上述目的，本专利技术采用的第二个技术方案为：提供一种人脸抠图图片的优选装置，包括：第一检测模块，用于对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标；第二检测模块，用于根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；计算模块，根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；统计模块，用于根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；确认模块，用于确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。为实现上述目的，本专利技术采用的第三个技术方案为：提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述方法的步骤。为实现上述目的，本专利技术采用的第四个技术方案为：提供一种可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现上述的方法的步骤。本专利技术的技术方案主要采用先对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标，然后根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；以及根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分，根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分，而后根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分，最后确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图，能够筛选出人脸比较正，人脸面积较大以及人脸位置比较居中的图片，能够提升抠图效果。附图说明图1为本专利技术一实施例人脸抠图图片的优选方法的方法流程图；图2为本专利技术一实施例人脸抠图图片的优选装置的模块方框图；图3为本专利技术一实施例终端的内部结构图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明，本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。请参照图1，图1为本专利技术一实施例人脸抠图图片的优选方法的方法流程图。在本专利技术实施例中，该人脸抠图图片的优选方法，包括：步骤S10、对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标；步骤S20、根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；步骤S30、根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；步骤S40、根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；步骤S50、确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。本实施例中的视频帧序列是基于海思hi3559平台上摄像头所捕捉，其视频帧的格式为NV21，视频分辨率为960*540。一个视频帧序列中有多张图片，每一张视频原图均需进行人脸检测，得到多个人脸框坐标。之后再根据人脸框坐标从视频的NV21的960*540原图上扣出人脸图片，数据格式为NV21。根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点。多个人脸关键点可以为左眼中心、右眼中心、本文档来自技高网...

【技术保护点】
1.一种人脸抠图图片的优选方法，其特征在于，所述人脸抠图图片的优选方法，包括：对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标；根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。

【技术特征摘要】
1.一种人脸抠图图片的优选方法，其特征在于，所述人脸抠图图片的优选方法，包括：对视频帧序列的视频原图进行人脸检测，得到多个人脸框坐标；根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点；根据检测出的人脸关键点与标准正脸计算出人脸角度评分，根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分；根据检测出的人脸框坐标位置计算出人脸中心点并与视频原图中心点计算出人脸位置评分；根据人脸角度评分、人脸位置评分以及人脸面积评分计算出人脸图片总评分；确定抓拍间隔内总评分最高的人脸图片，并对人脸图片进行抠图。2.如权利要求1所述的人脸抠图图片的优选方法，其特征在于，所述根据预设人脸部位对人脸区域进行检测，得到多个人脸关键点，包括：在检测出多个人脸框坐标后，从视频原图上抠出人脸图片；将人脸图片以居中形式填充成指定形状并缩小到设定分辨率；利用nnie神经网络加速引擎对缩小的人脸图片进行处理，并根据深度学习神经网络算法检测出多个人脸关键点。3.如权利要求2所述的人脸抠图图片的优选方法，其特征在于，所述根据人脸关键点计算出人脸角度评分，包括：在检测出的多个人脸关键点中，选定一人脸关键点作为起点，剩下的关键点作为终端，连接起点与多个终点后得到多组向量，并计算相邻两组向量之间的夹角；根据标准正脸的多个关键点得到多个标准向量，并计算出相邻两组标准向量之间的夹角；根据相邻两组向量之间的夹角与对应相邻两组标准向量之间的夹角计算出人脸角度评分。4.如权利要求3所述的人脸抠图图片的优选方法，其特征在于，所述根据检测出的人脸框坐标计算出人脸面积并根据人脸面积与视频原图面积计算出人脸面积评分，包括：根据人脸框坐标算出人脸的宽度高度；根据人脸高度及宽度算出人脸面积；以及将人脸面积除以视频原图面积，计算出人脸面积评...

【专利技术属性】
技术研发人员：叶笋，
申请(专利权)人：深圳英飞拓科技股份有限公司，
类型：发明
国别省市：广东,44