人脸比对方法技术

本发明专利技术涉及一种人脸比对方法，包括：对视频流每一帧中的人脸图像进行特征提取，得到所述人脸图像的特征向量；将同一帧中所有特征向量与当前帧中存储的人脸轨迹进行匹配，匹配后每一特征向量所属的人脸图像对应有一个Track ID；对每一帧中每张人脸图像进行索引，得到对应所述人脸图像的多个Match ID；根据所有帧中人脸图像的Track ID和Match ID进行人脸图像匹配比对，得到所述人脸图像的匹配比对结果。本发明专利技术中，克服了单张人脸图片数据库比对决策的片面性，提升了最终的人脸比对准确率。

Face matching method

The invention relates to a method for face recognition, including: video stream on the face images in each frame feature extraction, feature vector of the face image; all the feature vectors in the same frame and face trace is stored in the current frame matching, matching each feature vector corresponding to the face image the genus has a Track ID; index of each face image in each frame, corresponding to the plurality of Match ID face image; face image matching on all frames according to face images of Track ID and Match ID, get the matching results of face image. The invention overcomes the unilateralism of the single face picture database comparison and improves the accuracy of the final face matching.

【技术实现步骤摘要】
人脸比对方法
本专利技术涉及人脸识别
，尤其涉及一种人脸比对方法。
技术介绍
现有人脸比对方法通常是对一张人脸图片提取特征，然后去人脸特征库中进行一一匹配，找到与其相似的一张或者若干张人脸图片；或者利用持续的人脸检测方法获取一张人脸的多张图片，提取特征，然后去人脸特征库进行多次比对和查询，然后设计一定的策略给出人脸比对结果，但这种情况一般是在人员配合状态下，与摄像头处于相对静止和正面的状态，如人脸打卡器、智能门禁等。然而，对于上述两种人脸比对方法而言，均具有一定的缺陷存在。对于第一种方式，其通过利用单张人脸图片对人脸的特征描述具有偶然性，特别是人脸在运动过程中可能具有较大的姿态变化，而且人脸本身具有三维空间的多角度信息，因此仅凭单张人脸图片提取出的特征很难保证得出准确的比对信息；对于第二种方式，其持续的人脸检测对计算资源消耗较大，如果出现非配合情况下的人脸检测，如人员移动等情况，则需要加上人脸跟踪算法，所需要的计算资源更多；更困难的情况是，如果在多张人脸共存的拥挤场景中，还需要采用多目标跟踪的方法，才能保证对每张人脸有效的跟踪；再加上这种多人脸图片的情况下需要对多张人脸图片进行提取特征，进而进行比对，对计算资源的消耗将会更大，因此在实际使用中，此种框架很难取得较好的实时性。
技术实现思路
为了解决现有技术中的上述问题，即为了实现更加精准的人脸比对，本专利技术提供了一种人脸比对方法，包括：对视频流每一帧中的人脸图像进行特征提取，得到所述人脸图像的特征向量；将同一帧中所有特征向量与当前帧中存储的人脸轨迹进行匹配，匹配后每一特征向量所属的人脸图像对应有一个TrackID；对每一帧中每张人脸图像进行索引，得到对应所述人脸图像的多个MatchID；根据所有帧中人脸图像的TrackID和MatchID进行人脸图像匹配比对，得到所述人脸图像的匹配比对结果。优选地，利用深度神经网络对所述人脸图像进行特征提取。优选地，在视频流每一帧中的人脸图像进行特征提取之前，还包括：对视频流每一帧中出现的人脸分别进行人脸位置检测，输出对应各人脸位置的人脸图像。优选地，根据深度特征距离度量矩阵做同一帧中所有特征向量与当前帧中存储的人脸轨迹的匹配。优选地，所述将同一帧中所有特征向量与当前帧中存储的人脸轨迹进行匹配，具体包括：若所述特征向量匹配到人脸轨迹，则所述特征向量所属的人脸图像获取匹配到的人脸轨迹对应的TrackID；若所述特征向量未匹配到人脸轨迹，则为所述特征向量所属的人脸图像生成新的TrackID。优选地，所述对每张人脸图像进行索引，得到对应所述人脸图像的多个MatchID，具体包括：根据人脸图像的特征向量，利用快速索引树策略在多个人脸特征数据库中进行索引，得到与所述人脸图像的特征向量匹配的各人脸特征数据库中人脸图像的MatchID。优选地，所述根据所述人脸图像的TrackID和MatchID进行人脸图像匹配比对，具体包括：获取具有相同TrackID的所有人脸图像以及所述人脸图像对应的所有MatchID，选举出具有最大匹配次数的MatchID作为匹配比对结果。优选地，通过最大投票数决策机制选举出具有最大匹配次数的MatchID作为匹配比对结果与现有技术相比，本专利技术至少具有以下优点：通过本专利技术中的人脸比对方式设计，克服了单张人脸图片数据库比对决策的片面性，实现了更加精准的人脸比对。附图说明图1是本专利技术提供的人脸比对方法的流程示意图。具体实施方式下面参照附图来描述本专利技术的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。多目标跟踪是机器视觉领域的难点问题，特别是对于人脸这种整体外观比较类似的目标，在复杂拥挤场景下对多个人脸目标进行有效跟踪更是难上加难；实验证明，常用的颜色、纹理特征都不能保证对多个人脸目标进行有效区分和跟踪，而通过深度神经网络训练得到的能够表达隐含特征的深度特征更有利于进行人脸跟踪，因此本专利提出了基于更加可靠鲁棒的深度特征的多目标人脸跟踪框架。基于此，在本专利技术中，提供了一种人脸比对方法，如图1所示，具体包括：步骤101，人脸自动检测。对视频流(包括在线实时监控相机的输入或者离线视频文件)中的每一帧进行自动人脸检测，获取其中所有人脸位置，之后输出对应各人脸位置的人脸图像；其中，所获取的人脸位置为一个矩形框。步骤102，人脸图像的特征提取。在本步骤中，利用深度神经网络对人脸图像进行特征提取，得到所述人脸图像的特征向量；在特征提取后，将人脸图像投影到一个特征向量后，得到该人脸图像的特征向量；其中，利用该深度神经网络进行特征提取为现有方式，故具体处理不做阐述。步骤103，人脸轨迹跟踪匹配。将同一帧中所有特征向量与当前帧中存储的人脸轨迹进行匹配，匹配后每一特征向量所属的人脸图像对应有一个TrackID。具体的，若所述特征向量匹配到人脸轨迹，则所述特征向量所属的人脸图像获取匹配到的人脸轨迹对应的TrackID；若所述特征向量未匹配到人脸轨迹，则为所述特征向量所属的人脸图像生成新的TrackID。对于每帧中检测到的人脸图像，与现存的人脸轨迹进行匹配，匹配基于深度特征的度量矩阵；举例说明：如果当前帧检测到N个人脸，当前帧之前存在M个人脸轨迹，那么当前帧的多目标人脸跟踪问题这里可以转化为N个人脸与M个人脸轨迹的匹配问题，这个匹配问题可以通过对深度特征距离度量矩阵的最优指派算法，如匈牙利算法求解获得，具体匹配过程可描述如下：N个人脸中，匹配到现存轨迹的人脸，沿用现存轨迹的TrackID；N个人脸中，没有匹配轨迹的人脸(一般是新出现的人脸)，新生成TrackID；以此保证每帧检测到的人脸，都对应一个TrackID。步骤104，人脸图像索引。对每一帧中每张人脸图像进行索引，得到对应所述人脸图像的多个MatchID；具体的，根据人脸图像的特征向量，利用快速索引树策略在多个人脸特征数据库中进行索引，得到与所述人脸图像的特征向量匹配的各人脸特征数据库中人脸图像的MatchID。因为在实时视频处理中，要对每帧检测到的若干张人脸都要进行数据库的查询，如果是百万级千万级的人脸特征数据库，查询速度会成为系统效率的瓶颈。因此我们对数据库中的人脸深度特征采用快速索引树的策略建立一次性的快速索引树，这种策略相对于通常的排序查询，速度可提升几十倍，进一步保证了系统的实时性；对于每帧检测到的每张人脸，通过快速索引，可以获得与其特征最相似的若干个数据库比对的MatchID。步骤105，人脸图像匹配比对。根据所有帧中人脸图像的TrackID和MatchID进行人脸图像匹配比对，得到所述人脸图像的匹配比对结果；具体的，获取具有相同TrackID的所有人脸图像以及所述人脸图像对应的所有MatchID，选举出具有最大匹配次数的MatchID作为匹配比对结果。基于步骤103和步骤104的操作，对于一张人脸，时序跟踪轨迹上会对应若干张(假定为L)具有同样TrackID的人脸图片，而每张人脸图片，又会对应若干个(假定数量为P)MatchID，这样相对于只有单张人脸图片比对的系统，此系统对于每张人脸的决策，都具有L*P个数据库相似查询结果进行决策支持；选用最大投票数的决策机制，最终选出具有最多匹配次数的人脸数本文档来自技高网...

【技术保护点】
一种人脸比对方法，其特征在于，包括：对视频流每一帧中的人脸图像进行特征提取，得到所述人脸图像的特征向量；将同一帧中所有特征向量与当前帧中存储的人脸轨迹进行匹配，匹配后每一特征向量所属的人脸图像对应有一个Track ID；对每一帧中每张人脸图像进行索引，得到对应所述人脸图像的多个Match ID；根据所有帧中人脸图像的Track ID和Match ID进行人脸图像匹配比对，得到所述人脸图像的匹配比对结果。

【技术特征摘要】
1.一种人脸比对方法，其特征在于，包括：对视频流每一帧中的人脸图像进行特征提取，得到所述人脸图像的特征向量；将同一帧中所有特征向量与当前帧中存储的人脸轨迹进行匹配，匹配后每一特征向量所属的人脸图像对应有一个TrackID；对每一帧中每张人脸图像进行索引，得到对应所述人脸图像的多个MatchID；根据所有帧中人脸图像的TrackID和MatchID进行人脸图像匹配比对，得到所述人脸图像的匹配比对结果。2.根据权利要求1所述的人脸比对方法，其特征在于，利用深度神经网络对所述人脸图像进行特征提取。3.根据权利要求1所述的人脸比对方法，其特征在于，在视频流每一帧中的人脸图像进行特征提取之前，还包括：对视频流每一帧中出现的人脸分别进行人脸位置检测，输出对应各人脸位置的人脸图像。4.根据权利要求1所述的人脸比对方法，其特征在于，根据深度特征距离度量矩阵做同一帧中所有特征向量与当前帧中存储的人脸轨迹的匹配。5.根据权利要求4所述的人脸比对方法，其特征在于，所述将同一帧中所有特征向量与当前帧中存储的...

【专利技术属性】
技术研发人员：袁飞，王灿，
申请(专利权)人：北京中科神探科技有限公司，
类型：发明
国别省市：北京,11