【技术实现步骤摘要】
本专利技术涉及人脸识别相关，具体为一种基于人脸识别系统的人物关系挖掘系统及方法。
技术介绍
1、人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术，用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。
2、传统的人脸识别系统难以根据人物的社会活动来识别查找与目标人物存在关系的其他人物，这类工作大都需要技术人员通过经验判断，效率较低，而现有的相关智能系统，如中国专利cn106980844a一种基于人脸识别系统的人物关系挖掘系统及方法，通过人物距离及其他单一标准来筛选关联人物，筛选准确度较低。
3、因此，我们推出了一种基于人脸识别系统的人物关系挖掘系统及方法。
技术实现思路
1、本专利技术的目的在于提供一种基于人脸识别系统的人物关系挖掘系统及方法，以解决上述背景中所提出现有的人物关系挖掘系统及方法筛选效率和准确度较低的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种基于人脸识别系统的人物关系挖掘系统及方法，所述系统包括：素材采集模块、人脸质量优选模块、人脸识别模块、人脸查找模块、视线定位模块、数据处理模块和数据储存模块；
3、所述素材采集模块为以摄像头为代表的视频采集装置，用于采集人物关系挖掘用的视频素材；
4、所述人脸质量优选模块用于在大量图片或者视频素材中筛选出可以用于人脸识别的高质量人脸，以减少人脸识别模块的工作量，提高人脸识别
5、所述人脸识别模块用于识别并提取图片或者视频素材中的人脸并与数据储存模块中存储的人脸进行比对查找；
6、所述人脸查找模块用于根据人脸识别模块提取的人脸特征数据在视频中查找相同人脸所在视频片段；
7、所述视线定位模块用于对视频中目标人物的视线进行跟踪定位；
8、所述数据处理模块用于查找统计图片或者视频素材中目标人物出现次数和在视频中出现的位置，同时对所有和目标人物出现在同一图片或者同一视频中的人物进行数据统计。
9、进一步地，所述人脸质量优选模块包括抽帧采集模块、特征提取模块和质量评估模块，所述抽帧采集模块在目标人物出现过的视频片段中抽取一定的帧数截图，用来作为人脸识别的备选素材，所述特征提取模块可以提取备选素材中的人脸特征矢量数据，然后通过质量评估模块对备选素材的人脸质量进行评估打分，并筛选出图片人脸质量评分达到预定分数的图片供人脸识别模块进行人脸识别。
10、进一步地，所述抽帧采集模块基于matlab，从视频素材中每秒抽取一桢保存为图片。
11、进一步地，所述特征提取模块通过图片提取图片的人脸特征，人脸特征包括面部遮挡、面部表情、面部分布比例、人脸姿态以及人脸位置分布，所述质量评估模块通过多种人脸特征进行分别打分，并根据面部遮挡、面部表情、面部分布比例、人脸姿态以及人脸位置分布的得分求取加权平均分，所述面部遮挡的和人脸姿态的权数均为0.25，所述面部表情和面部分布比例的权数为0.2，所述人脸位置分布的权数为0.1，综合各项分数得到图片人脸的质量分根据质量分选择人脸质量最佳的图片进行人脸识别。
12、进一步地，视线定位模块通过对视频进行分析，在目标人物双眼上方56°、下方74°、左右各60°以内的区域设立警戒标记区域，所述警戒标记区域随目标人物头部转动，所有处于警戒标记区域内的人物均会被标记。
13、本专利技术提供另一种技术方案，一种基于人脸识别系统的人物关系挖掘方法，所述方法包括：
14、s1.素材获取：通过素材采集模块来获取人脸识别所需的视频素材；
15、s2.人脸质量评分：抽取一组目标人物出现过的视频片段，通过人脸质量优选模块中的抽帧采集模块在视频素材中目标人出现过的视频片段中每隔一秒提取出一帧画面截图，然后通过特征提取模块提取画面中的人脸数据，并通过质量评估模块根据面部遮挡、面部表情、面部分布比例、人脸姿态以及人脸位置分布对人脸进行综合评分；
16、s3.目标人物检索：取s2中综合评分最高的人脸图像进行人脸识别，得到目标人的人脸特征信息，然后通过抽帧采集模块对所有待处理的视频素材每隔一秒抽取一帧画面，最后根据特征提取模块提取的人脸特征数据通过人脸查找模块在抽取的帧画面中检索查找目标人脸，检索到所有视频素材中目标人物出现过的画面片段；
17、s4.密接人物筛选：通过人脸识别模块对目标人物出现过的画面片段内的所有其他密接人物进行人脸识别，并通过人脸查找模块对密接人物进行检索，然后通过数据处理模块筛选出所有目标人物与密接人物共存的画面片段，并存储在数据储存模块中，然后通过数据处理模块对所有密接人物与目标人物共存的画面片段进行统计，并根据共存画面片段时长由高到低进行排序，并输出密接时长排序表格；
18、s5.潜在相关人物筛选：通过视线定位模块跟踪目标人物视线，并将所有处在目标人物视线内的人物标记为潜在相关人物，然后之后通过人脸识别模块对潜在相关人物进行人脸识别，并通过人脸查找模块对所有潜在相关人物进行检索，然后通过数据处理模块筛选出所有目标人物与潜在相关人物共存的画面片段，然后通过视线定位模块对所有潜在相关人物的实现进行追踪，并标记出所有视线与目标人物有过接触的潜在相关人物，根据视线接触时间由高到低进行排列，输出潜在相关人物相关度排序表格；
19、s6.人物关系综合评定：通过数据处理模块对s4输出的密接时长排序表格和s5输出的潜在相关人物相关度排序表格进行综合评定排序，得到人物关联度排序表格。
20、进一步地，所述步骤4和步骤5中，在筛选目标人物与潜在相关人物共存的画面片段时，通过人脸质量优选模块中的抽帧采集模块对视频素材每秒抽取一帧画面，并记录帧序号，然后通过人脸查找模块对抽取的帧画面中的人物进行识别查找，并记录所有目标人物与潜在相关人物共存的帧序号，将帧序号进行排列，按连贯的帧序号的首尾位置在原视频素材中截取相关片段存储在数据储存模块中作为人物关系挖掘筛选素材。
21、进一步地，所述步骤4和步骤5中对密接人物和潜在相关人物进行人脸识别时同样参照步骤2进行人脸质量评分，采用人脸质量分最高的帧画面进行人脸识别。
22、进一步地，所述步骤4中对密接人物进行密接时长筛选和步骤5中对潜在相关人物进行视线接触时长筛选时，都先后通过人脸查找模块分别以目标人物和密接人物或者潜在相关人物为中心进行两次查找筛选，并结合两次筛选结果提供视频素材进行密接时长统计和视线追踪处理。
23、进一步地，所述步骤6中对s4输出的密接时长排序表格和s5输出的潜在相关人物相关度排序表格进行综合评定排序时，根据密接时常排序对密接时长排序表格中的密接人员进行由高到低的等差赋分，同时对潜在相关人物相关度排序表格中的潜在相关人物根据视线接触时间排序从高到低进行等差赋分，然后计算两次赋分的平均值并重新排序。
24、与现有技术相比，本专利技术本文档来自技高网...
【技术保护点】
1.一种基于人脸识别系统的人物关系挖掘系统，其特征在于：所述系统包括：素材采集模块(1)、人脸质量优选模块(2)、人脸识别模块(3)、人脸查找模块(4)、视线定位模块(5)、数据处理模块(6)和数据储存模块(7)；
2.如权利要求1所述的一种基于人脸识别系统的人物关系挖掘系统，其特征在于：所述人脸质量优选模块(2)包括抽帧采集模块(201)、特征提取模块(202)和质量评估模块(203)，所述抽帧采集模块(201)在目标人物出现过的视频片段中抽取一定的帧数截图，用来作为人脸识别的备选素材，所述特征提取模块(202)可以提取备选素材中的人脸特征矢量数据，然后通过质量评估模块(203)对备选素材的人脸质量进行评估打分，并筛选出图片人脸质量评分达到预定分数的图片供人脸识别模块(3)进行人脸识别。
3.如权利要求2所述的一种基于人脸识别系统的人物关系挖掘系统，其特征在于：所述抽帧采集模块(201)基于Matlab，从视频素材中每秒抽取一桢保存为图片。
4.如权利要求2所述的一种基于人脸识别系统的人物关系挖掘系统，其特征在于：所述特征提取模块(202)通
5.如权利要求1所述的一种基于人脸识别系统的人物关系挖掘系统，其特征在于：视线定位模块(5)通过对视频进行分析，在目标人物双眼上方56°、下方74°、左右各60°以内的区域设立警戒标记区域，所述警戒标记区域随目标人物头部转动，所有处于警戒标记区域内的人物均会被标记。
6.一种基于人脸识别系统的人物关系挖掘方法，其特征在于，所述方法包括：
7.如权利要求6所述的一种基于人脸识别系统的人物关系挖掘方法，其特征在于：所述步骤4和步骤5中，在筛选目标人物与潜在相关人物共存的画面片段时，通过人脸质量优选模块(2)中的抽帧采集模块(201)对视频素材每秒抽取一帧画面，并记录帧序号，然后通过人脸查找模块(4)对抽取的帧画面中的人物进行识别查找，并记录所有目标人物与潜在相关人物共存的帧序号，将帧序号进行排列，按连贯的帧序号的首尾位置在原视频素材中截取相关片段存储在数据储存模块(7)中作为人物关系挖掘筛选素材。
8.如权利要求6所述的一种基于人脸识别系统的人物关系挖掘方法，其特征在于：所述步骤4和步骤5中对密接人物和潜在相关人物进行人脸识别时同样参照步骤2进行人脸质量评分，采用人脸质量分最高的帧画面进行人脸识别。
9.如权利要求6所述的一种基于人脸识别系统的人物关系挖掘方法，其特征在于：所述步骤4中对密接人物进行密接时长筛选和步骤5中对潜在相关人物进行视线接触时长筛选时，都先后通过人脸查找模块(4)分别以目标人物和密接人物或者潜在相关人物为中心进行两次查找筛选，并结合两次筛选结果提供视频素材进行密接时长统计和视线追踪处理。
10.如权利要求6所述的一种基于人脸识别系统的人物关系挖掘方法，其特征在于：所述步骤6中对S4输出的密接时长排序表格和S5输出的潜在相关人物相关度排序表格进行综合评定排序时，根据密接时常排序对密接时长排序表格中的密接人员进行由高到低的等差赋分，同时对潜在相关人物相关度排序表格中的潜在相关人物根据视线接触时间排序从高到低进行等差赋分，然后计算两次赋分的平均值并重新排序。
...【技术特征摘要】
1.一种基于人脸识别系统的人物关系挖掘系统，其特征在于：所述系统包括：素材采集模块(1)、人脸质量优选模块(2)、人脸识别模块(3)、人脸查找模块(4)、视线定位模块(5)、数据处理模块(6)和数据储存模块(7)；
2.如权利要求1所述的一种基于人脸识别系统的人物关系挖掘系统，其特征在于：所述人脸质量优选模块(2)包括抽帧采集模块(201)、特征提取模块(202)和质量评估模块(203)，所述抽帧采集模块(201)在目标人物出现过的视频片段中抽取一定的帧数截图，用来作为人脸识别的备选素材，所述特征提取模块(202)可以提取备选素材中的人脸特征矢量数据，然后通过质量评估模块(203)对备选素材的人脸质量进行评估打分，并筛选出图片人脸质量评分达到预定分数的图片供人脸识别模块(3)进行人脸识别。
3.如权利要求2所述的一种基于人脸识别系统的人物关系挖掘系统，其特征在于：所述抽帧采集模块(201)基于matlab，从视频素材中每秒抽取一桢保存为图片。
4.如权利要求2所述的一种基于人脸识别系统的人物关系挖掘系统，其特征在于：所述特征提取模块(202)通过图片提取图片的人脸特征，人脸特征包括面部遮挡、面部表情、面部分布比例、人脸姿态以及人脸位置分布，所述质量评估模块(203)通过多种人脸特征进行分别打分，并根据面部遮挡、面部表情、面部分布比例、人脸姿态以及人脸位置分布的得分求取加权平均分，所述面部遮挡的和人脸姿态的权数均为0.25，所述面部表情和面部分布比例的权数为0.2，所述人脸位置分布的权数为0.1，综合各项分数得到图片人脸的质量分根据质量分选择人脸质量最佳的图片进行人脸识别。
5.如权利要求1所述的一种基于人脸识别系统的人物关系挖掘系统，其特征在于：视线定位模块(5)通过对视频进行分析，在目标人物双眼上方56°、下方74°、左右各6...
【专利技术属性】
技术研发人员：陈丹，刘靖峰，
申请(专利权)人：江苏日颖慧眼智能设备有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。