一种大视场双目视觉的红外图像考勤方法技术

本发明专利技术公开了一种大视场双目视觉的红外图像考勤方法，该方法利用教室黑板所在墙面两端的双目红外相机对学生图像进行数据采集，然后对左目和右目两幅图像进行拼接，合成教室内的大幅面大视角图像，然后自动对图像中人脸区域部分进行定位，通过特征提取、识别比对等过程完成学生身份的确定，最终实现对学生的考勤。传统的基于可见光图像的考勤方法容易受光照变化、复杂背景等因素影响，导致识别率不高的问题。本方法有效地克服了该问题，对于学生迟到、早退、旷课等情况也可以做到准确记录与统计，提高了课堂考勤的工作效率，节约了节约教师的时间资源，减轻了教师的负担，提高了学校的教学质量，促进了学校校风学风建设。

【技术实现步骤摘要】


本专利技术涉及人脸识别技术，尤其涉及一种大视场双目视觉的红外图像考勤方法。

技术介绍

在高校中，学生的上课出勤率是任课教师给定平时成绩的主要依据。当前我国大多数高校在学生日常考勤工作中主要采用的依然是人工考勤方式或智能卡考勤方式。这些考勤方式虽然能起到一定的作用，但存在的问题也很突出，老师并不认识每一位学生，人工考勤和智能卡考勤均有可能存在冒名顶替和代考勤现象。因此，传统的点名考勤方式不适用于学校的考勤需求。因此，设计一套能解决上述问题的课堂考勤系统，对方便教师课堂考勤，督促学生积极上课，提高教学效率具有重要意义。传统的人脸识别技术主要是基于可见光图像的人脸识别，这也是人们最熟悉的识别方式，已有30多年的研发历史。但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要。

技术实现思路

本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种大视场双目视觉的红外图像人脸识别考勤方法。
本专利技术解决其技术问题所采用的技术方案是：一种大视场双目视觉的红外图像人脸识别考勤方法，包括以下步骤：
1）课堂图像采集：利用设置在教室黑板所在墙面两端的双目红外相机对课堂进行同步数据采集，得到同一场景下的左目图像与右目图像，要求左目图像与右目图像之间有重叠区域；
2）双目图像拼接：对左目图像与右目图像进行拼接；
2.1)对左目图像与右目图像进行几何畸变校正和噪声点的抑制处理，让左目图像与右目图像不存在明显的几何畸变，处理后分别对左目图像与右目图像进行角点提取；
2.2)检测出图像的角点后，利用双向的相似测度NCC算法进行粗匹配；
2.3)对粗匹配的结果通过Ransac算法进行细匹配；
2.4)图像的拼接和融合：确定左目图像与右目图像的位置关系和图片合成之后所在区域的边界，通过2.3）步骤中的最优变换矩阵对图像进行拼接和融合，并对拼接的边界通过加权的方法进行平滑处理从而实现了图像之间的无缝拼接。
3）图像人脸定位：在大视场图像中搜索并确定出每个学生的人脸图像区域位置；
4）图像人脸识别：对人脸图像进行特征提取，并在事先采集的特征库中搜索匹配特征，识别人脸图像以辨识学生身份；
5）完成课堂考勤：对考勤结果进行记录，如匹配失败，则多次数据采集，提高考勤的准确性。
按上述方案，步骤2.1）中对左目图像与右目图像进行角点提取的具体步骤如下：
a.对拍照后获得的图像进行Harris计算，得到图像的水平、垂直方向梯度；
b.计算整个图像中每个点的角点响应函数R和阈值T。
c.选用窗口大小为9×9的模板，当角点响应函数R>T时，取前1/5部分有较大R的点，标记该点为角点。
3、根据权利要求1所述的，其特征在于，所述步骤2.3）中通过Ransac算法进行细匹配的步骤如下：
a.设置一个最大采样次数M，从通过步骤2.2）中的粗匹配点里面随机选5对，再从5对匹配点中选其中4对，利用这4对匹配点估计变换矩阵H的初始参数，设为临时模型；
b.设置一个距离阈值t，计算第5对点到临时模型的距离d，若d<t，则设此临时模型为候选模型；
c.计算所有粗匹配点到候选模型的距离，将所有小于t的点作为内点，并计算内点的个数；
d.不断更新采样次数和迭代次数，最终获取一个包括内点所占比例最高的点集，将这个比例最高的点集所对应的变换矩阵设为最优变换矩阵。
按上述方案，所述步骤3）图像人脸定位包括：
3.1)对训练人脸图像进行预处理：使用平移、旋转、放缩三种方式对人脸图像进行几何归一化；
3.2)生成Haar特征集合；
3.3)训练AdaBoost分类器；结合图像的预处理，Haar特征提取以及训练完成的AdaBoost分类器共同构成了人脸检测器。
3.4）识别过程：当一定数量的显著特征出现在照片中时，步骤3.1)-3.3)中构建的人脸检测器输出高响应值报告学生人脸的出现和出现位置。
本专利技术产生的有益效果是：
1.本专利技术采用设置在教室黑板两侧的双目红外相机对课堂进行同步数据采集，采取双视角的图像采集。由于同一名同学在双视角下同时被遮挡的可能性很小，因此本专利技术能有效降低图像中学生被遮挡的情况；
2.本专利技术采用红外相机对课堂进行同步数据采集，采集到的为红外图片，克服了传统的可见光图像受光照影响大的缺陷；
3.本专利技术采用先人脸定位后人脸识别的方法，识别速度与效率得到了很大的提升。本专利技术的人脸定位提供了一种在大视场图像中粗识别人脸的方法，在粗识别的基础上提取人脸特征完成精识别，提高识别的准确率，具有很强的实用性。
附图说明
下面将结合附图及实施例对本专利技术作进一步说明，附图中：
图1是本专利技术中的双目红外图像的课堂考勤流程图；
图2是本专利技术中的装置结构示意图；
图3是双目红外图像成像示意图；
图4是图像人脸识别流程图。
具体实施方式
为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
如图1所示，本专利技术一种大视场双目视觉的红外图像人脸识别考勤方法，包括以下步骤：
步骤1：课堂图像采集：利用双目红外相机对课堂进行同步数据采集，得到同一场景下两个不同角度的图像，要求待拼接的图像之间有重叠区域，如图3所示；
步骤2：双目图像拼接：对左目图像与右目图像进行拼接；
步骤2所用装置结构示意图如图2所示，双目图像拼接过程步骤为：
步骤21，分别对左目和右目两幅图像进行角点提取：
a.对拍照后的图像进行Harris计算图像的水平、垂直方向梯度。
b.计算整个图像中每个点的角点响应函数R和阈值T。
c.选用窗口大小为9×9的模板，当角点响应函数R>T时，取前1/5部分有较大R的点，标记该点为角点。
步骤22，检测出图像的角点后，利用双向的相似测度NCC算法进行粗匹配。
步骤23，通过Ransac算法进行细匹配：
a.设置一个最大采样次数M，从通过步骤22中的粗匹配点里面随机选5对，再从5对匹配点中选其中4对，利用这4对匹配点估计变换矩阵H的初始参数，设为临时模型。
b.设置一个距离阈值t，计算第5对点到临时模型的距离d，若d<t，则设此临时模型为候选模型。
c.计算所有粗匹配点到候选模型的距离，将所有小于t的点作为内点，并计算内点的个数。
d.不断更新采样次数和迭代次数。最终找到一个包括内点所占比例最多的点集，将这个比例最高的点集所对应的变换矩阵设为最优变换矩阵。
步骤24，红外图像的拼接和融合：
a.确定两张红外图片的位置关系。
b.确定两张红外图片合成之后所在区域的边界。
c.通过上一步骤中的最优变换矩阵对图像进行拼接和融合，并对拼接的边界通过加权的方法进行平滑处理从而实现了图像之间的无缝拼接。
步骤3：图像人脸定位：大视场图像中搜索出每个学生的人脸图像；
步骤3中学生图像人脸定位器的训练和识别的步骤为：
步骤31，对训练人脸图像进行预处理。使用平移、旋转、放缩三种方式对人脸图像进行几何归一化。
步骤32，生成Haar特征集合。
步骤33，训练AdaBoost分类器：收集本文档来自技高网...

【技术保护点】
一种大视场双目视觉的红外图像人脸识别考勤方法，其特征在于，包括以下步骤：1）课堂图像采集：利用设置在教室黑板所在墙面两端的双目红外相机对课堂进行同步数据采集，得到同一场景下的左目图像与右目图像，要求左目图像与右目图像之间有重叠区域；2）双目图像拼接：对左目图像与右目图像进行拼接；2.1)对左目图像与右目图像进行几何畸变校正和噪声点的抑制处理，让左目图像与右目图像不存在明显的几何畸变，处理后分别对左目图像与右目图像进行角点提取；2.2)检测出图像的角点后，利用双向的相似测度NCC算法进行粗匹配；2.3)对粗匹配的结果通过Ransac算法进行细匹配；2.4)图像的拼接和融合：确定左目图像与右目图像的位置关系和图片合成之后所在区域的边界，通过2.3）步骤中的细匹配结果对图像进行拼接和融合，并对拼接的边界通过加权的方法进行平滑处理从而实现了图像之间的无缝拼接；3）图像人脸定位：在大视场图像中搜索并确定出每个学生的人脸图像区域位置；4）图像人脸识别：对人脸图像进行特征提取，并在事先采集的特征库中搜索匹配特征，识别人脸图像以辨识学生身份；5）完成课堂考勤：对考勤结果进行记录，如匹配失败，即在人脸特征库里面没有匹配到待识别的人脸，则返回步骤1）调整双目红外相机角度进行数据采集。...

【技术特征摘要】
1.一种大视场双目视觉的红外图像人脸识别考勤方法，其特征在于，包括以下步骤：
1）课堂图像采集：利用设置在教室黑板所在墙面两端的双目红外相机对课堂进行同步数据采集，得到同一场景下的左目图像与右目图像，要求左目图像与右目图像之间有重叠区域；
2）双目图像拼接：对左目图像与右目图像进行拼接；
2.1)对左目图像与右目图像进行几何畸变校正和噪声点的抑制处理，让左目图像与右目图像不存在明显的几何畸变，处理后分别对左目图像与右目图像进行角点提取；
2.2)检测出图像的角点后，利用双向的相似测度NCC算法进行粗匹配；
2.3)对粗匹配的结果通过Ransac算法进行细匹配；
2.4)图像的拼接和融合：确定左目图像与右目图像的位置关系和图片合成之后所在区域的边界，通过2.3）步骤中的细匹配结果对图像进行拼接和融合，并对拼接的边界通过加权的方法进行平滑处理从而实现了图像之间的无缝拼接；
3）图像人脸定位：在大视场图像中搜索并确定出每个学生的人脸图像区域位置；
4）图像人脸识别：对人脸图像进行特征提取，并在事先采集的特征库中搜索匹配特征，识别人脸图像以辨识学生身份；
5）完成课堂考勤：对考勤结果进行记录，如匹配失败，即在人脸特征库里面没有匹配到待识别的人脸，则返回步骤1）调整双目红外相机角度进行数据采集。
2.根据权利要求1所述的红外图像人脸识别考勤方法，其特征在于，所述步骤2.1）中对左目图像与右目图像进行角点提取的具体步骤如下：
a.对拍照后获得的图像进行Harris计算，得到图像的水平、垂直方向梯度；
b.计算整个图像中每个点的角点响应函数R和阈值...

【专利技术属性】
技术研发人员：刘海，杨宗凯，刘三女牙，张昭理，舒江波，李振华，刘婷婷，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42