一种双目活体检测左右图片对齐的方法技术

本发明专利技术提供一种双目活体检测左右图片对齐的方法，所述方法通过对人脸检测模型裁剪得到的左右图进行归一化处理，在ORB特征点匹配时，通过匹配特征点计算宽度和高度差值，对匹配特征点效果不好的点进行了两次筛选过滤；第一次筛选是在暴力匹配后，通过比率测试，即第一个匹配与第二个匹配之间的距离小于比率阈值时，才认为是一个匹配；第二次筛选是在完成特征点匹配之后，对左右每个匹配点高度差值进行计算时，剔除高度差值大的匹配点，使最后计算的高度、宽度差值不受差值变化大的匹配点影响。从而实现在非标定情况下，对双目左右图像对齐。对齐。对齐。

【技术实现步骤摘要】
一种双目活体检测左右图片对齐的方法


[0001]本专利技术涉及图像处理
，特别涉及一种双目活体检测左右图片对齐的方法。

技术介绍

[0002]随着科技的发展，现有技术在人脸活体识别系统中，由于双目摄像头会采用不同的模组，以及两个摄像头存在差异，不可避免会在成像参数和组装精度上有所不同。因此需要进行双目对齐，以确保两个镜头在活体检测、人脸比对时，使用的是同一张人脸图像。现有的双目对齐方法是分别对单个摄像头进行标定，得到相机的参数信息，将两个摄像头参数信息融合进行双目标定，得到旋转和平移矩阵，通过这些信息，映射变换到左右图像上，实现双目图像对齐。
[0003]然而，现有方法存在一些缺陷，如下：
[0004]目前，常规的双目对齐方法是对双目相机进行标定，通过标定得到相机的参数信息，计算相关的旋转平移矩阵，映射到双目图像上进行对齐。当应用到多场景时，标定的参数信息不能够共享，仍还需进行重新标定，标定过程繁琐、通用能力差。
[0005]另外，现有技术中的常用术语如下：
[0006]ORB特征：由关键点与描述符组成。
[0007]特征点：图像中比较显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。
[0008]关键点：关键点就是一小块图像，指特征点在图像上的位置。
[0009]描述符：描述符是一种数学结构，能够针对不同的场景，给出一定的旋转不变的特征，通常是一个向量，描述了该关键点周围的像素信息。暴力匹配(BMMatcher)：对图像1中的每一个特征点与图像2中的所有特征点测量描述符的距离，然后排序，取最近的一个作为匹配点。

技术实现思路

[0010]为了解决上述现有技术中的问题，本申请的目的在于：基于人脸检测识别算法，裁剪出左右图像中的人脸框，通过ORB特征匹配，得到有效的关键特征匹配点，以左图关键点为基准，计算左右图像的高度差及宽度差，通过此差值，对右图的高度及宽度进行处理，从而实现在非标定情况下，对双目左右图像对齐。
[0011]具体地，本专利技术提供一种双目活体检测左右图片对齐的方法，所述方法通过对人脸检测模型裁剪得到的左、右图进行归一化处理，在ORB特征点匹配时，通过匹配特征点计算宽度和高度差值，对匹配特征点效果不好的点，进行了两次筛选过滤，所述效果不好的点是两个特征点在坐标系中的位置差异大的点；第一次筛选是在暴力匹配后，通过比率测试，即第一个匹配与第二个匹配之间的距离小于比率阈值，此阈值为0.6，才认为是一个匹配；第二次筛选是在完成特征点匹配之后，对左右每个匹配点高度差值进行计算时，剔除高度
差值大的匹配点，所述高度差值大的范围为0～15，使最后计算的高度、宽度差值不受差值大的匹配点影响。
[0012]所述方法包括以下步骤：
[0013]S1.根据人脸检测算法使用人脸检测模型，得到人脸框裁剪左右图：通过人脸检测模型确定左图人脸框，对左图人脸框实现中心点向四周扩充，所述扩充是以人脸框为中心，扩充尺寸为人脸框最短边的1.1倍，对中心点上下左右，每次增加扩充尺寸的一半，以便增多人脸特征信息；同时将扩充好的框在左、右图中进行裁剪，保证裁剪的有效区域一致；
[0014]S2.ORB特征点匹配：
[0015]在进行ORB特征点匹配时，需要对左、右裁剪图进行均值归一化，以保障过暗图片能找到更多的特征匹配点；
[0016]S3.计算左图与右图的高度及宽度差值：
[0017]将匹配好的特征点进行排序，剔除高度差值变化大的特征点，使计算出的宽度差及高度差均值更准确；
[0018]S4.双目左、右图对齐。
[0019]所述方法进一步包括：
[0020]S1.根据人脸检测算法裁剪左右图：
[0021]将左摄像头采集到的左图人脸即双目摄像头中左摄像头采集到的人脸数据数据，通过人脸检测模型，这个人脸检测模型没有固定的版本号，可以使用yolov5，检测出人脸框的位置，计算人脸检测框的宽高大小及中心坐标，假设人脸检测框顶点坐标(50,50)，宽90，高100，中心点坐标为(95,100)，在中心点处对人脸框进行上下左右扩充，扩充大小为人脸检测框最大边的一半，通过扩充的人脸检测框，对左、右图进行裁剪，扩充后的检测框顶点为(40,45)，宽110，高110，将此区域进行裁剪；S2.ORB特征点匹配：
[0022]先对左、右裁剪图进行均值归一化处理，使左、右裁剪图亮度有明显提升并保持一致；
[0023]所述ORB特征匹配：创建ORB匹配器，其所述匹配器创建方式如下：Ptr<ORB>orbDetector＝create(int nfeatures＝500,
[0024]float scaleFactor＝1.2f,int nlevels＝8,int firstLevel＝0)；分别计算左、右裁剪图的关键点及描述符；通过描述符进行暴力匹配MFMacher，剔除误匹配点；保留满足条件即匹配后的描述符行数必须大于2的匹配特征点；
[0025]S3.计算左图与右图的高度及宽度差值：
[0026]对匹配好的特征点通过关键点所在位置，计算每个匹配特征点在左右裁剪图中的高度差值，将高度差值大的匹配点过滤，所述高度差值范围为0～15，宽度差值范围为0～8，在此基础上，求出所有匹配点宽度均值，设定左、右图的宽度差值；
[0027]S4.双目左右图对齐：
[0028]以左裁剪图为基础，将计算的高度及宽度差值加入左裁剪框，得到新的裁剪框为无差值人脸框，以新的裁剪框重新对右图进行裁剪，最终得到的右裁剪图将与左裁剪图完成对齐，将对齐的左、右图应用于立体视觉中，进行活体检测。
[0029]所述步骤S2中归一化处理的流程包括：
[0030]S2.1，输入图像；计算像素均值；压缩均值到128比例因子，该比例因子与所述输入
图像相乘，得到
[0031]S2.2，原图像像素压缩；与128像素进行差值并得到差值结果；计算差值均值；压缩均值到30比例因子，该比例因子与所述差值结果相乘，得到S2.3，差值压缩，该差值压缩与所述原图像像素压缩相加，得到
[0032]S2.4，新的像素值；进而变化到0～255，其中小于0的像素变为0，大于255的像素变为255，完成归一化。
[0033]所述步骤S3中，计算左图与右图的高度及宽度差值，进一步包括：S3.1，对匹配特征点，计算高度差值，排序比较，剔除差值变化大的匹配点；
[0034]S3.2，计算宽度差值；
[0035]S3.3，宽度差值求均值，高度差值求均值；
[0036]S3.4，确定宽度及高度差值。
[0037]由此，本申请的优势在于：
[0038]1.通过对人脸检测模型裁剪得到的左右图进行归一化处理，消除了其他变换时对图像变换的影响。同时，使过暗的图像变得明亮，在ORB特征点匹配时，匹配到的特征点增多，提高了左右图之间的差值，使左右图对齐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目活体检测左右图片对齐的方法，其特征在于，所述方法通过对人脸检测模型裁剪得到的左、右图进行归一化处理，在ORB特征点匹配时，通过匹配特征点计算宽度和高度差值，对匹配特征点效果不好的点，进行了两次筛选过滤，所述效果不好的点是两个特征点在坐标系中的位置差异大的点；第一次筛选是在暴力匹配后，通过比率测试，即第一个匹配与第二个匹配之间的距离小于比率阈值，此阈值为0.6，才认为是一个匹配；第二次筛选是在完成特征点匹配之后，对左右每个匹配点高度差值进行计算时，剔除高度差值大的匹配点，所述高度差值大的范围为0～15，使最后计算的高度、宽度差值不受差值大的匹配点影响。2.根据权利要求1所述的一种双目活体检测左右图片对齐的方法，其特征在于，所述方法包括以下步骤：S1.根据人脸检测算法使用人脸检测模型，得到人脸框裁剪左右图：通过人脸检测模型确定左图人脸框，对左图人脸框实现中心点向四周扩充，所述扩充是以人脸框为中心，扩充尺寸为人脸框最短边的1.1倍，对中心点上下左右，每次增加扩充尺寸的一半，以便增多人脸特征信息；同时将扩充好的框在左、右图中进行裁剪，保证裁剪的有效区域一致；S2.ORB特征点匹配：在进行ORB特征点匹配时，需要对左、右裁剪图进行均值归一化，以保障过暗图片能找到更多的特征匹配点；S3.计算左图与右图的高度及宽度差值：将匹配好的特征点进行排序，剔除高度差值变化大的特征点，使计算出的宽度差及高度差均值更准确；S4.双目左、右图对齐。3.根据权利要求2所述的一种双目活体检测左右图片对齐的方法，其特征在于，所述方法进一步包括：S1.根据人脸检测算法裁剪左右图：将左摄像头采集到的左图人脸即双目摄像头中左摄像头采集到的人脸数据数据，通过人脸检测模型，检测出人脸框的位置，计算人脸检测框的宽高大小及中心坐标，假设人脸检测框顶点坐标(50,50)，宽90，高100，中心点坐标为(95,100)，在中心点处对人脸框进行上下左右扩充，扩充大小为人脸检测框最大边的一半，通过扩充的人脸检测框，对左、右图进行裁剪，扩充后的检测框顶点为(40,45)，宽110，高110，将此区域进行裁剪；S2.ORB特征点匹配：先对左...

【专利技术属性】
技术研发人员：李广旭，
申请(专利权)人：北京君正集成电路股份有限公司，
类型：发明
国别省市：