基于关键点和局部特征的三维人耳识别方法技术

本发明专利技术公开了基于关键点和局部特征的三维人耳识别方法，步骤为：（1）对带有背景信息的二维侧脸图像进行目标检测，获取方形人耳区域并提取对应区域的三维点云；（2）在三维人耳点云中根据内部形状签名特征进行关键点检测；(3)将提取出的关键点和标准姿态下的人耳关键点进行迭代最近点配准，用长方体模板切割来去除皮肤，头发等冗余区域；(4)提取关键点周围邻域点集，计算协方差矩阵的特征向量作为局部特征；(5)去除误匹配点对，最后用匹配成功的关键点数目来衡量两个人耳的相似度。本发明专利技术能够有效地剔除人耳周围皮肤、头发等冗余区域，且关键点和局部特征能较为全面地描述三维人耳的结构特征，具有较强的识别性能。

3-D Ear Recognition Based on Key Points and Local Features

【技术实现步骤摘要】
基于关键点和局部特征的三维人耳识别方法
本专利技术属于人耳识别
，具体涉及一种基于关键点和局部特征的三维人耳识别方法，尤其涉及一种利用人耳表面关键点局部特征的人耳识别方法。
技术介绍
现代社会中,准确可靠地个人身份确认越来越多的受到人们的重视，身份认证在许多场合都有着重要的应用，如门禁系统、视频监控、人机交互等。生物识别是机器视觉和模式识别领域的经典问题，而人耳识别技术是近年的一个研究热点，相比人脸等其他生物特征，人耳更近似刚性，且不受表情变化，年龄和化妆等因素的影响；同时人耳表面沟回起伏变化丰富，适合作为生物特征进行识别。传统的二维人耳识别是基于图像的亮度信息进行身份确认的，但因为受光照、姿态及化妆等因素影响较大，故而近年来人耳识别研究开始从二维图像扩展到三维空间上。三维人耳识别利用人耳的空间形状信息进行身份认证，不受光照、化妆、表情等因素的影响，和人脸识别相比有较大的优势，但是仍然面临遮挡问题带来的挑战，遮挡会导致人耳的三维数据丢失，影响识别效果。
技术实现思路
本专利技术的目的是为了克服现有技术中存在的不足，本专利技术提供一种基于关键点和局部特征的三维人耳识别方法，识别对象为三维人耳点云，识别过程中需用到与该三维点云对应的二维图像(二维图像中每个像素对应三维点云中的一个点)，该方法识别性能较高，并且速度较快。为实现上述目的，本专利技术采用的技术方案为：一种基于关键点和局部特征的三维人耳识别方法，识别对象为三维人耳点云，识别过程中需用到与该三维点云对应的二维图像(二维图像中每个像素对应三维点云中的一个点)，包括以下步骤：步骤1：对带背景信息的二维侧脸图像进行FasterR-CNN目标检测，获得方形二维人耳区域，提取对应区域的三维人耳点云；步骤2：对由步骤1所提取的三维人耳点云根据内部形状签名特征(IntrinsicShapeSignature,ISS)进行关键点检测，得到关键点集；步骤3：利用步骤2中得到的关键点集和标准姿态人耳关键点集进行ICP配准，将获得的旋转平移矩阵作用于步骤1得到的三维人耳点云，使其转换为标准的竖直向上姿态，再利用长方体模板切割，得到去除冗余信息后的三维人耳；步骤4：计算由关键点及其周围邻域组成的协方差矩阵的特征向量，由特征向量构造局部特征；步骤5：利用步骤4的局部特征，匹配测试人耳和库集人耳的关键点并剔除误匹配点，获取匹配成功的关键点对数，得到识别结果。其中，步骤1具体包括以下步骤：步骤1.1：使用含有数百张二维侧脸图片的数据库作为训练集(实验中为UND-J2数据库及网络上选取300张带完整左耳信息的二维侧脸图片)，手动框出训练集图像中的方形人耳，利用更快的区域-卷积神经网络(FasterR-CNN)框架训练得到目标检测器,利用这个检测器在带有侧脸和复杂背景信息的图像上检测人耳，获取方形人耳区域；步骤1.2：根据二维图像里方形人耳区域的坐标提取出对应三维点云里的人耳区域(在源数据库中，二维图像中每个像素对应三维点云中的一个点)。进一步的，所述步骤2的具体方法为：利用内部形状签名特征描述符(IntrinsicShapeSignature,ISS)计算人耳点云的每个点，将计算结果满足阈值条件的点作为关键点。其中，步骤2具体包括以下步骤：步骤2.1：对点云P内任意一点pi，首先搜索pi邻域r范围内的所有点pj(不包括pi),并对每个点pj计算权重ωj：ωj＝1/|pj-pi|，|pj-pi|＜r(1)利用pi邻域r范围所有点计算点pi的协方差矩阵：点pi的协方差矩阵用COV(pi)表示，T表示转置。步骤2.2：计算协方差矩阵的特征值，并将特征值按递减顺序排列得到点pi的特征值将特征值满足下式的点定义为关键点：其中，步骤3具体包括以下步骤：步骤3.1：把步骤2中得到的人耳关键点集和一个预先得到的标准姿态人耳的关键点集利用迭代最邻近点(IterativeClosestPoint,ICP)方法进行对齐。其中标准姿态人耳的获取方法如下：预先将平均人耳通过手动调整姿态得到一个具有标准竖直向上姿态的人耳，以其为标准姿态人耳。之后将该ICP变换最终得到的矩阵作用于步骤1.2的三维人耳点云，使整个对齐之后的人耳都具有竖直向上的姿态，对齐后，坐标系的原点(0,0)都位于人耳的左下角区域。接着利用一个长方体模板(0≤x≤40,0≤y≤65,-5≤z≤5)(单位：毫米)切割对齐之后的人耳，得到归一化后的人耳。说明：ICP方法简介：将两个点云对齐，即通过迭代最邻近点(最邻近点的获取方法为在目标点云上找出对应于源点云中p点距离最近的q点)，得到最终的旋转平移矩阵，通过该矩阵变换可以将两个点云对齐(该矩阵即ICP方法得到的旋转平移矩阵)，这样在本步骤中就将特征点(步骤2中得到的人耳关键点集)的姿态调整到竖直向上姿态(即“标准姿态人耳”的姿态)其中，步骤4具体包括以下步骤：步骤4.1：对关键点进行去中心化，该过程如下：对每个关键点p计算该点邻域半径r内点集PC的重心，并将这个点集内所有点坐标减去重心坐标，至此完成去中心化；步骤4.2：在去中心化的基础上，对每个关键点p利用其邻域内点集PC构造一个改进的协方差矩阵C，C的构造如下：式中pm为邻域点集PC中的一个点，dm为pm到p的距离。计算矩阵C的特征向量，得到e1、e2、e3,令αp＝e1,βp＝e3×e1,γp＝e3，同时构造特征描述矩阵[RF]3×3＝[αpTβpTγpT]T,并将关键点p转为新三维空间中(即新三维坐标系下)的点pnew：pnew＝RF*p(5)其中，步骤5具体包括以下步骤：步骤5.1：利用步骤4的方法将待检测人耳s1和库集人耳s2的每个关键点都转换到4.2的新三维空间中。在新坐标系中，对s1中的一个新坐标系关键点p1，找到s2中距离在Td范围内的所有关键点,构成点集对p1和每个利用上一节得到的特征向量α，β，γ计算角度差值θα，θβ，θγ，其中θα，θβ，θγ计算过程如下：其中为p1经过步骤4构造出的特征向量，为经过步骤4构造出的特征向量,找到三个角度θα，θβ，θγ中最大的角度，将其定义为这两个关键点的差异度。对中的每个点都提取出这样一个差异度，在所有差异度中找到最小差异度对应的点，作为p1的初步对应点。采用这种方法遍历s1中的每个关键点，得到其在s2中的初步对应点。步骤5.2：初步对应点集中包含了很多误匹配点，采用随机采样一致性算法(RandomSampleConsensus,RANSAC)来剔除误匹配点对。具体包括以下步骤：步骤5.2.1：在初步对应点集中随机选取3个匹配点对，根据这3个匹配点对计算出最优旋转和平移变换矩阵(R,T)；步骤5.2.2：假设mi(i＝1…n)与qi(i＝1…n)为一一对应的点对，如果((Rqi+T)-mi)2＜ε(ε为误差阈值)，则接受这一对匹配点，采用这种方式遍历所有初步对应点对，将所有被接受的匹配点对作为当前一致集；步骤5.2.3：重复5.2.1和5.2.2两步，选取具有最多匹配点个数的一致集作为最优一致集，将其匹配点对个数作为最终匹配点对数。步骤5.3：识别方法，具体方法为测试人耳与库集中每个人耳利用步骤4-步骤5.2的方法进行关键点匹配，将匹配成功的关键点数目(即5.2.3的“最终匹配点对数”本文档来自技高网...

【技术保护点】
1.一种基于关键点和局部特征的三维人耳识别方法，其特征在于，包括以下步骤：步骤1：对带背景信息的二维侧脸图像进行Faster R‑CNN目标检测，获得方形二维人耳区域，提取对应区域的三维人耳点云；步骤2：对由步骤1所提取的三维人耳点云根据内部形状签名特征进行关键点检测，得到关键点集；步骤3：利用步骤2中得到的关键点集和标准姿态人耳关键点集进行ICP配准，将获得的旋转平移矩阵作用于步骤1得到的三维人耳点云，使其转换为近似具有竖直向上姿态，再利用长方体模板切割，得到去除冗余信息后的三维人耳；步骤4：计算由关键点及其周围邻域组成的协方差矩阵的特征向量，由特征向量构造局部特征；步骤5：利用步骤4的局部特征，匹配测试人耳和库集人耳的关键点并剔除误匹配点，获取匹配成功的关键点对数，得到识别结果。

【技术特征摘要】
1.一种基于关键点和局部特征的三维人耳识别方法，其特征在于，包括以下步骤：步骤1：对带背景信息的二维侧脸图像进行FasterR-CNN目标检测，获得方形二维人耳区域，提取对应区域的三维人耳点云；步骤2：对由步骤1所提取的三维人耳点云根据内部形状签名特征进行关键点检测，得到关键点集；步骤3：利用步骤2中得到的关键点集和标准姿态人耳关键点集进行ICP配准，将获得的旋转平移矩阵作用于步骤1得到的三维人耳点云，使其转换为近似具有竖直向上姿态，再利用长方体模板切割，得到去除冗余信息后的三维人耳；步骤4：计算由关键点及其周围邻域组成的协方差矩阵的特征向量，由特征向量构造局部特征；步骤5：利用步骤4的局部特征，匹配测试人耳和库集人耳的关键点并剔除误匹配点，获取匹配成功的关键点对数，得到识别结果。2.根据权利要求1所述的基于关键点和局部特征的三维人耳识别方法，其特征在于,所述步骤2具体包括以下步骤：步骤2.1：为每个点pi邻域r范围内的点pj计算权重ωj：ωj＝1/|pj-pi|，并利用点pi邻域r范围所有点计算点pi的协方差矩阵：步骤2.2:计算协方差矩阵的特征值，并将特征值按递减顺序排列得到将满足下式的点定义为关键点：3.根据权利要求1或2所述的基于关键点和局部特征的三维人耳识别方法，其特征在于，所述步骤3具体包括以下步骤：步骤3.1：把步骤2中得到的关键点集和一个标准姿态人耳的关键点集利用迭代最邻近点ICP方法进行对齐，将该ICP变换最终的旋转平移矩阵作用于步骤1得到的三维人耳区域，就可以使整个对齐之后的人耳都具有竖直向上的姿态，并且坐标系的原点(0,0)都位于人耳的左下角区域；步骤3.2接着利用一个长方体模板(0≤x≤40,0≤...

【专利技术属性】
技术研发人员：盖绍彦，钱昱来，郑东亮，达飞鹏，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32