基于多任务神经网络的虹膜图像分割、定位和归一化方法技术

本发明专利技术属于模式识别、计算机视觉与生物特征识别领域，具体涉及了一种基于多任务神经网络的虹膜图像分割、定位和归一化方法，旨在解决非受控场景下虹膜图像分割、定位和归一化的精度不高、耗时较长、限制较多的问题。本发明专利技术包括：将虹膜图像在多任务神经网络中前向传播，获得虹膜掩膜映射图、内外边界中心点热力图和回归映射图，并提取内外边界中心点坐标；进行双线性插值，结合极坐标变换获取虹膜内外边界点坐标；均匀采样获取极坐标系下角度节点和半径节点，并以角度和半径为权重进行线性插值，获得虹膜环状有效区域点的坐标；双线性插值获得归一化虹膜图像和虹膜掩模。本发明专利技术可以实现非受控场景下的虹膜图像高效、准确的分割、定位及归一化。位及归一化。位及归一化。

【技术实现步骤摘要】
基于多任务神经网络的虹膜图像分割、定位和归一化方法


[0001]本专利技术属于模式识别、计算机视觉与生物特征识别领域，具体涉及了一种基于多任务神经网络的虹膜图像分割、定位和归一化方法。

技术介绍

[0002]在众多的生物特征识别技术中，虹膜识别因其呈现的高度稳定性、准确性、非接触性和防伪性等特性，被公认为是一种最有前途的身份识别方法之一，广泛应用于门禁考勤、边境控制、银行金融、司法鉴定等领域。
[0003]一般地，虹膜识别系统包含虹膜图像获取、虹膜预处理、虹膜特征提取和特征匹配等模块，其中，虹膜预处理进一步地包含虹膜图像质量评估、虹膜活体检测、虹膜分割、虹膜定位和虹膜归一化。在众多的预处理模块中，虹膜分割、定位和归一化是影响整个虹膜识别性能最关键的三个部分。
[0004]虹膜分割用于提取有效的虹膜纹理区域，排除各类噪声的干扰，输出虹膜掩模。虹膜定位用于检测虹膜-瞳孔和虹膜-巩膜之间的内外边界。基于虹膜分割和定位的结果，通过虹膜归一化将原始的虹膜图像和分割后的虹膜掩模从笛卡尔坐标系映射到极坐标系下大小固定的矩形区域，从而减少虹膜尺寸和瞳孔缩放带来的类内变化。归一化的图像将被用作后续的虹膜特征提取和匹配。
[0005]传统的虹膜分割、定位和归一化方法主要是为受控的虹膜识别系统而开发，这类系统在对成像光源和用户配合上做了较多限制后，通常可以获取清晰良好的虹膜图像，因此产生了准确鲁棒的预处理结果。近些年来，面向远距离、移动端和可见光条件下的非受控虹膜识别获得了快速的发展，然而在此条件下，获取的虹膜图像经常遭受遮挡、模糊、旋转、斜眼、镜面反射等噪声的干扰。面对这类图像，传统的方法由于依赖大量的先验知识、繁杂的前后处理操作，并且往往需要预设经验性的超参数等，经常导致预处理操作失败，严重影响了虹膜识别的性能。此外，很多传统的方法只能处理某一类或者几类噪声虹膜图像，不具备普适性，增加了处理未知类别虹膜图像的难度。
[0006]近些年来，深度学习技术在各类计算机视觉、生物特征识别任务中有着卓越的表现。特别地，对于虹膜图像预处理，也有大量的研究致力于提升图像质量评估、虹膜活体检测、虹膜分割等方面的性能，尤其是对于虹膜分割，许多学者提出了基于全卷积神经网络(FCN，FullyConvolutional Network)的通用的虹膜分割方法，在各类非受控虹膜图像上取得了良好的效果。然而对于虹膜定位以及归一化，目前仍然缺乏一种快速鲁棒的通用的解决方案。一些方法通过基于FCN预测的虹膜掩模定位虹膜内外圆，然而经常因虹膜掩模的不完整性而导致失败，此外将虹膜边界参数化为圆也不适用于斜眼等虹膜图像。也有方法提出将虹膜定位建模成虹膜内外边界曲线的预测，并基于全卷积神经网络而实现，但是网络预测的曲线经常是噪声的，且没有参数化，因此需要预设参数化的形式(设置边界为圆或者椭圆)和依赖较多繁杂耗时的后处理操作才能获取虹膜归一化所需的定位结果。
[0007]总的来说，为了能够有效地处理非受控场景下的虹膜识别问题，本领域还急需一
种通用的、准确的、实时的虹膜图像分割、定位和归一化方法，通过新的基于深度学习的通用建模方式，彻底去除任何繁杂的前后处理操作,并且无需提前预设虹膜的尺寸或者指定虹膜边界的参数化形式，从而有效提高虹膜图像分割、定位和归一化的精度和效率。

技术实现思路

[0008]为了解决现有技术中的上述问题，即非受控场景下虹膜图像分割、定位和归一化的精度不高、耗时较长、限制较多的问题，本专利技术提供了一种基于多任务神经网络的虹膜图像分割、定位方法，该虹膜图像分割、定位方法包括：
[0009]步骤S10，将获取的待处理虹膜图像输入多任务神经网络中进行前向传播，获得虹膜掩膜映射图、虹膜内边界和外边界中心点热力图以及虹膜内边界点和外边界点回归映射图；所述虹膜掩膜映射图为虹膜图像的分割结果；
[0010]步骤S20，采用Soft-argmax函数分别处理所述虹膜内边界和外边界中心点热力图，获得虹膜内边界和外边界中心点坐标和
[0011]步骤S30，基于所述虹膜内边界点和外边界点回归映射图，通过双线性插值法分别获取坐标在n个预设的均匀采样角度{θ
i
|i＝1,2,
…
,n}下的内边界射线长度和外边界射线长度
[0012]步骤S40，基于所述内边界射线长度和外边界射线长度结合极坐标变换公式，获得n个预设的均匀采样角度{θ
i
|i＝1,2,
…
,n}下的虹膜内边界点坐标和虹膜外边界点坐标所述虹膜内边界中心点坐标和虹膜外边界中心点坐标以及虹膜内边界点坐标和虹膜外边界点坐标为虹膜图像的定位结果；
[0013]通过极坐标变换公式获取待处理虹膜图像的虹膜内边界点和外边界点坐标：
[0014]其中，k＝1表示内边界，k＝2表示外边界，代表第i个采样角度θ
i
下的虹膜内边界或外边界射线长度，分别代表虹膜内边界或外边界中心点的x,y坐标。
[0015]在一些优选的实施例中，步骤S30包括：
[0016]步骤S31，分别定义对应虹膜内边界和外边界中心点的双线性采样核Q
k
，k＝1代表虹膜内边界，k＝2代表虹膜外边界：
[0017]其中，max(
·
)代表求最大值操作；
[0018]步骤S32，基于所述虹膜内边界点和外边界点回归映射图，分别以第i个通道下所有离散像素点的像素值的线性组合作为内边界射线长度
和外边界射线长度和外边界射线长度
[0019]其中，H和W分别为虹膜图像的高度和宽度，是位于虹膜内边界点或外边界点回归映射图中第i个通道下坐标点(x,y)的像素值。
[0020]在一些优选的实施例中，所述多任务神经网络以U-Net模型作为主干网络，并采用两个分支网络替换U-Net模型最后的分类层；
[0021]所述分支网络包括顺次连接的核为3
×
3、步长为1、空洞率为v,v＝1,2,4,8、输出通道为T的空洞卷积层，两个核为1
×
1的卷积层。
[0022]在一些优选的实施例中，所述多任务神经网络，其训练方法为：
[0023]步骤A10，获取训练用虹膜图像作为第一虹膜图像，采用二值码标签进行所述第一虹膜图像中有效虹膜像素的标记，有效的虹膜像素标记为1，其余部位标记为0；
[0024]采用最近似虹膜内外边界的椭圆曲线、NURBS曲线或者封闭自由曲线，分别作为虹膜的内边界和外边界曲线，并分别以曲线的质心作为虹膜内边界和外边界中心点和
[0025]步骤A20，基于所述虹膜内边界和外边界中心点和分别建立虹膜内边界和外边界中心点热力图标记和所述热力图标记的像素值围绕着虹膜内边界和外边界中心点服从峰值为1、标准差为σ的高斯分布；
[0026]步骤A30，以所述第一虹膜图像中距离虹膜内边界和外边界中心点均为3σ的邻域内的像素点为正采样点，其余像素点为负采样点，分别获取每个正本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，该虹膜图像分割、定位方法包括：步骤S10，将获取的待处理虹膜图像输入多任务神经网络中进行前向传播，获得虹膜掩膜映射图、虹膜内边界和外边界中心点热力图以及虹膜内边界点和外边界点回归映射图；所述虹膜掩膜映射图为虹膜图像的分割结果；步骤S20，采用Soft-argmax函数分别处理所述虹膜内边界和外边界中心点热力图，获得虹膜内边界和外边界中心点坐标和步骤S30，基于所述虹膜内边界点和外边界点回归映射图，通过双线性插值法分别获取坐标在n个预设的均匀采样角度{θ
i
|i＝1,2,
…
,n}下的内边界射线长度和外边界射线长度步骤S40，基于所述内边界射线长度和外边界射线长度结合极坐标变换公式，获得n个预设的均匀采样角度{θ
i
|i＝1,2,
…
,n}下的虹膜内边界点坐标和虹膜外边界点坐标所述虹膜内边界中心点坐标和虹膜外边界中心点坐标以及虹膜内边界点坐标和虹膜外边界点坐标为虹膜图像的定位结果。2.根据权利要求1所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，步骤S30包括：步骤S31，分别定义对应虹膜内边界和外边界中心点的双线性采样核Q
k
，k＝1代表虹膜内边界，k＝2代表虹膜外边界：其中，max(
·
)代表求最大值操作；步骤S32，基于所述虹膜内边界点和外边界点回归映射图，分别以第i个通道下所有离散像素点的像素值的线性组合作为内边界射线长度和外边界射线长度和外边界射线长度其中，H和W分别为虹膜图像的高度和宽度，是位于虹膜内边界点或外边界点回归映射图中第i个通道下坐标点(x,y)的像素值。3.根据权利要求1所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，所述多任务神经网络以U-Net模型作为主干网络，并采用两个分支网络替换U-Net模型最后的分类层；所述分支网络包括顺次连接的核为3
×
3、步长为1、空洞率为v,v＝1,2,4,8、输出通道
为T的空洞卷积层，两个核为1
×
1的卷积层。4.根据权利要求1所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，所述多任务神经网络，其训练方法为：步骤A10，获取训练用虹膜图像作为第一虹膜图像，采用二值码标签进行所述第一虹膜图像中有效虹膜像素的标记，有效的虹膜像素标记为1，其余部位标记为0；采用最近似虹膜内外边界的椭圆曲线、NURBS曲线或者封闭自由曲线，分别作为虹膜的内边界和外边界曲线，并分别以曲线的质心作为虹膜内边界和外边界中心点和步骤A20，基于所述虹膜内边界和外边界中心点和分别建立虹膜内边界和外边界中心点热力图标记和所述热力图标记的像素值围绕着虹膜内边界和外边界中心点服从峰值为1、标准差为σ的高斯分布；步骤A30，以所述第一虹膜图像中距离虹膜内边界和外边界中心点均为3σ的邻域内的像素点为正采样点，其余像素点为负采样点，分别获取每个正采样点在n个预设的均匀采样角度{θ
i
|i＝1,2,
…
,n}下的第一内边界和第一外边界射线长度，每个负采样点的第一内边界和第一外边界射线长度均设为0；步骤A40，第i个角度θ
i
下所有采样点对应的第一内边界和第一外边界射线长度分别为第i个通道下虹膜内边界点和外边界点的回归距离映射图标记；步骤A50，将包括有效虹膜像素标记、虹膜内边界和外边界中心点热力图标记以及虹膜内边界点和外边界点的回归距离映射图标记的虹膜图像作为第二虹膜图像；步骤A60，将所述第二虹膜图像输入所述多任务神经网络进行训练，获得训练好的多任务神经网络。5.根据权利要求4所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，步骤A60包括：步骤A61，将所述第二虹膜图像输入所述多任务神经网络中，通过前向传播得到第一虹膜掩模映射图、第一虹膜内边界中心点和外边界中心点热力图以及第一虹膜内边界点和外边界点回归距离映射图；步骤A62，计算所述第一虹膜掩模映射图、第一虹膜内边界中心点和外边界中心点热力图以及第一虹膜内边界点和外边界点回归距离映射图与所述第二虹膜图像的总误差损失，基于计算所得的总误差损失值，对多任务神经网络使用反向传播算法进行参数更新；步骤A63，重复步骤A61、步骤A62，直到所述总误差损失值低于设定阈值或达到设定训练次数，获得训练好的多任务神经网络。6.根据权利要求5所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，所述总误差损失包括针对虹膜掩模的二元交叉熵损失L
seg
、针对虹膜内边界和外边界中心点热力图的均方差损失L
center
、针对虹膜内边界点和外边界点回归距离映射图的极坐标交并比损失L
dist
以及关于边界中心和边界点的距离回归之间构成的自监督损失函数L
self
；所述针对虹膜掩模的二元交叉熵损失L
seg
为：
...

【专利技术属性】
技术研发人员：王财勇，田启川，郭茂祖，何召锋，孙哲南，王云龙，张琪，
申请(专利权)人：北京建筑大学，
类型：发明
国别省市：