一种手指三模态融合识别方法、系统、设备及存储介质技术方案

本发明专利技术涉及生物特征识别技术领域，尤其涉及一种手指三模态融合识别方法、系统、设备及存储介质，包括：通过并行网络对手指三模态加权图进行归一化处理，得到手指三模态图特征；通过竞争融合方法、特征向量中心度融合方法对所述手指三模态图特征进行融合，得到融合特征。本发明专利技术基于超像素分割方法将手指三模态特征构建为特征空间一致的图特征，同时利用图的节点特征信息和结构信息实现了手指三模态图特征的有效融合，显著提高了手指三模态识别精度；另外，本发明专利技术通过并行网络有效解决了三模态图像由于尺寸不一致影响手指三模态特征有效融合的问题。效融合的问题。效融合的问题。

【技术实现步骤摘要】
一种手指三模态融合识别方法、系统、设备及存储介质


[0001]本专利技术涉及生物特征识别
，尤其涉及一种基于图卷积神经网络的 手指三模态融合识别方法、系统、设备及存储介质。

技术介绍

[0002]随着信息时代的快速发展，人们的生活工作中随处可以见到智能化的身份 识别系统，比如手机、安检机、门禁机以及各种网上支付软件等，这促使了身 份识别技术的发展；传统的身份识别技术已经不能满足人们对高性能身份鉴别 的需求，因此，以生物特征为基础的身份识别技术已经成为研究人员重点关注 的领域。
[0003]目前，生物特征识别技术已经成为模式识别领域的一个重要分支，也是人 工智能技术的重点发展方向之一，随着模式识别技术的发展，手指单模态生物 特征识别技术已经趋于成熟，仅仅依靠手指单模态进行身份鉴别，已经无法满 足人们对识别精度与稳定性的需求，而多模态生物特征识别技术可以充分利用 每种生物特征的信息，将这些信息有效的结合在一起，从而达到提高识别性能 的目的；由于手指三模态特征位置紧凑，便于特征采集，所以多被作为多模态 生物特征识别技术的研究对象，手指特征中的指纹、指静脉和指节纹具有相似 的纹理性特征，为其特征的统一表达奠定了基础，而且在身份认证方面，基于 指纹、指静脉和指节纹的手指三模态是互补的，比如：指静脉可以判断活体性， 但是指纹和指节纹不可以；指纹和指节纹特征图像十分清晰，但是由于采集设 备的原因，指静脉特征图像成像较为模糊；现有的手指三多模态特征融合识别 技术仍然存在两个主要问题亟待解决：
[0004]1)手指三模态特征图像尺寸不一致，这是影响多模态特征有效融合的重要 因素，现有的尺度归一化方法容易破坏图像的结构信息，无法实现稳定的特征 融合；
[0005]2)缺乏一种通用的特征表达方法，以将手指三模态特征提取到统一的特征 空间。

技术实现思路

[0006]本专利技术提供一种手指三模态融合识别方法、系统、设备及存储介质，解决 的技术问题是，现有的手指三模态特征融合识别方法无法实现稳定的特征融合， 同时缺乏一种通用的特征表达方法。
[0007]为解决以上技术问题，本专利技术提供了一种手指三模态融合识别方法、系统、 设备及存储介质。
[0008]第一方面，本专利技术提供了一种手指三模态融合识别方法，所述方法包括以 下步骤：
[0009]对采集到的原始手指三模态图像进行超像素分割，得到超像素块；
[0010]将所述超像素块作为节点，构建手指三模态加权图；
[0011]将所述手指三模态加权图输入并行网络，对所述手指三模态加权图进行节 点归一化，得到手指三模态图特征；
[0012]根据预设条件选取融合方法，并利用选取的融合方法将所述手指三模态图 特征进行融合，得到融合特征；
[0013]将所述融合特征输入分类网络，得到识别结果；
[0014]其中，所述融合方法包括竞争融合方法和特征向量中心度融合方法。
[0015]在进一步的实施方案中，所述将所述超像素块作为节点，构建手指三模态 加权图，具体为：
[0016]将所述超像素块作为节点，节点的特征向量为对应所述超像素块的像素强 度值和质心空间坐标，同时以对应节点之间的特征空间相似度作为边权重，得 到手指三模态加权图；
[0017]其中，所述特征空间相似度为：
[0018][0019]式中，B
ij
表示节点i和节点j之间的特征空间相似度，d
i
表示节点i的特征 向量，d
j
表示节点j的特征向量，σ为取值[0，1]的常数值。
[0020]在进一步的实施方案中，若选取所述竞争融合方法，则所述利用选取的融 合方法将所述手指三模态图特征进行融合，得到融合特征的步骤，包括：
[0021]选取任一所述手指三模态图特征，对其单通道中的节点特征向量进行排序， 得到各通道的通道排序；
[0022]对于任一节点，将其在各通道中的通道排序进行相加，得到节点排序向量；
[0023]根据节点排序向量对所有节点进行排序，得到节点竞争排序；
[0024]基于所述节点竞争排序，根据节点特征向量以及节点间的连接关系获取所 述手指三模态图特征的第一特征矩阵和第一邻接矩阵；
[0025]将所述手指三模态图特征的第一特征矩阵进行融合，得到第一特征融合矩 阵；
[0026]将所述手指三模态图特征的第一邻接矩阵进行融合，得到第一邻接融合矩 阵；
[0027]在所述竞争融合方法中，所述融合特征包括第一特征融合矩阵以及第一邻 接融合矩阵。
[0028]在进一步的实施方案中，若选取所述特征向量中心度融合方法，则所述利 用选取的融合方法将所述手指三模态图特征进行融合，得到融合特征的步骤， 包括：
[0029]计算各个节点特征向量中心度；
[0030]根据所述特征向量中心度获取中心度向量；
[0031]根据所述中心度向量对所有节点进行排序，得到节点中心度排序；
[0032]基于所述节点中心度排序，根据节点特征向量以及节点间的连接关系获取 所述手指三模态图特征的第二特征矩阵以及第二邻接矩阵；
[0033]将所述手指三模态图特征的第二特征矩阵进行融合，得到第二特征融合矩 阵；
[0034]将所述手指三模态图特征的第二邻接矩阵进行融合，得到第二邻接融合矩 阵；
[0035]在所述特征向量中心度融合方法中，所述融合特征包括第二特征融合矩阵 以及第二邻接融合矩阵。
[0036]在进一步的实施方案中，所述并行网络包括三个具有相同网络结构的分支 网络；
[0037]每个分支网络均包括依次连接的输入层、三个串联的第一卷积层、池化层 以及输出层，所述池化层为可微分的池化层。
[0038]在进一步的实施方案中，所述根据预设条件选取融合方法的步骤包括：
[0039]检测用户设定的待识别时间，并对所述待识别时间进行判断，当检测到所 述待识别时间处于第一预设范围，则选取所述竞争融合方法；当检测到所述待 识别时间处于第二预设范围，则选取所述特征向量中心度融合方法。
[0040]在进一步的实施方案中，所述分类网络包括依次连接的三个第二卷积层以 及两个全连接层。
[0041]第二方面，本专利技术提供了一种手指三模态融合识别系统，所述系统包括：
[0042]加权图构建模块，用于对采集到的原始手指三模态图像进行超像素分割， 得到超像素块，同时将所述超像素块作为节点，构建手指三模态加权图；
[0043]归一化处理模块，用于将所述手指三模态加权图输入并行网络，对所述手 指三模态加权图进行节点归一化，得到手指三模态图特征；
[0044]特征融合模块，用于根据预设条件选取融合方法，并利用选取的融合方法 将所述手指三模态图特征进行融合，得到融合特征；
[0045]特征识别模块，用于将所述融合特征输入分类网络，得到识别结果；
[0046]其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手指三模态融合识别方法，其特征在于，包括以下步骤：对采集到的原始手指三模态图像进行超像素分割，得到超像素块；将所述超像素块作为节点，构建手指三模态加权图；将所述手指三模态加权图输入并行网络，对所述手指三模态加权图进行节点归一化，得到手指三模态图特征；根据预设条件选取融合方法，并利用选取的融合方法将所述手指三模态图特征进行融合，得到融合特征；将所述融合特征输入分类网络，得到识别结果；其中，所述融合方法包括竞争融合方法和特征向量中心度融合方法。2.如权利要求1所述的一种手指三模态融合识别方法，其特征在于，所述将所述超像素块作为节点，构建手指三模态加权图，具体为：将所述超像素块作为节点，节点的特征向量为对应所述超像素块的像素强度值和质心空间坐标，同时以对应节点之间的特征空间相似度作为边权重，得到手指三模态加权图；其中，所述特征空间相似度为：式中，B
ij
表示节点i和节点j之间的特征空间相似度，d
i
表示节点i的特征向量，d
j
表示节点j的特征向量，σ为取值[0，1]的常数值。3.如权利要求2所述的一种手指三模态融合识别方法，其特征在于，若选取所述竞争融合方法，则所述利用选取的融合方法将所述手指三模态图特征进行融合，得到融合特征的步骤，包括：选取任一所述手指三模态图特征，对其单通道中的节点特征向量进行排序，得到各通道的通道排序；对于任一节点，将其在各通道中的通道排序进行相加，得到节点排序向量；根据节点排序向量对所有节点进行排序，得到节点竞争排序；基于所述节点竞争排序，根据节点特征向量以及节点间的连接关系获取所述手指三模态图特征的第一特征矩阵和第一邻接矩阵；将所述手指三模态图特征的第一特征矩阵进行融合，得到第一特征融合矩阵；将所述手指三模态图特征的第一邻接矩阵进行融合，得到第一邻接融合矩阵；在所述竞争融合方法中，所述融合特征包括第一特征融合矩阵以及第一邻接融合矩阵。4.如权利要求2所述的一种手指三模态融合识别方法，其特征在于，若选取所述特征向量中心度融合方法，则所述利用选取的融合方法将所述手指三模态图特征进行融合，得到融合特征的步骤，包括：计算各个节点的特征向量中心度；根据所述特征向量中心度获取中心度向量；根据所述中心度向量...

【专利技术属性】
技术研发人员：张海刚，曲宏旭，杨金锋，薛元飞，
申请(专利权)人：深圳职业技术学院，
类型：发明
国别省市：