一种基于掌纹掌静脉多模态融合的身份识别方法技术

本发明专利技术公开了一种基于掌纹掌静脉多模态融合的身份识别方法，涉及生物识别技术领域。具体包括以下步骤：对数据库中的手掌图像设置好配对标签，属于同一个人的手掌图像标签设置为1，不同则标签设置为0；构建初始掌纹和掌纹的单模态识别网络并训练；构建初始掌纹和掌静脉的跨模态识别网络并训练；通过训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络并训练。本发明专利技术创新性的提出了掌纹和掌纹的单模态识别与掌纹和掌静脉的跨模态识别相结合的混合式身份识别方法，这种方法能提升很大的准确度，使匹配更接近理想。使匹配更接近理想。使匹配更接近理想。

【技术实现步骤摘要】
一种基于掌纹掌静脉多模态融合的身份识别方法


[0001]本专利技术属于生物特征识别的
，具体涉及一种基于掌纹掌静脉多模态融合的身份识别方法。

技术介绍

[0002]与传统身份识别方法相比，生物特征识别技术能够提供更为安全、可靠和快捷的身份鉴别和认证结果。当前的单一生物识别技术各有优缺点，掌纹的普遍性、稳定性比较高，特征信息丰富，但是掌纹的防伪性不是特别好，容易被非法获取和伪造，同时也很难进行活体验证。受环境、噪声和欺骗攻击等不利因素的影响，单一生物特征识别技术的安全性有待加强，识别精度还有待提高，其挑战在于：如何寻找一种低成本、高效、稳定和可靠性的生物特征识别技术，解决难题。
[0003]除了手掌的掌纹特征以外，还可以利用手掌的静脉特征来进行身份识别，静脉识别是用近红外光源对人体手掌进行照射，利用血液中血红素对近红外光具有较强的吸收特性，使得近红外光照射后的手掌图像会在皮下静脉处呈现较暗的纹路，利用该静脉特征可以进行身份识别。静脉识别的主要特点是非侵入式的图像采集，具有较强的隐蔽性和防伪性，同时还具有活体验证功能。掌纹和掌静脉两种生物特征都位于手掌，相关性高，可以同时采集，将各自具有独特优势的生物特征识别技术进行融合，从而获得单一生物特征识别技术没有的全面性，提高身份识别的精度。专利技术人发现生物特征融合识别技术存在一个劣势，当其中一个模态的特征信息出现泄露时，会使整体识别性能比单一生物特征识别技术的性能差，影响整体识别精度和可靠性。

技术实现思路

[0004]本专利技术的目的在于提供一种基于掌纹掌静脉多模态融合的身份识别方法，运用“取长补短，优势互补”的思想，克服单一生物特征识别技术在某一方面的不足，以及目前生物特征融合识别技术存在一些安全性、稳定性、可靠性上的问题。本专利技术在进行掌纹和掌纹匹配识别的同时也进行掌纹和掌静脉的跨模态匹配识别，这种混合式的身份识别能够提高识别的准确度和可靠性，有助于更全面有效地保障和提高系统的整体性能，提高整体识别效率，使得认证和识别过程更加精准、安全，从而满足不同应用场景的需求，能够更加深入应用到对安全性要求较高的行业领域中。
[0005]实现本专利技术目的的技术解决方案为：一种基于掌纹掌静脉多模态融合的身份识别方法，包括以下步骤：
[0006]步骤1、采集n个人的手掌图像，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集中的手掌图像数量比例为1:1。
[0007]步骤2、对训练集中的手掌图像设置好配对标签，包括掌纹图像和掌纹图像的配对标签M1、掌纹图像和掌静脉图像的配对标签M2、两张掌纹图像和一张掌静脉图像的配对标
签M，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0。
[0008]步骤3、对测试集中的手掌图像设置好配对标签，包括两张掌纹图像和一张掌静脉图像的配对标签N，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0。
[0009]步骤4、构建初始掌纹和掌纹的单模态识别网络，利用初始掌纹和掌纹的单模态识别网络输出的预测值R1和与训练集中的掌纹图像和掌纹图像的配对标签 M1之间的差异，构建单模态损失函数L
unimodal
，对初始掌纹和掌纹的单模态识别网络进行训练，得到训练好的掌纹和掌纹的单模态识别网络。
[0010]步骤5、构建初始掌纹和掌静脉的跨模态识别网络，利用初始掌纹和掌静脉的跨模态识别网络输出的预测值R2与训练集中的掌纹图像和掌静脉图像的配对标签M2之间的差异，构建跨模态损失函数L
crossmodal
，对初始掌纹和掌静脉的跨模态识别网络进行训练，得到训练好的掌纹和掌静脉的跨模态识别网络。
[0011]步骤6、根据训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络，利用初始整体识别网络输出的预测值R与训练集中的两张掌纹图像和一张掌静脉图像的配对标签M之间的差异，构建整体损失函数L
total
，对初始整体识别网络进行训练，得到训练好的整体识别网络。
[0012]步骤7、计算训练好的整体识别网络在测试集上的识别准确度。
[0013]与现有技术相比，本专利技术的优点在于：
[0014]1)相比单一生物特征识别技术识别率较低、适用范围相对较窄的问题，本专利技术在单模态识别的基础上，创新性的提出了掌纹和掌静脉的跨模态识别，综合两种生物特征识别技术，掌纹和掌纹进行匹配识别的同时也进行掌纹和掌静脉的匹配识别，从而提高识别的范围、准确率和效率，提高整体系统的性能，满足不同应用场景的需求。
[0015]2)对于生物特征融合识别技术存在的一些缺点，如识别复杂，识别时间长，特征融合过程中，如果其中一个模态的特征信息出现泄露时，会使整体识别性能比单一生物特征识别技术的性能差，本专利技术创新性的提出了在掌纹和掌纹匹配识别的同时也进行掌纹和掌静脉的匹配识别的方法，不仅考虑了模态内的特征相关性，而且考虑了模态之间的特征相关性，能够提高识别效率和准确率，增强了系统的安全性，泛化能力和鲁棒性强。
[0016]3)本专利技术提出了一种混合式身份识别方法，将单模态损失函数L
unimodal
，跨模态损失函数L
crossmodal
，整体损失函数L
total
整合在统一的深度学习框架下，将训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络的预测结果经过一个与的投票机制，构建初始整体识别网络并训练，得到训练好的整体识别网络，训练好的掌纹和掌纹的单模态识别网络有时可能会出现识别错误，比如伪造掌纹就可能会识别成功，而训练好的掌纹和掌静脉的跨模态识别网络的加入会减少这种识别错误的次数，使训练好的整体识别网络的防伪度大大提高了，只要有一种训练好的识别网络的预测结果为0，最终都会使训练好的整体识别网络的预测结果为0，增加了训练好的整体识别网络的安全性，具有双重保障，使得认证和识别过程更加精准、安全，使其能够更加深入应用到对安全性要求较高的行业领域中。
附图说明
[0017]图1为一种基于掌纹掌静脉多模态融合的身份识别方法的流程图。
[0018]图2为训练初始掌纹和掌纹的单模态识别网络的框架图。
[0019]图3为训练初始掌纹和掌静脉的跨模态识别网络的框架图。
[0020]图4为训练初始整体识别网络的框架图。
[0021]图5为测试训练好的整体识别网络的框架图。
具体实施方式
[0022]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0023]结合图1～图5，本专利技术所述的一种基于掌纹掌静脉多模态融合的身份识别方法，包括以下步骤：
[0024]步骤1、采集n个人的手掌图像，200＜n＜500，每个人分别采集2a幅掌本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，包括以下步骤：步骤1、采集n个人的手掌图像，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集中的手掌图像数量比例为1:1；步骤2、对训练集中的手掌图像设置好配对标签，包括掌纹图像和掌纹图像的配对标签M1、掌纹图像和掌静脉图像的配对标签M2、两张掌纹图像和一张掌静脉图像的配对标签M，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0；步骤3、对测试集中的手掌图像设置好配对标签，包括两张掌纹图像和一张掌静脉图像的配对标签N，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0；步骤4、构建初始掌纹和掌纹的单模态识别网络，利用初始掌纹和掌纹的单模态识别网络输出的预测值R1和与训练集中的掌纹图像和掌纹图像的配对标签M1之间的差异，构建单模态损失函数L
unimodal
，对初始掌纹和掌纹的单模态识别网络进行训练，得到训练好的掌纹和掌纹的单模态识别网络；步骤5、构建初始掌纹和掌静脉的跨模态识别网络，利用初始掌纹和掌静脉的跨模态识别网络输出的预测值R2与训练集中的掌纹图像和掌静脉图像的配对标签M2之间的差异，构建跨模态损失函数L
crossmodal
，对初始掌纹和掌静脉的跨模态识别网络进行训练，得到训练好的掌纹和掌静脉的跨模态识别网络；步骤6、根据训练好的掌纹和掌纹的单模态识别网络、训练好的掌纹和掌静脉的跨模态识别网络构建初始整体识别网络，利用初始整体识别网络输出的预测值R与训练集中的两张掌纹图像和一张掌静脉图像的配对标签M之间的差异，构建整体损失函数L
total
，对初始整体识别网络进行训练，得到训练好的整体识别网络；步骤7、计算训练好的整体识别网络在测试集上的识别准确度。2.根据权利要求1所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤1中，采集n个人的手掌图像，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集中的手掌图像数量比例为1:1，具体如下：采集n个人的手掌图像，200<n<500，每个人分别采集2a幅掌纹图像和2a幅掌静脉图像10<a<40，建立图像数据库，并将数据库分为训练集和测试集，训练集和测试集的手掌图像数量比例为1:1，训练集X＝[x
p11
,x
p12
,x
p13
…
x
pij
；x
v11
,x
v12
,x
v13
…
x
vij
]，其中i表示人的编号，i＝1,2,3
…
n，j表示采集的手掌图像编号，j＝1,2,3
…
a，p表示采集的掌纹图像，v表示采集的掌静脉图像，x
pij
是训练集中第i个人的第j张掌纹图像，x
vij
是训练集中第i个人的第j张掌静脉图像；测试集Y＝[y
p11
,y
p12
,y
p13
…
y
pij
；y
v11
,y
v12
,y
v13
…
y
vij
]，y
pij
是测试集中第i个人的第j张掌纹图像，y
vij
是测试集中第i个人的第j张掌静脉图像。3.根据权利要求2所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤2中对训练集中的手掌图像设置好配对标签，包括掌纹图像和掌纹图像的配对标签M1、掌纹图像和掌静脉图像的配对标签M2、两张掌纹图像和一张掌静脉图像的配对标签M，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图
像的配对标签设置为0，具体如下：步骤2
‑
1、对两张掌纹图像设置好配对标签M1，首先设置正样本图像的配对标签，从训练集中随机抽取同一个人的两张掌纹图像，标签设置为1，即i表示人的编号，i＝1,2,3
…
n，r，d均表示抽取的第i个人的两张掌纹图像的编号，r＝1,2,3
…
a，d＝1,2,3
…
a，r≠d，是随机抽取的第i个人的第r张掌纹图像，是随机抽取的第i个人的第d张掌纹图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从训练集中随机抽取一个人的一张掌纹图像，再随机抽取另一个人的一张掌纹图像，两张掌纹图像不属于同一类别，标签设置为0，即i'表示人的编号，i'＝1,2,3
…
n，i≠i'，是随机抽取的第i'个人的第d张掌纹图像；步骤2
‑
2、对掌纹图像和掌静脉图像设置好配对标签M2，首先设置正样本图像的配对标签，从训练集中随机抽取一个人的一张掌纹图像和一张掌静脉图像，标签设置为1，即签，从训练集中随机抽取一个人的一张掌纹图像和一张掌静脉图像，标签设置为1，即是随机抽取的第i个人的第d张掌静脉图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从训练集中随机抽取一个人的一张掌纹图像，再随机抽取另一个人的一张掌静脉图像，两张手掌图像不属于同一类别，标签设置为0，即一个人的一张掌静脉图像，两张手掌图像不属于同一类别，标签设置为0，即是随机抽取的第i'个人的第d张掌静脉图像；步骤2
‑
3、对两张掌纹图像和一张掌静脉图像设置好配对标签M，首先设置正样本图像的配对标签，从训练集中随机抽取一个人的两张掌纹图像和一张掌静脉图像，三张手掌图像属于同一个人即同一类别，标签设置为1，即其中σ，μ均表示抽取的第i个人的掌纹图像的编号，γ表示抽取的第i个人的掌静脉图像的编号，σ＝1,2,3
…
a，μ＝1,2,3
…
a，γ＝1,2,3
…
a，σ≠μ，是随机抽取的第i个人的σ张掌纹图像，是随机抽取的第i个人的第μ张掌纹图像，是随机抽取的第i个人的第γ张掌静脉图像；设置好正样本图像的配对标签后，设置负样本图像的配对标签，从训练集中随机抽取不属于同一个人的两张掌纹图像和一张掌静脉图像，标签设置为0，即i”表示人的编号，i”＝1,2,3
…
n，i≠i'≠i”，是随机抽取的第i'个人的第μ张掌纹图像，是随机抽取的第i”个人的第γ张掌静脉图像。4.根据权利要求3所述的一种基于掌纹掌静脉多模态融合的身份识别方法，其特征在于，步骤3中对测试集中的手掌图像设置好配对标签，包括两张掌纹图像和一张掌静脉图像的配对标签N，属于同一个人的手掌图像即同一类别的手掌图像的配对标签设置为1，不同类别的手掌图像的配对标签设置为0，具体如下：对两张掌纹图像和一张掌静脉图像设置好配对标签N，首先是正样本图像的配对标签，从测试集中随机抽取一个人的两张掌纹图像和一张掌静脉图像，三张手掌图像属于同一类别，标签设置为1，即i表示人的编号，i＝1,2,3
…
n，σ，μ均表示抽取的第i个人的掌纹图像的编号，γ表示抽取的第i个人的掌静脉图像的编号，σ≠μ，表示随机抽取的第i个人的第σ张掌纹图像，表示随机抽取的第i个人的第μ张掌纹图像，表示表示随机抽取的第i个人的第γ张掌静脉图像；设置好正样本图像的配对标签后，设置负样本图...

【专利技术属性】
技术研发人员：王军，徐家梦，潘在宇，袁海，韩淑雨，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：