一种低质量指纹图像的增强处理方法技术

本发明专利技术公开了一种低质量指纹图像的增强处理方法，涉及图像处理技术领域，该方法包括：基于指纹图像生成软件制作数据集；构建迁移学习第一阶段和第二阶段的网络结构；基于由全局损失函数和局部损失函数构成的损失函数对第一阶段和第二阶段的UNet++网络进行训练；利用训练完成的第二阶段UNet++网络对待增强的低质量指纹图像进行增强。本发明专利技术基于全局和局部差异设计损失函数，使得模型可以学习到指纹脊线等局部细节，提高了指纹图像增强时对指纹脊线方向估计的准确性；除此之外，通过迁移学习训练UNet++网络模型，确保模型能够学习到足够的数据样本，减少过拟合风险，提高模型的泛化能力。能力。能力。

【技术实现步骤摘要】
一种低质量指纹图像的增强处理方法


[0001]本专利技术涉及图像处理
，特别涉及一种低质量指纹图像的增强处理方法。

技术介绍

[0002]生物特征识别技术，是指采用计算机等电子设备利用人体固有的生理特征如：指纹、虹膜、面相等来进行个人身份鉴定的技术，目前广泛应用于各个领域。其中，指纹识别应用最为普及。但在进行指纹识别时，如果所获取的指纹不清晰就会对识别精度造成影响，因此就需要对所获的低质量指纹图像进行增强。
[0003]指纹图像超分辨率增强是一种通过提升指纹图像的像素密度增强其可见细节的图像处理技术，它是根据输入的低分辨率指纹图像中的已知细节来推测出其它可能的更多特征。神经网络是实现指纹图像超分辨率增强的方法之一，其原理是通过训练大量的指纹图像数据学习指纹图像中的梯度、脊线等特征，然后生成特定方向的指纹脊线并且过滤掉多余的噪声。
[0004]但是，指纹的形态结构复杂，包含大量的细节纹理，在进行网络训练时，传统的损失函数仅基于图像的像素级别的整体差异来指导模型训练，不考虑指纹脊线等局部细节差异，因此使用传统损失函数所训练的模型无法学习到局部脊线差异等细节特征，导致模型对低质量指纹图像的增强效果不理想；除此之外，对神经网络模型只训练一次可能存在模型过拟合的风险，从而导致模型的泛化能力弱。

技术实现思路

[0005]本专利技术提供一种低质量指纹图像的增强处理方法，可以解决现有技术中，使用神经网络模型进行指纹图像增强时，传统损失函数不考虑指纹脊线局部细节和模型泛化能力弱的问题。
[0006]本专利技术提供一种低质量指纹图像的增强处理方法，包括以下步骤:
[0007]构建配对的低质量指纹图像和高质量指纹图像数据集，所述数据集包括第一数据集和第二数据集；
[0008]通过迁移学习，训练第一阶段和第二阶段的具有嵌套结构且能进行低高级特征融合的UNet++网络模型，所述第一阶段和第二阶段的网络结构相同；
[0009]训练第一阶段UNet++网络：随机设定初始权重，将第一数据集中的低质量指纹图像输入第一阶段UNet++网络结构中，输出增强后的图像，通过损失函数计算增强后的图像与对应高质量指纹图像之间的误差，对误差进行反向传播，迭代更新第一阶段UNet++网络中的权重，迭代次数达到设定次数后，获得第一阶段UNet++网络的最终权重；
[0010]训练第二阶段UNet++网络：将所述第一阶段网络的最终权重作为第二阶段网络的初始权重，将第二数据集输入第二阶段UNet++网络中，基于损失函数进行训练；
[0011]所述第一阶段和第二阶段的UNet++网络训练过程中所使用的损失函数是基于全局损失和局部损失进行改进后的损失函数：
[0012]Loss＝Loss
Total
+Loss
Total
ꢀꢀꢀꢀꢀꢀ
(1)
[0013]其中，
[0014]Loss
Total
是根据增强后图像和对应的高质量指纹图像之间的方向梯度损失、方向场损失、由指纹图像背景场转化的连续向量场损失得到的全局损失；
[0015]Loss
Local
是将增强后图像和对应的高质量指纹图像划分成2
×
2不重叠的图像块和，根据对应图像块和之间的方向梯度损失、方向场损失、由指纹图像背景转化的连续向量场损失得到的局部损失；
[0016]利用训练完成的第二阶段UNet++网络对待增强的低质量指纹图像进行增强处理，获得增强的指纹图像。
[0017]进一步的，所述构建配对的低质量指纹图像和高质量指纹图像数据集，具体包括：
[0018]利用图像生成软件Anguli生成若干张的高质量指纹图像；
[0019]对所述若干张的高质量指纹图像添加噪声和折痕，得到对应的低质量指纹图；
[0020]通过对匹配若干对的高、低质量指纹图像执行圆角裁剪或旋转操作，使其形状变为圆形；
[0021]将获得的若干对圆形高、低质量指纹图像划分，其中一半作为第一阶段模型训练时所用的数据集，剩余一半作为第二阶段模型训练时所用的数据集。
[0022]进一步的，所述UNet++网络结构，包括：
[0023]六个卷积块，所述卷积块均包含两层卷积，所述卷积块用于对输入的低质量指纹图像进行卷积；
[0024]五个第一反卷积块，所述第一反卷积块包含至少一个反卷积层，所述第一反卷积块用于对所述卷积层的输出进行反卷积；
[0025]五个第二反卷积块，所述第二反卷积块包含至少一个反卷积层和一个卷积层；所述第二反卷积块用于将所述第一反卷积块的输出恢复到原始指纹图像大小；
[0026]输出层。
[0027]进一步的，所述第二反卷积块中的卷积层所用的激活函数为sigmoid。
[0028]进一步的，所述输出层的输出为：
[0029][0030]其中，C
i
是所述各第二反卷积块的输出。
[0031]进一步的，所述全局损失，包括：
[0032]Loss
Total
＝E
grad
(F
t
，F
r
)+λ(E
ori
+E
rel
)
ꢀꢀꢀꢀ
(3)
[0033]其中，
[0034][0035][0036][0037]其中：
[0038]F
t
是目标图像，即与输入低质量指纹图像对应的高质量指纹图像；
[0039]F
r
是重建图像，即对输入低质量指纹图像增强后得到的图像；
[0040]S
θ
为不同方向的Sobel算子，e表示卷积操作，Ω＝{0，45，90，135}，E
grad
(F
t
，F
r
)是目标图像和重建图像之间的方向梯度损失；
[0041]Θ(F
t
)是目标图像的方向场，Θ(F
r
)是重建图像的方向场，n为像素点的个数，E
ori
是目标图像和重建图像的方向场损失；
[0042]R(F
t
)是由目标图像背景场转化得到的连续向量场，R(F
r
)是由重建图像背景场转化得到的连续向量场，E
rel
是目标图像和重建图像由背景场转化得到的连续向量场损失；
[0043]λ是对E
rel
和E
ori
进行正则化的超参数。
[0044]进一步的，所述局部损失，包括：
[0045][0046]其中：
[0047]是划分后大小为2
×
2的目标图像；
[0048]是划分后大小为2
×
2的重建图像；
[0049]是划分后大小为2
×
2目标图像和重建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低质量指纹图像的增强处理方法，其特征在于，包括:构建配对的低质量指纹图像和高质量指纹图像数据集，所述数据集包括第一数据集和第二数据集；通过迁移学习，训练第一阶段和第二阶段的具有嵌套结构且能进行低高级特征融合的UNet++网络模型，所述第一阶段和第二阶段的网络结构相同；训练第一阶段UNet++网络：随机设定初始权重，将第一数据集中的低质量指纹图像输入第一阶段UNet++网络结构中，输出增强后的图像，通过损失函数计算增强后的图像与对应高质量指纹图像之间的误差，对误差进行反向传播，迭代更新第一阶段UNet++网络中的权重，迭代次数达到设定次数后，获得第一阶段UNet++网络的最终权重；训练第二阶段UNet++网络：将所述第一阶段网络的最终权重作为第二阶段网络的初始权重，将第二数据集输入第二阶段UNet++网络中，基于损失函数进行训练；所述第一阶段和第二阶段的UNet++网络训练过程中所使用的损失函数是基于全局损失和局部损失进行改进后的损失函数：Loss＝Loss
Total
+Loss
Local
ꢀꢀꢀꢀ
(1)其中，Loss
Total
是根据增强后图像和对应的高质量指纹图像之间的方向梯度损失、方向场损失、由指纹图像背景场转化的连续向量场损失得到的全局损失；Loss
Local
是将增强后图像和对应的高质量指纹图像划分成2
×
2不重叠的图像块和，根据对应图像块和之间的方向梯度损失、方向场损失、由指纹图像背景转化的连续向量场损失得到的局部损失；利用训练完成的第二阶段UNet++网络对待增强的低质量指纹图像进行增强处理，获得增强的指纹图像。2.如权利要求1所述的一种低质量指纹图像的增强处理方法，其特征在于，所述构建配对的低质量指纹图像和高质量指纹图像数据集，具体包括：利用图像生成软件Anguli生成若干张的高质量指纹图像；对所述若干张的高质量指纹图像添加噪声和折痕，得到对应的低质量指纹图；通过对匹配若干对的高、低质量指纹图像执行圆角裁剪或旋转操作，使其形状变为圆形；将获得的若干对圆形高、低质量指纹图像划分，其中一半作为第一阶段模型训练时所用的数据集，剩余一半作为第二阶段模型训练时所用的数据集。3.如权利要求1所述的一种低质量指纹图像的增强处理方法，其特征在于，所述UNet++网络结构，包括：六个卷积块，所述卷积块均包含两层卷积，所述卷积块用于对输入的低质量指纹图像进行卷积；五个第一反卷积块，所述第一反卷积块包含至少一个反卷积层，所述第一反卷积块用于对所述卷积层的输出进行反卷积；五个第二反卷积块，所述第二反卷积块包含至少一个反卷积层和一个卷积层；所述第二反卷积块用于将所述第一反卷积块的输出恢复到原始指纹图像大小；输出层...

【专利技术属性】
技术研发人员：赵生慧，朱之强，赵亮，刘进军，赵玉艳，
申请(专利权)人：滁州学院，
类型：发明
国别省市：