本申请提出一种模型训练方法、指纹图像处理方法、装置及电子设备，其中的模型训练方法将增强前后的非接触式指纹图像输入模型，在模型的卷积网络部分引入特征对齐约束，STN层引入几何对齐约束，利用预训练模型分别提取非接触式指纹和接触式指纹的图像特征，并约束两个特征相似，基于三部分的约束解对指纹图像处理模型进行训练以得到最优模型参数解，有效加快模型收敛，提升模型的泛化能力。提升模型的泛化能力。提升模型的泛化能力。
【技术实现步骤摘要】
一种模型训练方法、指纹图像处理方法、装置及电子设备
[0001]本专利技术属于图像处理领域，具体涉及一种模型训练方法、指纹图像处理方法、装置及电子设备。
技术介绍
[0002]指纹识别是生物识别领域的重要应用之一，过去的应用场景主要以接触式指纹为主，但接触式指纹识别存在明显缺陷，例如：卫生威胁、传感器因持续物理接触而退化以及潜在指纹威胁等问题。在此前接触式指纹的推行应用下，各式各样的场景已经积累了大量的接触式指纹，例如门禁考勤的身份认证等，而重新对非接触式指纹采集会耗费较多人力物力，这就要求非接触式指纹的产品，能够与现有的接触式指纹匹配。
[0003]接触式指纹与非接触式指纹的主要差异体现在两方面，第一，非接触式指纹采集过程会引入透视形变；第二，接触式指纹采集过程由于按压引起指纹图像的扭曲，因此现已提出不同方法对这两种形变进行矫正。其中一种矫正方法是提取非接触式指纹的特征生成相应的变换矩阵，利用空间变换网络(STN)进行空间变换。但由于不存在绝对配准的非接触式与接触式指纹的图像对，针对非接触式指纹的图像处理模型的训练，依赖于接触式指纹的特征提取，因此无法有效指导以非接触式指纹图像为输入的网络模型的在训练过程中对图像信息的学习。
技术实现思路
[0004]基于此，本专利技术提出一种模型训练方法、指纹图像处理方法、装置及电子设备，利用增强后的图像约束模型参数，使得经模型处理后的非接触式指纹图像与接触式指纹匹配度更高。
[0005]第一方面，本专利技术提供一种模型训练方法，该方法训练得到的指纹图像处理模型用于处理非接触式指纹图像，包括：
[0006]获取非接触式指纹的原始图像；
[0007]对原始图像进行数据增强变换，得到增强图像和几何变换矩阵；
[0008]把原始图像和增强图像分别输入指纹图像处理模型的卷积网络，对基于原始图像的输出与基于增强图像的输出进行特征对齐约束，得到第一约束解；
[0009]把基于原始图像的输出和基于增强图像的输出分别输入指纹图像处理模型的STN层，得到第一变换图像和第二变换图像，对第一变换图像和第二变换图像进行几何对齐约束，得到第二约束解；
[0010]利用预训练模型对第一变换图像和接触式指纹的原始图像进行特征提取，对非接触式指纹特征和接触式指纹特征进行特征约束，得到第三约束解；
[0011]基于第一约束解、第二约束解和第三约束解，对指纹图像处理模型进行参数优化，得到训练好的指纹图像处理模型。
[0012]优选地，把原始图像和增强图像分别输入指纹图像处理模型的卷积网络，对基于
原始图像的输出与基于增强图像的输出进行特征对齐约束，包括：
[0013]卷积网络包括三层串联的CNN；
[0014]把原始图像和增强图像分别依次输入三层CNN，在第一层CNN得到对应原始图像的第一特征图和对应增强图像的第二特征图；
[0015]根据几何变换矩阵对第一特征图进行数据增强变换，得到第三特征图；
[0016]对第二特征图和第三特征图进行特征对齐约束，得到第一约束解。
[0017]优选地，上述方法还包括：
[0018]把第一约束解作用于第二层CNN和/或第三层CNN。
[0019]优选地，把基于原始图像的输出与基于增强图像的输出分别输入指纹图像处理模型的STN层，得到第一变换图像和第二变换图像，包括：
[0020]基于原始图像的输出和基于增强图像的输出经过STN层分别得到第一纹理映射图和第二纹理映射图，把第一纹理映射图和第二纹理映射图分别作用于原始图像和增强图像，得到第一变换图像和第二变换图像。
[0021]优选地，指纹图像处理模型的STN层之后还串联有数据增强层，把第一变换图像输入预训练模型包括：
[0022]把第一变换图像输入数据增强层进行图像增强，把增强后的第一变换图像输入预训练模型。
[0023]优选地，基于第一约束解、第二约束解和第三约束解，对指纹图像处理模型进行参数优化，包括：
[0024]对第一约束解、第二约束解和第三约束解分别设置权重，使得指纹图像处理模型的约束表达如下：
[0025][0026]loss_total表示对指纹图像处理模型的总约束解，feature_align_loss、geometry_align_loss和id_loss分别表示第一约束解、第二约束解和第三约束解，α、β和分别对应第一约束解、第二约束解和第三约束解的权重；
[0027]基于上述约束表达计算，采用Adam优化器优化模型参数，得到训练好的指纹图像处理模型。
[0028]第二方面，本专利技术提供一种指纹图像处理方法，包括：
[0029]获取非接触指纹的原始图像；
[0030]利用第一方面的模型训练方法训练得到的指纹图像处理模型处理非接触指纹的原始图像，得到处理后的非接触指纹图像，用于与接触指纹图像匹配。
[0031]第三方面，本专利技术提供一种模型训练装置，包括：
[0032]图像获取单元，用于获取非接触式指纹的原始图像；
[0033]图像增强单元，用于对原始图像进行数据增强变换，得到增强图像和几何变换矩阵；
[0034]图像处理单元，内置有预训练模型和待训练的指纹图像处理模型，用于：
[0035]把原始图像和增强图像分别输入指纹图像处理模型的卷积网络，对基于原始图像的输出与基于增强图像的输出进行特征对齐约束，得到第一约束解；
[0036]把基于原始图像的输出和基于增强图像的输出分别输入指纹图像处理模型的STN
网络，得到第一变换图像和第二变换图像，对第一变换图像和第二变换图像进行几何对齐约束，得到第二约束解；
[0037]利用预训练模型对第一变换图像和接触式指纹的原始图像进行特征提取，对非接触式指纹特征和接触式指纹特征进行特征约束，得到第三约束解；
[0038]基于第一约束解、第二约束解和第三约束解，对指纹图像处理模型进行参数优化，得到训练好的指纹图像处理模型。
[0039]第四方面，本专利技术提供一种指纹图像处理装置，包括：
[0040]图像获取单元，用于获取非接触式指纹的原始图像；
[0041]图像处理单元，用于利用由第三方面的模型训练装置训练得到的指纹图像处理模型处理非接触式指纹的原始图像，得到处理后的非接触指纹图像，用于与接触指纹图像匹配。
[0042]第五方面，本专利技术提供一种电子设备，包括：存储器和处理器；
[0043]所述存储器，用于存储程序；
[0044]所述处理器，用于调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的模型训练方法，或，执行上述第二方面实施例提供的指纹图像处理方法。
[0045]第六方面，本专利技术还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法训练得到的指纹图像处理模型用于处理非接触式指纹图像，包括：获取非接触式指纹的原始图像；对所述原始图像进行数据增强变换，得到增强图像和几何变换矩阵；把所述原始图像和增强图像分别输入指纹图像处理模型的卷积网络，对基于原始图像的输出和基于增强图像的输出进行特征对齐约束，得到第一约束解；把所述基于原始图像的输出和基于增强图像的输出分别输入指纹图像处理模型的STN层，得到第一变换图像和第二变换图像，对所述第一变换图像和第二变换图像进行几何对齐约束，得到第二约束解；利用预训练模型对所述第一变换图像和接触式指纹的原始图像进行特征提取，对非接触式指纹特征和接触式指纹特征进行特征约束，得到第三约束解；基于所述第一约束解、第二约束解和第三约束解，对指纹图像处理模型进行参数优化，得到训练好的指纹图像处理模型。2.根据权利要求1所述的模型训练方法，其特征在于，把所述原始图像和增强图像分别输入指纹图像处理模型的卷积网络，对基于原始图像的输出和基于增强图像的输出进行特征对齐约束，得到第一约束解，包括：所述卷积网络包括三层串联的CNN；把所述原始图像和增强图像分别依次输入三层CNN，在第一层CNN得到对应原始图像的第一特征图和对应增强图像的第二特征图；根据所述几何变换矩阵对所述第一特征图进行数据增强变换，得到第三特征图；对所述第二特征图和第三特征图进行特征对齐约束，得到第一约束解。3.根据权利要求2所述的模型训练方法，其特征在于，所述方法还包括：把第一约束解作用于第二层CNN和/或第三层CNN。4.根据权利要求1所述的模型训练方法，其特征在于，把所述基于原始图像的输出和基于增强图像的输出分别输入指纹图像处理模型的STN层，得到第一变换图像和第二变换图像，包括：基于原始图像的输出和基于增强图像的输出经过STN层分别得到第一纹理映射图和第二纹理映射图，把所述第一纹理映射图和第二纹理映射图分别作用于所述原始图像和增强图像，得到所述第一变换图像和第二变换图像。5.根据权利要求1所述的模型训练方法，其特征在于，所述指纹图像处理模型的STN层之后还串联有数据增强层，把所述第一变换图像输入预训练模型之前包括：把所述第一变换图像输入所述数据增强层进行图像增强，增强后的第一变换图像作为所述预训练模型的输入。6.根据权利要求1所述的模型训练方法，其特征在于，基于所述第一约束解、第二约束解和第三约束解，对指纹图像处理模型进行参数优化，包括：对...
【专利技术属性】
技术研发人员：林晓清，陈名亮，杨奇，刘辉，陈书楷，
申请(专利权)人：厦门熵基科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。