基于孪生视觉Transformer网络的签名鉴定方法和系统技术方案

本发明专利技术人工智能、计算机模式识别领域，具体涉及基于孪生视觉Transformer网络的签名鉴定方法和系统，该方法包括步骤：签名图片预处理；对签名进行真真、真伪配对，构建数据集；构建孪生多尺度视觉Transformer神经网络模型；对模型进行训练；使用模型进行签名鉴定。本方法与传统的方法相比，采用了深度学习领域的视觉Transformer模型作为骨干网络，并改进提出了多尺度分块方法，可以更好的提取签名的特征，提高了鉴定的精度；同时采用端到端的方式，输入两张对比的图片，即可输出距离用于真伪判定，不需要额外训练分类器或者使用其他度量算法，使得模型易于训练和使用。使得模型易于训练和使用。使得模型易于训练和使用。

【技术实现步骤摘要】
基于孪生视觉Transformer网络的签名鉴定方法和系统


[0001]本专利技术涉及人工智能、计算机模式识别领域，具体涉及基于孪生视觉Transformer网络的 签名鉴定方法和系统。

技术介绍

[0002]手写签名鉴定(Hand
‑
written Signature Verification,HSV)也称为手写签名验证、手写签名鉴 别，简单来说就是：判定一个待鉴定签名相对于特定的真实签名而言，是真实的还是伪造的。 手写签名鉴定根据签名的获取方式，可以分为在线和离线，前者需要通过特定设备采集，采 集的签名包含了笔画速度、压力等动态信息；而后者一般是将纸张上的签名扫描后得到的图 片，只包含静态信息。在线签名的鉴定相对简单，目前已经有实际应用，通常用来判断一个 是否是其本人；而离线签名由于缺失了动态信息，使其鉴定难度更大。本专利技术针对是离线签 名的鉴定。
[0003]在刑侦、司法、金融、行政等领域，时常需要鉴定某离线手写签名是否是当事人的真实 签名。现在普遍使用的方法是专家鉴定，但是这种方法成本高，耗费人力。
[0004]近30年来，许多基于计算机视觉、特征工程、图像处理的方法被应用到该领域，这些方 法往往是使用手工特征对签名图片进行特征提取，得到特征向量，再使用机器学习算法对特 征向量进行分类，从而鉴定签名的真假。不过这些传统手工特征，例如局部二局模式(LocalBinary Pattern，LBP)、灰度共生矩阵(Gray Level Co
‑
occurrence Matrix，GLCM)等，往往不能 很好的提取签名图片的全部特征，导致丢失了签名图片的一些重要的信息，因此鉴定准确率 往往不高，例如把伪造的签名鉴定为真，或者把真实的签名误报成伪。
[0005]随着人工智能(Artificial Intelligence，AI)技术的快速发展，人们开始尝试使用AI解决手 写签名鉴定问题。近年来，许多基于卷积神经网络(Convolutional Neural Network，CNN)的方 法开始陆续出现，它们通常是训练CNN作为特征提取器，以代替传统的手工特征，然后再利 用得到的特征针对每个用户训练分类器，以此鉴定签名是否属于某个特定用户，但是这类方 法需要分阶段训练，而且受限于CNN自身的缺陷，例如容易陷入局部最优解、网络过深时难 以训练等，鉴定准确率还有提升空间。

技术实现思路

[0006]为解决现有技术所存在的技术问题，本专利技术提供基于孪生视觉Transformer网络的签名鉴 定方法和系统，通过构建孪生视觉Transformer网络模型，基于孪生网络架构，使用改进多尺 度视觉Transformer作为骨干网络，使用多层感知机进行距离计算，使其可以获取更加丰富的 不同尺度的特征，更好的提取签名的特征，提高了签名鉴定的精度，提高了签名鉴定准确率。
[0007]本专利技术的第一个目的在于提供基于孪生视觉Transformer网络的签名鉴定方法。
[0008]本专利技术的第二个目的在于提供基于孪生视觉Transformer网络的签名鉴定系统。
[0009]本专利技术的第一个目的可以通过采取如下技术方案达到：
[0010]基于孪生视觉Transformer网络的签名鉴定方法，所述方法包括：
[0011]S1、签名图片预处理，将签名图片等比缩放，采用基于统计的阈值对签名图片进行二值 化；
[0012]S2、对每个签名的真实签名照片、伪造签名照片进行配对，得到每个签名的正样本和负 样本，构建样本数据集；
[0013]S3、构建孪生视觉Transformer网络模型，孪生视觉Transformer网络模型为基于孪生网 络架构，使用改进多尺度视觉Transformer作为骨干网络，使用多层感知机进行距离计算的神 经网络模型；
[0014]S4、采用样本数据集对孪生视觉Transformer网络模型进行训练，使用梯度下降的逼近方 法使得孪生视觉Transformer网络模型收敛；
[0015]S5、使用训练后的孪生视觉Transformer网络模型对待鉴定签名图片进行鉴定，输出鉴定 结果。
[0016]优选地，所述孪生视觉Transformer网络模型使用端到端的孪生网络架构，将参考签名图 片和待鉴定签名图片分别输入改进的多尺度视觉Transformer得到两个特征向量，将两个特征 向量做差后取绝对值并输入多层感知机，输出两张签名图片的距离。
[0017]优选地，所述改进的多尺度视觉Transformer有3个不同尺度，采用无重叠的切割方法对 图片分块；将原始视觉Transformer的最后分类层移除，直接输出特征向量作为签名图片的特 征，将3个不同尺度的Transformer输出的特征向量进行融合。
[0018]本专利技术的第二个目的可以通过采取如下技术方案达到：
[0019]基于孪生视觉Transformer网络的离线手写签名鉴定系统，包括：
[0020]签名图片预处理模块，用于签名图片预处理，将签名图片等比缩放，采用基于统计的阈 值对签名图片进行二值化；
[0021]签名图片配对模块，用于对每个签名的真实签名照片、伪造签名照片进行配对，得到每 个签名的正样本和负样本，构建样本数据集；
[0022]模型构建模块，用于构建孪生视觉Transformer网络模型，孪生视觉Transformer网络模 型为基于孪生网络架构，使用改进多尺度视觉Transformer作为骨干网络，使用多层感知机进 行距离计算的神经网络模型；
[0023]模型训练模块，用于采用样本数据集对孪生视觉Transformer网络模型进行训练，使用梯 度下降的逼近方法使得孪生视觉Transformer网络模型收敛；
[0024]签名鉴定模块，用于使用训练后的孪生视觉Transformer网络模型对待鉴定签名图片进行 鉴定，输出鉴定结果；
[0025]所述孪生视觉Transformer网络模型使用端到端的孪生网络架构，将参考签名图片和待鉴 定签名图片分别输入改进的多尺度视觉Transformer得到两个特征向量，将两个特征向量做差 后取绝对值并输入多层感知机，输出两张签名图片的距离；所述改进的多尺度视觉Transformer 有3个不同尺度，采用无重叠的切割方法对图片分块；将原始ViT的最后分类层移除，直接 输出特征向量作为签名图片的特征，将3个不同尺度的Transformer输出的特征向量进行融合。
[0026]本专利技术与现有技术相比，具有如下优点和有益效果：
[0027]1、相对于传统人工选择的特征和卷积神经网络提取的特征，本专利技术通过以视觉 Transformer网络作为骨干网络，使用了多尺度的分块方式，使其可以获取更加丰富的不同尺 度的特征，更好的提取签名的特征，提高了签名鉴定的精度，提高了签名鉴定准确率。
[0028]2、传统的方法大多是把特征提取器和分类器分开训练，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于孪生视觉Transformer网络的签名鉴定方法，其特征在于，所述方法包括：S1、签名图片预处理，将签名图片等比缩放，采用基于统计的阈值对签名图片进行二值化；S2、对每个签名的真实签名照片、伪造签名照片进行配对，得到每个签名的正样本和负样本，构建样本数据集；S3、构建孪生视觉Transformer网络模型，孪生视觉Transformer网络模型为基于孪生网络架构，使用改进多尺度视觉Transformer作为骨干网络，使用多层感知机进行距离计算的神经网络模型；S4、采用样本数据集对孪生视觉Transformer网络模型进行训练，使用梯度下降的逼近方法使得孪生视觉Transformer网络模型收敛；S5、使用训练后的孪生视觉Transformer网络模型对待鉴定签名图片进行鉴定，输出鉴定结果。2.根据权利要求1所述的签名鉴定方法，其特征在于，所述将签名图片等比缩放包括：将签名图片等比缩放为固定大小，使每一张签名图片居中嵌入在固定大小的白色背景图片中，当签名图片周围有空白就填充显示背景的白色；所述阈值通过在原始签名图片中进行抽样获取，对于每张原始签名图片的所有像素点，每间隔若干个像素点进行采样，取所有采样点的灰度值的平均数作为阈值T。3.根据权利要求2所述的签名鉴定方法，其特征在于，所述采用基于统计的阈值对签名图片进行二值化包括：对于签名图片中的每个像素点进行二值化，当像素点灰度值小于0.8
×
T，则令像素点为黑色0，当大于0.8
×
T则令像素点为白色255。4.根据权利要求1所述的签名鉴定方法，其特征在于，所述步骤S2包括：将每个签名的若干张真实签名照片两两配对得到正样本，正样本的标签为0；将每个签名的若干张真实签名和若干张伪造签名进行两两配对得到负样本，负样本标签为1；将正样本和负样本构建为样本数据集。5.根据权利要求1所述的签名鉴定方法，其特征在于，所述孪生视觉Transformer网络模型使用端到端的孪生网络架构，将参考签名图片和待鉴定签名图片分别输入改进的多尺度视觉Transformer得到两个特征向量，将两个特征向量做差后取绝对值并输入多层感知机，输出两张签名图片的距离。6.根据权利要求5所述的签名鉴定方法，其特征在于，所述改进的多尺度视觉Transformer有3个不同尺度，采用无重叠的切割方法对图片分块；将原始视觉Transformer的最后分类层移除，直接输出特征向量作为签名图片的特征，将3个不同尺度的视觉Transformer输出的特征向量进行融合。7.根据权利要求6所述的签名鉴定方法，其特征在于，所述改进的多尺度视觉Transformer的3个不同尺度分别是8
×
16、16
×<...

【专利技术属性】
技术研发人员：权利要求书二页说明书八页附图三页，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：