【技术实现步骤摘要】
本专利技术提出一种基于vilt多模态模型的电子签名笔迹鉴定方法，尤其涉及笔迹鉴定。
技术介绍
1、电子签名是一种通过电子书写设备的手写笔书写而形成的电子化签名，其笔迹信息是由电子签名数据信息和电子签名图像信息两部分组成。电子签名数据信息是指电子设备所记录的、与整个书写过程有关的、由一系列变化量组成的数据组；电子签名图像信息是指通过保存截图导出pdf、jpg等方式，将电子签名笔迹的轮廓形态记录下来，从而体现电子签名笔迹形态特征的图像信息。
2、手写笔触碰书写设备的触控屏时，采集设备会以固定的时间间隔采集笔尖在屏幕上的位置坐标，并记录为单个数字或x轴、y轴坐标数据对。通过这些数据，可以确定笔画轨迹、书写顺序等，包括数据点数量、位置坐标、每个笔画的起始位置、获取的数据和书写时间等。采集设备还能记录采集点的力度数值，反映书写的力度大小。因此，电子签名数据信息包括书写轨迹的位置坐标和力度信息，可以用来判断书写速度、加速度、笔力等动作特征，对于分析书写者的个人属性及书写时的具体状态具有重要作用，为电子签名笔迹的检验提供依据。
3、目前，传统的签名笔迹鉴定方法依赖于单一的数据模态，难以有效应对签名伪造和欺诈的风险。随着人工智能技术的发展，基于多模态数据的深度学习方法已经取得了显著进展。因此，本专利技术即一种基于vilt多模态模型的电子签名笔迹鉴定方法，具有重要的现实意义和应用价值。
技术实现思路
1、针对现有技术中存在的技术问题，本专利技术提出一种基于vilt多模态模型的
2、本专利技术所采取的技术方案如下：一种基于vilt多模态模型的电子签名笔迹鉴定方法，其步骤为：
3、s1：通过电子书写设备采集当事人使用手写笔书写形成的电子签名笔迹信息，包括电子签名数据信息和电子签名图像信息；电子签名数据信息包括笔迹位置信息的x轴、y轴的数据、笔迹压力信息的z轴数据，电子签名图像信息是指电子签名图像。
4、s2：分别对采集的当事人电子签名数据信息和电子签名图像信息进行预处理；电子数据信息进行整理统计、转换格式、校正数据预处理，电子图像信息进行噪声消除、图像二值化、字符归一化、签名区域提取以及图像大小归一化预处理。
5、s21：根据x轴、y轴的数据，还原出书写运动的轨迹，计算出两个数据点之间的距离，并生成距离随时间变化的示意图，通过图表即可明确速度大小及变化；根据z轴的数据，生成笔力随时间变化的示意图；最后，采用excel表格分析法对以上电子签名数据信息进行校正整理。
6、s22：采用双边滤波对电子签名图像进行噪声消除；采用可变阈值法处理电子签名图像，确保签名笔画信息不丢失；采用双线性插值算法缩小图像并将所有的签名图像调整为统一的大小。
7、s3：将预处理后的当事人电子签名笔迹信息作为样本，使用k-fold交叉验证增大训练数据量，依托样本建立数据集，并将数据集划分为训练集与验证集；
8、s4：构建基于transformer网络的多模态学习模型即vilt多模态模型，将电子签名数据信息作为模型的文本特征部分输入，将电子签名图像信息作为模型的图像特征部分输入；
9、s41：vilt多模态模型是一种结合视觉和语言的模型，模型结构包括输入表示模块、联合编码器、图像位置编码模块，
10、s42：输入表示模块：包括图像信息嵌入层和数据信息嵌入层两个部分，图像信息嵌入层是将电子签名图像分块处理，每块称为一个patch，每个patch都被线性嵌入为固定长度的向量，数据信息嵌入层被分词处理，并通过嵌入层将文本转换为向量表示；
11、s43：联合编码器：vilt多模态模型采用单一的transformer，该transformer模型由多个自注意力层组成，具体组成包括多头自注意力机制、前馈神经网络、层归一化和残差连接；
12、s44：位置编码模块：由于transformer本身对输入的顺序不敏感，因此加入位置编码以区分输入元素的顺序，在vilt中，视觉和语言的输入都需要加入各自的位置信息：图像块位置编码：为每个图像块patch添加在原始图像中的位置信息；文本词位置信息：文本输入加入位置信息，以标识单词在句子中的顺序；
13、s45：对于输入的电子签名图像将在嵌入层被划分为若干个patches，作为若干组向量输入至transformer编码器中，电子签名图像全部为统一要求的像素大小，即将图片划分为若干块1的灰度图像；众像素patch通过线性变换映射到一维向量，最终得到一个规格压缩后的矩阵，实现对图像patch的降维处理；得到包含全部图像数据的矩阵后再次对其展平，得到的向量方便后续transformer编码器进行后续处理；
14、s46：对于输入的电子签名数据信息在电子数据嵌入层依照对应编号划分序列长度，每一个序列维度对应着单个种类的电子数据信息，由于电子签名数据本身就是一维信息，不需要进行向量化运算，将全部电子签名数据进行一次展平即可送入后续的运算过程，输入添加位置编码与模态编码后，添加可学习的分类编码后送入transformer编码器进行特征抽取，并由多层感知器部分建立多模态输入信息与生成电子签名图像之间的非线性映射关系。
15、s5：将样本中电子数据信息与电子图像信息分别送入vilt多模态模型，训练模型；其中，电子签名数据信息使用word embedding进行数据的特征转换，并加上位置编码传递给transformer编码器进行特征提取；电子签名图像信息使用patch embedding，并添加位置编码，最后同样传递给transformer编码器进行注意力机制的计算；vilt多模态模型训练前需要设置超参数，包括训练次数、批大小、学习率以及正则化参数。
16、s6：通过依托验证集对模型进行优化和参数调整；
17、s7：将需要鉴定的当事人电子签名笔迹作为检材，获取检材的电子签名数据信息和电子签名图像信息并送入经过训练并优化后的vilt多模态模型，得出检测结果即电子签名笔迹相似度数值；
18、s8：依据笔迹鉴定的国家标准，得到对应的检测结果。
19、依据笔迹鉴定的国家标准，将检测结果对应为确定性意见、非确定性意见和无法判断等三类九种，具体评价标准如下。
20、①当模型对检材的检测结果>90％时，判断为确定性意见，作出肯定同一的鉴定意见；
21、②当85％<模型对检材的检测结果≤90％时，判断为非确定性意见，作出极可能同一的鉴定意见；
22、③当80％<模型对检材的检测结果≤85％，判断为非确定性意见，作出很可能同一，即倾向肯定同一的鉴定意见；
23、④当70％本文档来自技高网...
【技术保护点】
1.一种基于VILT多模态模型的电子签名笔迹鉴定方法，其特征在于，其步骤为：
2.根据权利要求1所述的一种基于VILT多模态模型的电子签名笔迹鉴定方法，其特征在于，所述的S1中，电子签名数据信息包括笔迹位置信息的X轴、Y轴的数据、笔迹压力信息的Z轴数据，电子签名图像信息是指电子签名图像。
3.根据权利要求1所述的一种基于VILT多模态模型的电子签名笔迹鉴定方法，其特征在于，所述的S2中，电子数据信息进行整理统计、转换格式、校正数据预处理，电子图像信息进行噪声消除、图像二值化、字符归一化、签名区域提取以及图像大小归一化预处理。
4.根据权利要求3所述的一种基于VILT多模态模型的电子签名笔迹鉴定方法，其特征在于，所述的S2中具体方法为：
5.根据权利要求1所述的一种基于VILT多模态模型的电子签名笔迹鉴定方法，其特征在于，所述的S4具体方法为：
6.根据权利要求1所述的一种基于VILT多模态模型的电子签名笔迹鉴定方法，其特征在于，所述的S5中，VILT多模态模型训练前需要设置超参数，包括训练次数、批大小、学习率以及正则化参
7.根据权利要求1所述的一种基于VILT多模态模型的电子签名笔迹鉴定方法，其特征在于，所述的S8中，
...【技术特征摘要】
1.一种基于vilt多模态模型的电子签名笔迹鉴定方法，其特征在于，其步骤为：
2.根据权利要求1所述的一种基于vilt多模态模型的电子签名笔迹鉴定方法，其特征在于，所述的s1中，电子签名数据信息包括笔迹位置信息的x轴、y轴的数据、笔迹压力信息的z轴数据，电子签名图像信息是指电子签名图像。
3.根据权利要求1所述的一种基于vilt多模态模型的电子签名笔迹鉴定方法，其特征在于，所述的s2中，电子数据信息进行整理统计、转换格式、校正数据预处理，电子图像信息进行噪声消除、图像二值化、字符归一化、签名区域提取以及图像大小归一化预处理。<...
【专利技术属性】
技术研发人员：许超，贠祥宇，赵嵩，李佳骏，佟春妍，张虹煜，
申请(专利权)人：辽宁大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。