【技术实现步骤摘要】
本专利技术属于计算机，尤其涉及一种基于双模态特征融合的电子签名笔迹来源分类方法及系统。
技术介绍
1、随着信息技术不断发展，电子签名的应用越来越广泛，对电子文件进行篡改、伪造的现象也随之不断增加。因此电子签名的攻击检测技术应运而生，以保证签名信息的可信性。特定场景下如检察办案、金融安全交易过程中会生成电子化签名的多模态数据，包括签名笔迹的静态图像数据、签名笔迹的动态序列数据等。这些多模态数据依赖相同场景、同步生成，具有数据结构一致性，任何事后的篡改、替换攻击将会导致可靠性的损毁。
2、电子化签名笔迹中，采用机械臂临摹和套摹的方式签名出与自然手写高度相仿的字迹，是两类常见的电子签名攻击形式。机械臂临摹攻击中，采用高精度机械臂模拟真实签名完成自动书写过程，学习模拟人类的书写动作和笔迹特征，包括笔画的形状、压力、速度和节奏等，产生非常接近人类签名的笔迹。套摹攻击中，实施者研究学习真实签名样本的线条、压力和书写习惯等方面的细微特征，使用各种工具(如复写)和技术(学习笔迹特征)来复制或模仿这些特征。两种攻击方式都使得伪造的签名与原始签名难以区分，传统的分类方法很难对上述字迹进行判别分类。因此提取自然手写、套摹手写、机器临摹等不同模式下签名的深度特征，训练出强鲁棒的分类模型，实现电子化签名攻击识别对于确保签名安全的重要性不可忽视。
3、现有针对常规的电子签名笔迹鉴别方法，基本都是采用深度学习的方法将笔迹鉴别任务当作一个简单的二分类问题处理，判断签名笔迹是否属于某人亲笔所写，但是这些方法无法对采用机械臂临摹和套摹攻击方
4、通过上述分析，现有技术存在的问题及缺陷为：现有方法并未充分有效的利用签名的多模态数据之间的相互关联性、互补性、一致性等特征性，无法捕捉到手写电子化签名数据中更深层次的模态表征信息。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种基于双模态特征融合的电子签名笔迹来源分类方法及系统，能够对特定场景下的电子化签名数据进行自然手写签名、机械臂临摹签名和套摹签名的有效可靠分类鉴别，可广泛应用于各种场景的电子化签名攻击甄别。
2、本专利技术是这样实现的，一种基于双模态特征融合的电子签名笔迹来源分类方法，包括以下步骤：
3、s1:采集签名数据的质量受多因素影响，会导致数据中出现噪声，因此输入数据需要先通过数据预处理模块进行相关预处理操作，得到标准规范化的数据输入；
4、s2:将s1后的规范化图像数据作为静态图像特征提取模块的输入，利用大卷积核骨干网络有效提取输入电子化签名图像的笔画空间特征；
5、s3:将s1后的规范化序列数据作为动态序列特征提取模块的输入，采用结合多元去平稳注意力机制及简化transfomer编码器结构的设计作为块，堆叠设计成动态签名特征提取网络结构signformer，可以有效的从多变量输入的签名序列数据中提取出有效特征；
6、s4:将s2得到的签名图像数据特征向量及s3得到的签名序列数据特征向量输入特征融合模块中，用设计的多模态特征融合方法，通过特征编码将不同模态的特征补充为具有签名空间信息、签名时序信息的特征编码向量作为下一阶段的输入；
7、s5:通过s4得到的特征编码向量输入到分类网络中进行分类判别，通用分类器根据所提取的多模态信息特征区别出不同字迹来源的电子化签名。
8、进一步，步骤s1具体包括：
9、将原始电子化签名图像数据输入数据预处理模块中进行图片大小重置及去噪的预处理操作，确保可以得到标准化的签名图像大小及去除图像的干扰信息；将原始电子化签名图像数据输入数据预处理模块中进行两个步骤的数据预处理：首先是去噪及归一化步骤，旨在减少了每个输入时间序列之间的分布差异，降低数据中的杂波对鉴别结果的影响，让数据规范标准化；其次是利用签名序列数据的极值点计算更多属性值以得到序列数据的深层多样化特征。
10、进一步，步骤s2具体为：
11、将s1得到的预处理后的电子化签名图像数据h×w，h和w分别表示电子化签名特征图像的高和宽，输入图像特征提取器中；其中，图像特征提取器采用大内核并用膨胀卷积来提升捕捉稀疏特征的能力，可以有效的捕获签名图像的局部笔画特征差异，同时增强笔画细节与相邻像素或较远像素之间的关联性，得到更高质量的签名图像特征图x∈rc×h×w。
12、进一步，步骤s3具体为：
13、在电子化签名动态序列特征提取分支，基于现有的transformer结构进行序列数据分类，不适合电子化签名序列数据这样的多元时间序列分类。因此采用改进transformer的倒置结构，将每个变量的整个序列数据独立嵌入的标量标记中；
14、通过增加多元去平稳注意力机层，利用多元自注意力机制来实现互相交互，捕获签名序列数据的多元相关性；
15、多元去平稳注意力机制可以实现从平稳化以后得签名序列数据中实现类似未进行平稳化处理序列数据所获得的等效注意力；再用学习到的去平稳因子，重新调整当前的时间以来权重，从原始非平稳的签名序列数据中发现多变量之间的特征差异；
16、采用多元去平稳注意力机制，可以从数据预处理后的签名序列数据中固有的时间依赖性，学习得到不同类别的笔迹之间的相关特征差异，提高网络模型的签名笔迹分类能力；嵌入层获得的签名序列数据变量标记经过多元去平稳注意力进行相互交互，再由多个块堆叠成的signformer网络中的共享前馈网络独立处理，最后由多层感知机模块处理得到输出的签名序列特征向量。
17、进一步，步骤s4具体为：
18、将电子化签名图像数据特征向量及序列数据特征向量两个模态的数据映射到一个公共空间，通过连接两个分支的特征，得到联合的签名数据特征；为了有效利用不同模态间信息的关联性、互补性，通过利用静态图像特征和联合的特征表示得到一个联合的相关矩阵同样也可以得到序列特征的联合相关矩阵ca；由此得到的联合相关矩阵，不仅可以反映单一模态本身所携带的基本信息，更可以有效地融合来自另外一种模态的互补信息；最后根据注意力权重计算出融合了动态序列数据信息的静态图像特征和融合了静态图像信息的动态序列特征；最后，对融合特征进一步连接，来获得进行静态图像特征与动态序列特征融合以后的最终特征数据。
19、进一步，步骤s5具体为，
20、根据静态图像特征与动态序列特征融合以后的最终特征数据xatt，结合通用分类器，经过融合的多模态特征具有最大化自然手写签名笔迹，机械臂临摹签名笔本文档来自技高网...
【技术保护点】
1.一种基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤S1具体包括：
3.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤S2具体为：
4.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤S3具体为：
5.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤S4具体为：
6.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤S5具体为，
7.一种实现如权利要求1～6任意一项所述基于双模态特征融合的电子签名笔迹来源分类方法的基于双模态特征融合的电子签名笔迹来源分类系统，其特征在于，包括数据预处理模块、动态序列特征提取模块、静态图像特征提取模块、多模态特征融合模块及分类器模块；
8.一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执
9.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～7任意一项所述的基于双模态特征融合的电子签名笔迹来源分类方法的步骤。
10.一种信息数据处理终端，信息数据处理终端用于实现如权利要求7所述的基于双模态特征融合的电子签名笔迹来源分类系统。
...【技术特征摘要】
1.一种基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤s1具体包括：
3.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤s2具体为：
4.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤s3具体为：
5.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤s4具体为：
6.如权利要求1所述的基于双模态特征融合的电子签名笔迹来源分类方法，其特征在于，步骤s5具体为，
7.一种实现如权利要求1～6任意一项所述基于双模态特征融合...
【专利技术属性】
技术研发人员：徐端全，尤新革，廖明鑫，彭勤牧，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。