一种基于注意力机制的空中手写字符轨迹恢复方法技术

本发明专利技术公开了一种基于注意力机制的空中手写字符轨迹恢复方法，包括以下步骤：对获取到的配对的惯性传感信号序列和平面轨迹坐标序列进行降噪滤波，并划分训练样本集和测试样本集；设计一个基于注意力机制的序列到序列模型，包括一个编码网络和一个解码网络；用训练样本集训练序列到序列模型；将测试样本集的惯性传感信号序列输入到训练好的序列到序列模型，将模型输出的序列作为轨迹恢复的结果。本发明专利技术所述方法具有空中手写字符轨迹恢复效果更加平滑和恢复精度更高的优点。

A Track Recovery Method for Handwritten Aerial Characters Based on Attention Mechanism

【技术实现步骤摘要】
一种基于注意力机制的空中手写字符轨迹恢复方法
本专利技术涉及机器学习和人工智能
，具体涉及一种基于注意力机制的空中手写字符轨迹恢复方法。
技术介绍
基于惯性传感器(加速度计和陀螺仪)的空中手写是近年来计算机领域中新兴起的研究前沿方向之一，在智能家居、自动驾驶、教育、医疗、工业生产、辅助交流等方面有广泛的应用。但是，惯性信号(加速度和角速度信号)是衡量变化的量，它们可读性差，仅凭人眼观察波形，难以辨识具体的书写内容。惯性信号的这一特点，在数据的处理阶段为坏样本清洗、样本标注、字符级别的样本分割带来了困难，还限制了空中手写识别模型的调优。因此，惯性信号的可视化在空中手写研究领域具有重要的意义，将惯性信号恢复成相应的轨迹，无疑是一种简单直观的可视化方法。传统的方法主要集中于直接从惯性信号恢复轨迹以及修正运动轨迹的累积误差，缺乏对真实书写轨迹的有效利用，其恢复精度和实用性日渐不能令用户感到满意。
技术实现思路
本专利技术的目的是针对现有技术的不足，提供了一种基于注意力机制的空中手写字符轨迹恢复方法，通过设计基于注意力机制的序列到序列模型(SequencetoSequencemodel)，提供了一种全新的空中手写字符惯性传感信号可视化方式，其中注意力机制能有效捕捉惯性信号的关键信息，序列到序列模型能充分利用配对的惯性信号与平面轨迹，学习两者的映射关系，深度学习使得空中手写轨迹恢复可以达到优秀的效果，提高了轨迹恢复的精度，具有很好的应用研究价值。本专利技术的目的可以通过如下技术方案实现：一种基于注意力机制的空中手写字符轨迹恢复方法，所述方法包括以下步骤：S1、获取配对的惯性传感信号序列和平面轨迹坐标序列，进行滤波平滑去噪，并划分训练样本集和测试样本集；S2、设计并训练一个基于注意力机制的序列到序列模型，其具体步骤如下：S21、设计一个编码网络，网络由自注意力机制模块和前馈神经网络构成；以惯性传感信号序列为输入，逐时刻全连接映射后，计算位置编码，然后通过自注意力机制模块和前馈神经网络计算并输出特征图；S22、设计一个解码网络，网络由掩膜自注意力机制模块、注意力机制模块和前馈神经网络构成；以惯性传感信号序列为输入，逐时刻全连接映射后，计算位置编码，通过掩膜自注意力机制模块提取特征，然后以该特征和由编码网络输出的特征图为输入，由注意力机制模块和前馈神经网络提取特征，并将特征进行逐时刻全连接计算，得到预测的平面轨迹坐标序列；S23、用训练样本集里的惯性传感信号序列作为输入，配对的平面轨迹坐标序列作为目标，对上述编码网络和解码网络同时进行有监督训练，把解码网络预测的平面轨迹坐标序列与真实平面轨迹坐标序列进行损失计算，将误差反向传播，优化编码网络和解码网络的参数；S3、对输入的惯性传感信号序列，滤波平滑去噪后，利用训练好的编码网络计算特征图，将惯性传感信号序列与特征图一起输入到训练好的解码网络，得到恢复的平面轨迹。进一步地，所述步骤S1中的数据获取、预处理和划分过程，具体步骤如下：S11、从公开数据集6DMG中获取配对的空中手写字符惯性传感信号序列和平面轨迹坐标序列，6维惯性传感信号包括3维加速度信号和3维角速度信号，2维平面轨迹坐标包括x轴和y轴坐标；所谓配对的样本，是指数据集6DMG同一个空中手写字符样本中的惯性传感信号序列和平面轨迹坐标序列；S12、对获取的惯性传感信号序列和平面轨迹坐标序列做固定窗口长度窗长为5的滑动平均滤波去噪；S13、将预处理过的配对的惯性传感信号序列和平面轨迹坐标序列作为一个样本，惯性传感信号序列是样本输入，平面轨迹坐标序列是目标；将样本划分为训练样本集和测试样本集。进一步地，设输入惯性传感信号序列为x(t,i)，维度为din，所述步骤S21的编码网络，其具体运算步骤如下：S21(a)、用逐时刻全连接计算将输入x(t,i)变换成维度由din变为dmodel；S21(b)、计算变换后的输入的位置编码P1(t,i)，并叠加为：S21(c)、把e1输入到自注意力模块计算得到特征e2；S21(d)、把e2输入到前馈神经网络计算得到特征图m；所述步骤S22的解码网络，其具体运算步骤如下：S22(a)、用逐时刻全连接计算将输入x(t,i)变换成维度由din变为dmodel；S22(b)、计算变换后的输入的位置编码P2(t,i)，并叠加为：S22(c)、把e3输入到掩膜自注意力模块得到特征e4；S22(d)、把e4和编码网络输出的特征图m输入到注意力模块计算得到特征e5；S22(e)、把e5输入到前馈神经网络计算得到特征e6；S22(f)、用逐时刻全连接计算将e6的维度变换成dout，得到恢复的平面轨迹；其中，din＝6，dmodel＝64，dout＝2。S21(a)和S22(a)中的全连接变换不共享参数，因此两个的数值并不相同。进一步地，所述步骤S21与S22中，编码网络和解码网络中的自注意力机制模块、注意力机制模块、掩膜自注意力机制模块中的注意力计算，其公式为：其中Attention(Q,K,V)是注意力的符号，Q表示索引，K表示键，KT表示矩阵K的转置，V表示值，dk是K的维度；对于全连接变换后的输入及其位置编码P(t,i)，编码网络中的自注意力模块和解码网络中的掩膜自注意力模块的输入解码网络中的注意力模块的输入Q是解码网络的掩膜自注意力模块的输出e4，输入K和V是编码网络输出的特征图m。进一步地，所述步骤S21(b)与S22(b)中，对全连接变换后的输入计算位置编码，位置编码公式为：其中，P(t,i)是位置编码的符号，t表示时刻，i表示维度，T和d分别是全连接变换后的输入的长度和维度。进一步地，所述步骤S22(c)中掩膜自注意力模块的输入是e3，设e3的长度为T，掩膜运算过程如下：其中QKT(t1,t2)表示QKT在(t1,t2)处的取值，t1和t2都表示时刻。进一步地，所述步骤S21与S22中，编码网络和解码网络中的前馈神经网络，网络由两层全连接层构成，第一层的激活函数是ReLU，第二层没有激活函数。进一步地，所述步骤S21与S22中，编码网络和解码网络的自注意力机制模块、掩膜自注意力机制模块、注意力机制模块和前馈神经网络，在输入和输出之间有恒等映射，即把模块的输入和模块的输出加起来作为模块最终的输出，恒等映射具体如下：y＝x+f(x)其中，x表示模块输入，f表示模块的运算，y表示恒等映射后的模块输出；在恒等映射后进行层标准化，具体如下：其中，表示层标准化后的模块输出，α和β是可训练参数，mean(y)表示对y的最后一维求均值，std(y)表示对y的最后一维求标准差。进一步地，所述步骤S23序列到序列模型的训练，其损失函数公式为：其中，loss是损失函数，y是真实平面轨迹坐标序列，是由解码网络预测的平面轨迹坐标序列，t表示时刻，i表示维度，T是序列的长度，d是序列的维度。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术提供的一种基于注意力机制的空中手写字符轨迹恢复方法，采用基于注意力机制的序列到序列模型，在结构设计上，有关输入的全连接计算是对序列逐时刻进行的，因此对输入的尺寸大小没有限制，允许输入任意长度的空中手写字符惯性信号序列。2、本专利技术提供的一种基于注意力机制的空中手写字符轨迹恢复本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的空中手写字符轨迹恢复方法，其特征在于，所述方法包括以下步骤：S1、获取配对的惯性传感信号序列和平面轨迹坐标序列，进行滤波平滑去噪，并划分训练样本集和测试样本集；S2、设计并训练一个基于注意力机制的序列到序列模型，其具体步骤如下：S21、设计一个编码网络，网络由自注意力机制模块和前馈神经网络构成；以惯性传感信号序列为输入，逐时刻全连接映射后，计算位置编码，然后通过自注意力机制模块和前馈神经网络计算并输出特征图；S22、设计一个解码网络，网络由掩膜自注意力机制模块、注意力机制模块和前馈神经网络构成；以惯性传感信号序列为输入，逐时刻全连接映射后，计算位置编码，通过掩膜自注意力机制模块提取特征，然后以该特征和由编码网络输出的特征图为输入，由注意力机制模块和前馈神经网络提取特征，并将特征进行逐时刻全连接计算，得到预测的平面轨迹坐标序列；S23、用训练样本集里的惯性传感信号序列作为输入，配对的平面轨迹坐标序列作为目标，对上述编码网络和解码网络同时进行有监督训练，把解码网络预测的平面轨迹坐标序列与真实平面轨迹坐标序列进行损失计算，将误差反向传播，优化编码网络和解码网络的参数；S3、对输入的惯性传感信号序列，滤波平滑去噪后，利用训练好的编码网络计算特征图，将惯性传感信号序列与特征图一起输入到训练好的解码网络，得到恢复的平面轨迹。...

【技术特征摘要】
1.一种基于注意力机制的空中手写字符轨迹恢复方法，其特征在于，所述方法包括以下步骤：S1、获取配对的惯性传感信号序列和平面轨迹坐标序列，进行滤波平滑去噪，并划分训练样本集和测试样本集；S2、设计并训练一个基于注意力机制的序列到序列模型，其具体步骤如下：S21、设计一个编码网络，网络由自注意力机制模块和前馈神经网络构成；以惯性传感信号序列为输入，逐时刻全连接映射后，计算位置编码，然后通过自注意力机制模块和前馈神经网络计算并输出特征图；S22、设计一个解码网络，网络由掩膜自注意力机制模块、注意力机制模块和前馈神经网络构成；以惯性传感信号序列为输入，逐时刻全连接映射后，计算位置编码，通过掩膜自注意力机制模块提取特征，然后以该特征和由编码网络输出的特征图为输入，由注意力机制模块和前馈神经网络提取特征，并将特征进行逐时刻全连接计算，得到预测的平面轨迹坐标序列；S23、用训练样本集里的惯性传感信号序列作为输入，配对的平面轨迹坐标序列作为目标，对上述编码网络和解码网络同时进行有监督训练，把解码网络预测的平面轨迹坐标序列与真实平面轨迹坐标序列进行损失计算，将误差反向传播，优化编码网络和解码网络的参数；S3、对输入的惯性传感信号序列，滤波平滑去噪后，利用训练好的编码网络计算特征图，将惯性传感信号序列与特征图一起输入到训练好的解码网络，得到恢复的平面轨迹。2.根据权利要求1所述的一种基于注意力机制的空中手写字符轨迹恢复方法，其特征在于，所述步骤S1中的数据获取、预处理和划分过程，具体步骤如下：S11、从公开数据集6DMG中获取配对的空中手写字符惯性传感信号序列和平面轨迹坐标序列，6维惯性传感信号包括3维加速度信号和3维角速度信号，2维平面轨迹坐标包括x轴和y轴坐标；所谓配对的样本，是指数据集6DMG同一个空中手写字符样本中的惯性传感信号序列和平面轨迹坐标序列；S12、对获取的惯性传感信号序列和平面轨迹坐标序列做固定窗口长度的滑动平均滤波去噪；S13、将预处理过的配对的惯性传感信号序列和平面轨迹坐标序列作为一个样本，惯性传感信号序列是样本输入，平面轨迹坐标序列是目标；将样本划分为训练样本集和测试样本集。3.根据权利要求1所述的一种基于注意力机制的空中手写字符轨迹恢复方法，其特征在于，设输入惯性传感信号序列为x(t,i)，维度为din，所述步骤S21的编码网络，其具体运算步骤如下：S21(a)、用逐时刻全连接计算将输入x(t,i)变换成维度由din变为dmodel；S21(b)、计算变换后的输入的位置编码P1(t,i)，并叠加为：S21(c)、把e1输入到自注意力模块计算得到特征e2；S21(d)、把e2输入到前馈神经网络计算得到特征图m；所述步骤S22的解码网络，其具体运算步骤如下：S22(a)、用逐时刻全连接计算将输入x(t,i)变换成维度由din变为dmodel；S22(b)、计算变换后的输入的位置编码P2(t,i)，并...

【专利技术属性】
技术研发人员：薛洋，徐松斌，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44