一种时间序列分类方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种时间序列分类方法、装置及计算机设备。该方法包括：获取时间序列，得到所述时间序列的带有位置信息的输入向量矩阵S；将S输入到训练好的线性Transformer模型中，得到所述时间序列的特征向量矩阵F，其中，所述线性Transformer模型将Transformer模型中的非线性计算转化为线性计算；将F经过多层感知机分类器，进行归一化，得到所述时间序列的分类结果。该方法减小了模型的计算量，降低了时间复杂度产生更具可解释性的模型，实现了并行计算。计算。计算。

【技术实现步骤摘要】
一种时间序列分类方法、装置及计算机设备


[0001]本专利技术实施例涉及面向时序数据领域，尤其涉及一种时间序列分类方法、装置及计算机设备。

技术介绍

[0002]时间序列是将某种现象或统计指标在不同时间节点上的各个数值，按照时间顺序排列形成的有序序列。时间序列分类作为序列分类问题的分支，在时间序列挖掘领域引起了广泛关注。该问题广泛存在与现实生活中的诸多领域，如气象天气情况预测、股票数据的分类预测、心电图或脑电图分类、根据用电量区分不同的家用电器等。
[0003]在时间序列的分类问题上，传统方法采用动态时间规划（Dynamic Time Warping，DTW）和K最近邻（K
‑
NearestNeighbor，KNN）的结合，用DTW来获得一种度量结果，然后通过KNN进行聚类，操作简单，但需要手工设计建模。随着深度神经网络的兴起，深度神经网络不仅在人类认知任务（如语言和图像理解）中发挥着重要作用，在预测复杂的时间序列数据方面也体现出高效的性能。特殊类型的循环神经网络（Recurrent Neural Network，RNN），长短期记忆网络（Long Short
‑
Term Memory，LSTM）和门循环单元（Gated Recurrent Unit，GRU）网络等已经成为各种序列数据分类的最新技术，例如基于LSTM的RNN网络已成为预测不同地理区域的未来降雨强度、商品消费或识别临床时间序列中的模式。深度神经网络的优点在于允许端到端的训练，这种训练直接作用与原始数据，而不是手工制作特征。这些方法虽然在性能上得到了提升，但与此同时增加了模型的复杂度，计算参数量的增加，也增加在时间和空间上的复杂度。

技术实现思路

[0004]本专利技术提供一种时间序列分类方法、装置及计算机设备，以解决现有技术中存在的上述问题。
[0005]第一方面，本专利技术实施例提供了一种时间序列分类方法。该方法包括：S10：获取时间序列，其中，所述时间序列中包括n个时序数据{χ1,χ2,...χ
n
}， n为整数，n≥1；基于所述n个时序数据和所述n个时序数据在所述时间序列中的位置信息，获取每个时序数据χ
i
的带有位置信息的输入向量s
i
，其中，i为整数，1≤i≤n，s
i
的维度为d，d为整数，d>1；从而得到所述时间序列的带有位置信息的输入向量矩阵S={s1,s2,...s
n
}，其中，s
i
为S的第i列向量；S20：将S输入到训练好的线性Transformer模型中，得到所述时间序列的特征向量矩阵F={f1,f2,...f
n
}，其中，χ
i
与f
i
一一对应，f
i
为包含了χ
i
的位置信息的特征向量，f
i
的维度为d，所述线性Transformer模型将Transformer模型中的非线性计算转化为线性计算；S30：将所述特征向量矩阵F经过多层感知机分类器，并将所述多层感知分类器的输出进行归一化，得到所述时间序列的分类结果。
[0006]在一实施例中，所述线性Transformer模型包括顺序连接的N个编码器层，其中，N
为整数，N≥1；每个编码器层包括顺序连接的多头自注意力机制、第一残差连接和层标准化、前馈神经网络、以及第二残差连接和层标准化；所述多头自注意力机制包括h个并行的线性自注意力机制，其中，h为整数，h≥1；步骤S20包括：S210：将S输入所述多头自注意力机制，在所述多头自注意力机制中，将S分别经过第一线性变换、第二线性变换和第三线性变换，分别得到被查询向量矩阵Q、相关性向量矩阵K和查询向量矩阵V；S220：将Q、K、V输入每个线性自注意力机制，将h个线性自注意力机制得到的结果进行拼接，得到所述多头自注意力机制的输出矩阵Attention(Q,K,V)，其中，每个线性自注意力机制将原始自注意力机制中的点积计算转化为线性计算；S230：将Attention(Q,K,V)依次经过所述第一残差连接和层标准化、所述前馈神经网络和所述第二残差连接和层标准化，得到所述时间序列的特征向量矩阵F。
[0007]在一实施例中，在步骤S220中，每个线性自注意力机制将原始自注意力机制中的点积计算转化为线性计算的过程为：S2210：根据所述自注意力机制，改写为公式（1）：其中，Q={q1,q2,...q
n
}，q
i
表示Q的第i列向量；K={k1,k2,...k
n
}，k
j
表示K的第j列向量；V={v1,v2,...v
n
}，v
j
表示V的第j列向量；j为整数，1≤j≤n；Attention(Q,K,V)
i
表示Attention(Q,K,V)的第i列向量；S2220：利用泰勒公式进行对公式（1）进行泰勒近似替换，并分别对q
i
和k
j
作二范数归一化，得到公式（2）：其中，‖
·
‖表示对变量(
·
)的二范数操作；基于公式（2），将Attention(Q,K,V)转换为Q、K、V三个矩阵的线性乘法运算：
其中，表示Q的二范数归一化矩阵，表示K的二范数归一化矩阵；S2230：在的计算中，利用矩阵乘法结合律先计算K
T
V，将得到的结果左乘矩阵Q的窗口为r的子矩阵，从而得到Attention(Q,K,V)，其中，r<n。
[0008]在一实施例中，步骤S10中，基于所述n个时序数据和所述n个时序数据在所述时间序列中的位置信息，获取每个时序数据χ
i
的带有位置信息的输入向量s
i
，从而得到所述时间序列的输入向量矩阵S={s1,s2,...s
n
}，包括：S110：计算每个时序数据χ
i
的数据向量x
i
，得到所述时间序列的数据向量矩阵X={x1,x2,...x
n
}，其中，x
i
的维度为d，x
i
为X的第i列向量；S120：计算每个数据向量x
i
的位置向量p
i
，其中，p
i
的维度为d；将x
i
与p
i
相加，得到每个时序数据χ
i
的s
i
，从而得到所述时间序列的输入向量矩阵S{s1,s2,...s
n
}。
[0009]在一实施例中，步骤S10之前，所述方法还包括：S010：获取时间序列集，其中，所述时间序列集中包括多个时间序列，每个时间序列中包括多个时序数据；计算每个时间序列的带有位置信息的输入向量矩阵S
t
，并为所述每个时间序列设置一个分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时间序列分类方法，其特征在于，所述方法基于线性Transformer模型，所述方法包括：S10：获取时间序列，其中，所述时间序列中包括n个时序数据{χ1,χ2,...χ
n
}， n为整数，n≥1；基于所述n个时序数据和所述n个时序数据在所述时间序列中的位置信息，获取每个时序数据χ
i
的带有位置信息的输入向量s
i
，其中，i为整数，1≤i≤n，s
i
的维度为d，d为整数，d>1；从而得到所述时间序列的带有位置信息的输入向量矩阵S={s1,s2,...s
n
}，其中，s
i
为S的第i列向量；S20：将S输入到训练好的线性Transformer模型中，得到所述时间序列的特征向量矩阵F={f1,f2,...f
n
}，其中，χ
i
与f
i
一一对应，f
i
为包含了χ
i
的位置信息的特征向量，f
i
的维度为d，所述线性Transformer模型将Transformer模型中的非线性计算转化为线性计算；S30：将所述特征向量矩阵F经过多层感知机分类器，并将所述多层感知分类器的输出进行归一化，得到所述时间序列的分类结果。2.如权利要求1所述的时间序列分类方法，其特征在于，所述线性Transformer模型包括顺序连接的N个编码器层，其中，N为整数，N≥1；每个编码器层包括顺序连接的多头自注意力机制、第一残差连接和层标准化、前馈神经网络、以及第二残差连接和层标准化；所述多头自注意力机制包括h个并行的线性自注意力机制，其中，h为整数，h≥1；步骤S20包括：S210：将S输入所述多头自注意力机制，在所述多头自注意力机制中，将S分别经过第一线性变换、第二线性变换和第三线性变换，分别得到被查询向量矩阵Q、相关性向量矩阵K和查询向量矩阵V；S220：将Q、K、V输入每个线性自注意力机制，将h个线性自注意力机制得到的结果进行拼接，得到所述多头自注意力机制的输出矩阵Attention(Q,K,V)，其中，每个线性自注意力机制将原始自注意力机制中的点积计算转化为线性计算；S230：将Attention(Q,K,V)依次经过所述第一残差连接和层标准化、所述前馈神经网络和所述第二残差连接和层标准化，得到所述时间序列的特征向量矩阵F。3.如权利要求2所述的时间序列分类方法，其特征在于，在步骤S220中，每个线性自注意力机制将原始自注意力机制中的点积计算转化为线性计算的过程为：S2210：根据所述自注意力机制，改写为公式（1）：其中，Q={q1,q2,...q
n
}，q
i
表示Q的第i列向量；K={k1,k2,...k
n
}，k
j
表示K的第j列向量；V={v1,v2,...v
n
}，v
j
表示V的第j列向量；j为整数，1≤j≤n；
Attention(Q,K,V)
i
表示Attention(Q,K,V)的第i列向量；S2220：利用泰勒公式，进行对公式（1）进行泰勒近似替换，并分别对q
i
和k
j
作二范数归一化，得到公式（2）：其中，‖
·
‖表示对变量(
·
)的二范数操作；基于公式（2），将Attention(Q,K,V)转换为Q、K、V三个矩阵的线性乘法运算：其中，表示Q的二范数归一化矩阵，表示K的二范数归一化矩阵；S2230：在的计算中，利用矩阵乘法结合律先计算K
T
V，将得到的结果左乘矩阵Q的窗口为r的子矩阵，从而得到Attention(Q,K,V)，其中，r<n。4.如权利要求3所述的时间序列分类方法，其特征在于，步骤S10中，基于所述n个时序数据和所述n个时序数据在所述时间序列中的位置信息，获取每个时序数据χ
i
的带有位置信息的输入向量s
i
，从而得到所述时间序列的输入向量矩阵S={s1,s2,...s
n
}，包括：S110：计算每个时序数据χ
i
的数据向量x
i
，得到所述时间序列的数据向量矩阵X={x1,x2,...x
n
}，其中，x
i
的维度为d，x
i

【专利技术属性】
技术研发人员：房体品，韩鹏，王潇涵，纪梦娟，魏红雷，
申请(专利权)人：广东众聚人工智能科技有限公司，
类型：发明
国别省市：