【技术实现步骤摘要】
本申请涉及时序信号处理与计算机智能，特别是涉及一种基于语义学习的时序信号处理方法、装置和设备。
技术介绍
1、时序序列分析是当今世界科技发展中的一项关键技术，该技术已在多个领域有着广泛的应用，例如金融数据分析预测、气候气象预测以及异常监测等领域。时序序列通常由多种传感器对周围的环境或人体情况进行监测感知而得，序列中往往包含丰富的时序语义信息，例如湿度变化、脑电波等。然而，时序序列的语义信息隐藏于序列的时序变化过程中，难以通过显性建模的方式对语义信息进行提取。因此，如何有效学习和提取时序序列中隐藏的时序语义信息是该领域的重难点问题。
2、现有的时序序列分析方法通常采用两种方式对时序序列进行处理。第一种为黑盒方法。该方法构建端到端的网络模型，通过大量的时序序列样本来对时间序列中的信息进行学习提取。第二种为序列建模方法。该方法首先对时序序列进行时频一致性建模，而后通过对比学习的方式分别学习其中的时域信息与频域信息。然而，上述方法都难以表征和学习时序序列中的语义信息，因此在长度变换、噪声和数据缺失等干扰情况下上述方法的性能表现较差。
3、近年来，自然语言处理模型取得了重大进展，诞生了例如chatgpt等具有对自然语言有理解能力的大模型。这些模型成功的关键在于有效地通过语义学习方法对自然语言中包含的语义信息进行捕捉与学习，并以此提升模型对于语言的理解能力，最终使得模型能够在长语句、拼写错误和语句缺失情况下都保持良好的性能。而其中的语义学习的关键技术在于如何对输入的自然语言进行基于词组的划分以及如何为划分后的词组给定
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于语义学习的时序信号处理方法、装置和设备。
2、一种基于语义学习的时序信号处理方法，该方法包括：
3、获取时序序列；时序序列是由多种传感器对周围的环境或人体情况进行监测感知得到的数据。
4、采用时序序列对预构建的基于语义学习的时序序列特征表征模型进行训练，得到训练好的时序序列特征表征模型；基于语义学习的时序序列特征表征模型包括：时序语义生成模块、特征提取模块以及对比学习模块；时序语义生成模块用于对时序序列进行采样划分，根据每一个划分样本计算其对应的语义权重，采样语义权重对划分样本进行加权，得到加权后的划分样本；特征提取模块用于对加权的划分样本进行投影编码，将编码结果采用自注意力机制进行局部相关性和全局相关性特征提取，得到编码特征；对比学习模块用于计算对比学习损失，采用对比学习损失使模型学习正样本之间的共有特征和负样本之间的可分性特征，得到时序语义特征。
5、将预设时序目标分类任务中的待处理时序序列采用训练好的时序序列特征表征模型进行处理，将得到的时序语义特征输入到预设时序目标分类任务的分类头中，得到目标识别结果。
6、在其中一个实施例中，采用时序序列对预构建的基于语义学习的时序序列特征表征模型进行训练，得到训练好的时序序列特征表征模型，包括：
7、将时序序列输入到时序语义生成模块中，得到加权后的划分样本。
8、将加权后的划分样本输入到特征提取模块中，得到编码特征。
9、将编码特征输入到对比学习模块中，通过对比学习策略学习损失函数，采用对比损失对时序序列特征表征模型进行参数更新。
10、将训练过的时序序列特征表征模型与预设时序目标分类任务的分类头连接并在预设时序目标分类任务的数据集中进行调参，对调参后的时序序列特征表征模型和分类头组成的识别模型采用预设时序目标分类任务的数据集进行分类测试，得到训练好的时序序列特征表征模型；其中，调参过程中固定训练过的时序序列特征表征模型的参数，只对分类头的参数进行更新。
11、在其中一个实施例中，时序语义生成模块包括采样划分模块、权重生成网络；权重生成网络包括线性化层、relu激活函数和sigmoid激活函数。
12、将时序序列输入到时序语义生成模块中，得到加权后的划分样本，包括：
13、将时序序列输入到时序语义生成模块的采样划分模块中，通过基于马尔科夫蒙特卡洛采样方式对时序序列进行采样，得到多个划分样本。
14、将所有划分样本输入到时序语义生成模块的权重生成网络中，经过线性化层处理后，再经过relu激活函数和sigmoid激活函数后，得到与每个划分样本对应的语义权重。
15、将划分样本与对应的语义权重相乘，得到加权后的划分样本。
16、在其中一个实施例中，特征提取模块包括：投影网络、多个特征提取子模块。
17、将加权后的划分样本输入到特征提取模块中，得到编码特征，包括：
18、将加权后的划分样本输入到特征提取模块的投影网络中，得到投影编码。
19、将投影编码输入到特征提取模块的第一个特征提取子模块中，得到第一中间特征。
20、将第一中间特征输入到特征提取模块的第二个特征提取子模块中，将第二个特征提取子模块的输出输入到第三个特征提取子模块，以此类推，直到最后一个特征提取子模块，得到编码特征。
21、在其中一个实施例中，特征提取子模块包括层归一化、多头自注意层以及前馈层；在第一个特征提取子模块中：
22、；
23、；
24、；
25、；
26、；
27、；
28、；
29、；
30、其中，表示投影编码，表示层归一化的输出，表示层归一化操作，为查询矩阵、表示键矩阵，为值矩阵，、、分别为、、的投影矩阵，表示第个自注意力头的输出；、、分别为第个自注意力头的查询矩阵、键矩阵、值矩阵的投影矩阵，表示注意力头的数目，表示拼接操作，表示恢复矩阵，表示前馈层的输入，mlp表示前馈层；表示第一个特征提取子模块输出的第一中间特征，表示多头注意力层输出；表示前馈层输出，表示自注意力机制。
31、在其中一个实施例中，前馈层包括一个多层感知器，其中多层感知器包括两个全连接层。
32、在其中一个实施例中，投影网络由全连接层构成。
33、在其中一个实施例中，将编码特征输入到对比学习模块中，通过对比学习策略学习损失函数，采用对比损失对时序序列特征表征模型进行参数更新，包括：
34、将编码特征采用对比学习策略进行处理后进行投影，得到投影向量。
35、将投影向量采用基于时序序列的正负样本划分方式进行正负样本划分，得到正样本集合和负样本集合；基于时序序列的正负样本划分方式是指将源于同一序列的划分样本视作正样本对，将源自不同序列的划分样本视作负样本对。
36、根据投影向量、正样本集合以及同一批次内得到的编码特征的投影向量集合，确定对比学习损失函数为：
37、；
38、其中，表示对比学习损失，表示第个锚点，表示除了锚点的编码特征集合，表示第个锚点的编码特征，表示正样本，表示温度系数，表示同一本文档来自技高网...
【技术保护点】
1.一种基于语义学习的时序信号处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用所述时序序列对预构建的基于语义学习的时序序列特征表征模型进行训练，得到训练好的时序序列特征表征模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述时序语义生成模块包括采样划分模块、权重生成网络；所述权重生成网络包括线性化层、ReLU激活函数和Sigmoid激活函数；
4.根据权利要求2所述的方法，其特征在于，所述特征提取模块包括：投影网络、多个特征提取子模块；
5.根据权利要求4所述的方法，其特征在于，所述特征提取子模块包括层归一化、多头自注意层以及前馈层；
6.根据权利要求5所述的方法，其特征在于，所述前馈层包括一个多层感知器，其中多层感知器包括两个全连接层。
7.根据权利要求4所述的方法，其特征在于，所述投影网络由全连接层构成。
8.根据权利要求2所述的方法，其特征在于，将所述编码特征输入到所述对比学习模块中，通过对比学习策略学习损失函数，采用对比损失对所述时序序列特征表征
9.一种基于语义学习的时序信号处理装置，其特征在于，所述装置包括：
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法。
...【技术特征摘要】
1.一种基于语义学习的时序信号处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，采用所述时序序列对预构建的基于语义学习的时序序列特征表征模型进行训练，得到训练好的时序序列特征表征模型，包括：
3.根据权利要求2所述的方法，其特征在于，所述时序语义生成模块包括采样划分模块、权重生成网络；所述权重生成网络包括线性化层、relu激活函数和sigmoid激活函数；
4.根据权利要求2所述的方法，其特征在于，所述特征提取模块包括：投影网络、多个特征提取子模块；
5.根据权利要求4所述的方法，其特征在于，所述特征提取子模块包括层归一化、多头自注意层以及前馈层；...
【专利技术属性】
技术研发人员：夏靖远，廖淮璋，杨志雄，卢哲俊，张双辉，刘振，刘永祥，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。