一种预训练模型的训练方法、时序数据的识别方法及装置制造方法及图纸

本公开提供了一种预训练模型的训练方法、时序数据的识别方法及装置，涉及人工智能技术领域，尤其涉及数据处理、机器学习技术领域。具体实现方案为：对原始时序数据添加噪声，得到样本时序数据。然后通过预训练模型提取样本时序数据的趋势项和季节项，其中，趋势项表示样本时序数据的变化趋势，季节项表示样本时序数据的变化周期。之后通过预训练模型基于趋势项和季节项，预测添加噪声前的时序数据，得到预测时序数据。再基于原始时序数据和预测时序数据，训练预训练模型。从而实现了提高对时序数据进行识别的准确性。据进行识别的准确性。据进行识别的准确性。

【技术实现步骤摘要】
一种预训练模型的训练方法、时序数据的识别方法及装置


[0001]本公开涉及人工智能
，尤其涉及数据处理、机器学习


技术介绍

[0002]时序数据是一种较为普遍的数据形态，与生产生活密切相关。如综合能源管理行业中，将一段时间内每个时刻下的能源消耗数据，作为一条时序数据。

技术实现思路

[0003]本公开提供了一种预训练模型的训练方法、时序数据的识别方法及装置。
[0004]本公开实施例的第一方面，提供了一种预训练模型的训练方法，包括：
[0005]对原始时序数据添加噪声，得到样本时序数据；
[0006]通过预训练模型提取所述样本时序数据的趋势项和季节项，所述趋势项表示所述样本时序数据的变化趋势，所述季节项表示所述样本时序数据的变化周期；
[0007]通过所述预训练模型基于所述趋势项和所述季节项，预测添加噪声前的时序数据，得到预测时序数据；
[0008]基于所述原始时序数据和所述预测时序数据，训练所述预训练模型。
[0009]本公开实施例的第二方面，提供了一种时序数据的识别方法，包括：
[0010]获取待识别时序数据；
[0011]通过识别模型提取所述待识别时序数据的趋势项和季节项，所述趋势项表示所述待识别时序数据的变化趋势，所述季节项表示所述待识别时序数据的变化周期；其中，所述识别模型基于第一方面任一项所述的方法训练的预训练模型得到；
[0012]通过所述识别模型基于所述趋势项和所述季节项，确定对所述待识别时序数据的识别结果。
[0013]本公开实施例的第三方面，提供了一种预训练模型的训练装置，包括：
[0014]添加模块，用于对原始时序数据添加噪声，得到样本时序数据；
[0015]提取模块，用于通过预训练模型提取所述样本时序数据的趋势项和季节项，所述趋势项表示所述样本时序数据的变化趋势，所述季节项表示所述样本时序数据的变化周期；
[0016]预测模块，用于通过所述预训练模型基于所述趋势项和所述季节项，预测添加噪声前的时序数据，得到预测时序数据；
[0017]训练模块，用于基于所述原始时序数据和所述预测时序数据，训练所述预训练模型。
[0018]本公开实施例的第四方面，提供了一种时序数据的识别装置，包括：
[0019]获取模块，用于获取待识别时序数据；
[0020]提取模块，用于通过识别模型提取所述待识别时序数据的趋势项和季节项，所述趋势项表示所述待识别时序数据的变化趋势，所述季节项表示所述待识别时序数据的变化
周期；其中，所述识别模型基于第一方面任一项所述的方法训练的预训练模型得到；
[0021]确定模块，用于通过所述识别模型基于所述趋势项和所述季节项，确定对所述待识别时序数据的识别结果。
[0022]本公开实施例的第五方面，提供了一种电子设备，包括：
[0023]至少一个处理器；以及
[0024]与所述至少一个处理器通信连接的存储器；其中，
[0025]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面中任一项所述的方法。
[0026]本公开实施例的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面或第二方面中任一项所述的方法。
[0027]本公开实施例的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面或第二方面中任一项所述的方法。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是本公开实施例提供的一种预训练模型的训练方法的流程图；
[0031]图2是本公开实施例提供的一种提取趋势项和季节项的方法流程图；
[0032]图3是本公开实施例提供的一种串联的两个趋势季节提取模块的示例性示意图；
[0033]图4是本公开实施例提供的一种预训练模型的训练过程的示例性示意图；
[0034]图5是本公开实施例提供的一种时序数据的识别方法的流程图；
[0035]图6是本公开实施例提供的一种预训练模型的训练装置的结构示意图；
[0036]图7是本公开实施例提供的一种时序数据的识别装置的结构示意图；
[0037]图8是用来实现本公开实施例的预训练模型的训练方法或时序数据的识别方法的电子设备的框图。
具体实施方式
[0038]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0039]业务运行时产生的时序数据，能够体现业务的运行状态，因此能够基于业务的时序数据，检测业务是否异常，对业务的运行状态进行分类，还能够基于业务已产生的时序数据，预测未来的时序数据等。
[0040]上述对时序数据的检测、分类和预测任务，都可以采用模型来实现。如果采用模型实现，则需要预先对时序数据添加标注，并使用标注后的时序数据训练模型。但由于传统行
业目前仍处于数字化阶段，使得智能化的时序数据基础较差，缺乏标注数据，导致训练得到的模型泛化能力低，处理准确度低。
[0041]目前，在自然语言处理(Natural Language Processing，NLP)领域，能够使用无标签的自然语言文本训练预先构建的预训练模型，之后基于预训练模型实现具体的文本情感类型分析、文本翻译或信息检索等任务。
[0042]其中，主流的NLP预训练模型分为双向语言模型和单向语言模型。双向语言模型适用于自然语言理解，例如，双向语言模型为基于转换器的双向编码器表征(Bidirectional Encoder Representations from Transformers，BERT)模型。单向语言模型适用于自然语言生成，例如单向语言模型为预训练模型(Gererate Pre
‑
Training Model，GPT)。
[0043]由于自然语言文本与时序数据的数据类型存在差异，使得NLP领域的两类模型均不适用于对时序数据的处理。
[0044]例如，自然语言文本与时序数据的信息密度不同，即，自然语言有更丰富的语义信息，而时序数据具有更强的局部关系。时序数据中相互紧邻的位置往往高度相关，因此时序数据中具有大量的信息冗余。如果将NLP领域的预训练模型的思路应用到时序数据上，即使用NLP领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预训练模型的训练方法，包括：对原始时序数据添加噪声，得到样本时序数据；通过预训练模型提取所述样本时序数据的趋势项和季节项，所述趋势项表示所述样本时序数据的变化趋势，所述季节项表示所述样本时序数据的变化周期；通过所述预训练模型基于所述趋势项和所述季节项，预测添加噪声前的时序数据，得到预测时序数据；基于所述原始时序数据和所述预测时序数据，训练所述预训练模型。2.根据权利要求1所述的方法，其中，所述对原始时序数据添加噪声，得到样本时序数据，包括：对所述原始时序数据中的部分数据进行掩盖mask，得到所述样本时序数据。3.根据权利要求2所述的方法，其中，所述对所述原始时序数据中的部分数据进行掩盖mask，得到所述样本时序数据，包括：针对所述原始时序数据包括的每段数据，根据预设的掩码率，确定是否需要对该段数据进行mask；其中，每段数据包括的数据量相同；若是，则对该段数据进行mask。4.根据权利要求1所述的方法，其中，所述通过预训练模型提取所述样本时序数据的趋势项和季节项，包括：通过所述预训练模型对所述样本时序数据进行因果卷积，并基于因果卷积结果得到趋势项；通过所述预训练模型确定所述样本时序数据与得到的趋势项之间的第一差值，并对所述第一差值进行快速傅里叶变换，得到频域数据，对得到的频域数据进行线性变换，并对线性变换结果进行快速傅里叶逆变换得到季节项；通过所述预训练模型确定所述第一差值与得到的季节项之间的第二差值，并对所述第二差值进行因果卷积，返回所述基于因果卷积结果得到趋势项的步骤，直至提取出预设数量的趋势项和季节项。5.根据权利要求4所述的方法，其中，所述通过所述预训练模型对所述样本时序数据进行因果卷积，并基于因果卷积结果得到趋势项，包括：通过所述预训练模型分别对所述样本时序数据进行多种因果卷积；其中，每种因果卷积的卷积核尺寸不同；通过所述预训练模型确定每种因果卷积结果的权重，并确定各因果卷积结果的加权和，将所述加权和作为提取的趋势项。6.根据权利要求1所述的方法，其中，所述通过预训练模型提取所述样本时序数据的趋势项和季节项，包括：通过所述预训练模型对所述样本时序数据进行因果卷积，并基于因果卷积结果得到趋势项；通过所述预训练模型确定所述样本时序数据与得到的趋势项之间的第一差值，并对所述第一差值进行快速傅里叶变换，得到频域数据，对得到的频域数据进行线性变换，并对线性变换结果进行快速傅里叶逆变换得到季节项。7.根据权利要求1
‑
6任一项所述的方法，其中，所述通过所述预训练模型基于所述趋势
项和所述季节项，预测添加噪声前的时序数据，得到预测时序数据，包括：通过所述预训练模型确定对所述样本时序数据提取的趋势项和季节项的总和；通过所述预训练模型对所述总和进行线性变换，将线性变换结果作为所述预测时序数据。8.一种时序数据的识别方法，包括：获取待识别时序数据；通过识别模型提取所述待识别时序数据的趋势项和季节项，所述趋势项表示所述待识别时序数据的变化趋势，所述季节项表示所述待识别时序数据的变化周期；其中，所述识别模型基于权利要求1
‑
7任一项所述的方法训练的预训练模型得到；通过所述识别模型基于所述趋势项和所述季节项，确定对所述待识别时序数据的识别结果。9.一种预训练模型的训练装置，包括：添加模块，用于对原始时序数据添加噪声，得到样本时序数据；提取模块，用于通过预训练模型提取所述样本时序数据的趋势项和季节项，所述趋势项表示所述样本时序数据的变化趋势，所述...

【专利技术属性】
技术研发人员：王龙飞，卞传鑫，杨胜文，孙玥，王栋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：