一种基于自监督对比学习的HPC作业功耗预测方法及系统技术方案

本发明专利技术属于HPC作业预测领域，提供了一种基于自监督对比学习的HPC作业功耗预测方法及系统，本发明专利技术采用了基于表示学习和自监督学习的方法进行训练，采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。考虑了数据的连续性，可以在长期预测任务中取得较好的性能，计算复杂度也明显低于RNN和GRU模型。也明显低于RNN和GRU模型。也明显低于RNN和GRU模型。

【技术实现步骤摘要】
一种基于自监督对比学习的HPC作业功耗预测方法及系统


[0001]本专利技术属于HPC作业预测领域，尤其涉及一种基于自监督对比学习的HPC作业功耗预测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]对于高性能计算(High performance computing，HPC)平台而言，HPC作业功耗时间序列对作业功耗的预测是至关重要的，因为它可以帮助HPC管理员优化作业分配和资源调度，从而提高计算效率和性能。
[0004]传统的时间序列预测方法通常采用基于统计学的方法，如自回归移动平均(Autoregressive Integrated Moving Average model，ARIMA)和指数平滑时间序列(Exponential Time Smoothing，ETS)等。ARIMA模型可以捕捉到时间序列的历史趋势和周期性，并以此进行预测，而ETS可以对不同时间序列进行组合以提高预测精准性，上述模型都是时间序列预测中常用的方法。但是，这些方法通常需要大量领域知识和手工调整参数，限制了它们的泛化能力和预测精度。
[0005]除了传统的基于统计学的方法，近年来深度学习方法已经成为时间序列预测的主流方法之一。其中，循环神经网络(Recurrent Neural Network，RNN)和门控循环单元(Gate Recurrent Unit，GRU)等模型，可以通过学习时间序列数据中的长期依赖关系和非线性关系来实现更准确的预测。另外，随着时间序列数据规模的增加，基于图神经网络(Graph Neural Networks,GNN)的方法也成为研究热点，它们能够利用图结构对时间序列数据进行建模和预测。然而，这些模型也存在诸多缺点。首先，RNN和GRU模型需要大量的时间序列数据，然后按照时间步进行计算，计算效率低，计算复杂度高。其次，RNN和GRU模型通常在短期预测上效果较好，但是在长期预测时容易出现偏移现象，导致预测效果不佳。此外，图神经网络考虑了节点之间的关系，可以将节点信息和他们的关系结合在一起进行预测，比较适用于图数据的预测。但是，图神经网络模型通常比较复杂，需要更多的计算资源以及更长的训练时间，使得图神经网络在处理大规模数据集时的预测效率较低。

技术实现思路

[0006]为了解决上述
技术介绍
中存在的至少一项技术问题，本专利技术提供一种基于自监督对比学习的HPC作业功耗预测方法及系统，其将时间序列数据转化为向量表示，然后利用这些向量进行预测，模型考虑了数据的连续性，可以在长期预测任务中取得较好的性能，计算复杂度也明显低于传统预测方法。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]本专利技术的第一个方面提供一种基于自监督对比学习的HPC作业功耗预测方法，包括如下步骤：
[0009]获取HPC作业功耗数据，并转化为HPC作业功耗时间序列；
[0010]基于HPC作业功耗时间序列和训练后的作业功耗预测模型，得到作业功耗预测结果；其中，所述作业功耗预测模型的构建过程为：
[0011]通过编码器将HPC作业功耗时间序列映射到高层特征空间，生成向量表示；
[0012]采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。
[0013]本专利技术的第二个方面提供一种基于自监督对比学习的HPC作业功耗预测系统，包括：
[0014]数据获取模块，其用于获取HPC作业功耗数据，并转化为HPC作业功耗时间序列；
[0015]作业功耗预测模块，其用于基于HPC作业功耗时间序列和训练后的作业功耗预测模型，得到作业功耗预测结果；其中，所述作业功耗预测模型的构建过程为：
[0016]通过编码器将HPC作业功耗时间序列映射到高层特征空间，生成向量表示；
[0017]采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。
[0018]本专利技术的第三个方面提供一种计算机可读存储介质。
[0019]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的一种基于自监督对比学习的HPC作业功耗预测方法中的步骤。
[0020]本专利技术的第四个方面提供一种计算机设备。
[0021]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的一种基于自监督对比学习的HPC作业功耗预测方法中的步骤。
[0022]与现有技术相比，本专利技术的有益效果是：
[0023]1、本专利技术采用了基于表示学习和自监督学习的方法进行训练，在不需要标注数据的情况下自动学习时间序列数据的特征表示，本模型将时间序列数据转化为向量表示，然后利用这些向量进行预测。模型考虑了数据的连续性，可以在长期预测任务中取得较好的性能，计算复杂度也明显低于RNN和GRU模型。
[0024]2、通过学习时间序列数据的表示，能够更加准确地预测HPC作业所产生的高功耗。相比于传统的预测方法，本专利技术采用了一种全新的思路，即利用对时间序列数据进行对比学习的方式，将时间序列数据转换为更能有效表示时间序列特征的向量，从而使得预测效果得到了显著提高。
[0025]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0026]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示
意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0027]图1是本专利技术实施例提供的HPC作业功耗预测框架图；
[0028]图2是本专利技术实施例提供的LTTB降采样原始图；
[0029]图3是本专利技术实施例提供的LTTB降采样效果图；
[0030]图4是本专利技术实施例提供的时间戳掩码；
[0031]图5是本专利技术实施例提供的基于对比学习的作业功耗预测效果图。
具体实施方式
[0032]下面结合附图与实施例对本专利技术作进一步说明。
[0033]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0034]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，包括如下步骤：获取HPC作业功耗数据，并转化为HPC作业功耗时间序列；基于HPC作业功耗时间序列和训练后的作业功耗预测模型，得到作业功耗预测结果；其中，所述作业功耗预测模型的构建过程为：通过编码器将HPC作业功耗时间序列映射到高层特征空间，生成向量表示；采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。2.如权利要求1所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，在获取HPC作业功耗数据后进行数据预处理和数据增强，包括：利用聚类算法将HPC作业功耗时间序列分组，对每组数据进行降采样处理，得到数据预处理结果；结合数据预处理结果，采用随机截取两个具有重叠区域的子序列的方式进行数据增强，得到增强后的数据集。3.如权利要求2所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，所述对每组数据进行降采样处理，包括：将每组时间序列数据分成若干个桶，并在每个桶内选取三个顶点，将每个桶内的三个顶点的平均值作为该桶的输出值，从而得到了降采样后的时间序列数据。4.如权利要求2所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，所述采用随机截取两个具有重叠区域的子序列的方式进行数据增强，具体包括：从输入时间序列随机截取两个具有部分相同时间戳的子序列[a1,b1]和[a2,b2]，使得0＜a1≤a2≤b1≤b2≤T；对[a1,b1]和[a2,b2]这两个子序列进行两种不同的数据增强方式，分别为强增强和弱增强，将经过强增强和弱增强得到的两个子序列合并一个样本输入编码器中。5.如权利要求1所述的一种基于自监督对比学习的HPC作业功耗预测方法，其特征在于，所述通过编码器将HPC作业功耗时间序列映射到高层特征空间，具体包括：将HPC作业功耗时间序列经过输入投影层，将其映射为高维潜在向量；采用二进制掩码沿时间轴对高维潜在向量进行随机M...

【专利技术属性】
技术研发人员：张杰，李响，田学森，赵志刚，王继彬，武鲁，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：