【技术实现步骤摘要】
本专利技术属于数据中心资源管理，尤其是涉及一种基于时空数据融合的资源预测方法。
技术介绍
1、随着云计算技术的飞速发展，数据中心已经变得至关重要，它是企业数字化转型的核心基础设施。然而，根据研究统计，当前数据中心的资源利用率普遍偏低，平均仅约为10％，远低于20％的水平。鉴于建设和维护数据中心的成本不断上升，这样的低利用率会导致企业运营效率低下，成本过高。因此，如何有效提升数据中心资源利用率以降低成本和提高效率已成为一个研究难题。
2、低利用率的核心问题之一是现有技术无法有效实时预测未来资源需求，导致资源配置不均，使得一部分节点经常面临资源短缺，而另一部分节点的资源则处于闲置状态。
3、专利文献cn109714395a揭示了一种云平台资源使用预测的方法、终端设备及计算机可读存储介质。该方法包括：采集云平台的历史使用数据，分析历史资源使用量与使用时间的相关性，并基于这种相关性来调整预先设定的线性回归模型和神经网络模型的权重。通过将历史使用数据按月最大值进行归档，并计算线性相关系数，来确定时间与使用量是否线性相关，并据此调整两种预测模型的权重。最后，使用调整后的权重和预测模型来预测未来特定时间的资源使用量。这种方法能够根据历史数据的相关性动态调整预测模型，以实现对云平台资源使用量更加准确的预测。
4、专利文献cn112565378a公开了一种云原生资源动态预测方法、装置、计算机设备及存储介质。其方法包括：基于皮尔森相关系数对获取到的待预测资源数据以及性能指标数据进行相关度排序，得到待预测资源数据以
5、在现有的资源预测方法中，以线性回归为基础的预测方法主要集中于目标资源的时间序列相关性，而未充分考虑其他性能指标的潜在影响。尽管基于机器学习的方法能够处理多维资源数据并捕捉时间序列信息，但这些方法通常也仍旧集中于时间维度的数据分析，忽略了数据中心环境中的空间关联性。这种局限性可能会限制预测模型的全面性，从而导致对资源需求变化趋势的理解不够深入和准确。
技术实现思路
1、为解决现有技术的不足，本专利技术提供了一种基于时空数据融合的资源预测方法，综合考虑了时间序列的动态特性以及服务器节点间的空间关联性，通过时空数据的融合分析，能够有效预测资源利用率的变化趋势。
2、一种基于时空数据融合的资源预测方法，包括以下步骤：
3、(1)采集服务器节点和容器的资源利用率时序数据；
4、(2)对采集的时序数据进行预处理；
5、(3)解析容器之间的服务调用关系，构建调用关系图；解析节点与容器的部署对应关系，构建异构关系图；
6、(4)基于调用关系图和异构关系图，构建图卷积神经网络gcn，计算节点空间特征；基于时序数据，构建长短期记忆神经网络lstm，计算时间序列特征；
7、(5)将gcn和lstm输出的节点空间特征和时间序列特征进行融合，并通过全连接层输出最终的资源利用率预测结果。
8、步骤(1)的具体过程为：
9、在数据中心的服务器节点以及运行在其上的容器中部署监控探针，以固定时间间隔采集资源利用率的时序数据，包含cpu利用率、内存利用率和网络流量。
10、步骤(2)具体包括：对时序数据进行去异常、去噪和归一化操作。
11、步骤(3)中，所述的调用关系图中，节点表示容器，边表示容器之间的调用依赖关系；异构关系图中，节点表示计算节点和容器，边表示计算节点与容器之间的托管或部署关系。。
12、步骤(3)中，所述的调用关系图包括有向调用关系图和无向调用关系图，所述的有向调用关系图反映应用服务之间的依赖方向，无向调用关系图反映应用服务之间的关联程度；
13、所述的异构关系图包括静态异构关系图和动态异构关系图，所述的静态异构关系图反映节点与容器的固定部署关系，所述的动态异构关系图反映节点与容器随时间变化的映射关系。
14、步骤(4)中，所述图卷积神经网络gcn包含两个部分，分别为图卷积操作和非线性激活函数；其中，图卷积操作的表达式如下：
15、hl+1＝f(hl,a)＝σ(ahlwl)
16、式中,hl和hl+1分别为第l层和第l+1层的节点特征矩阵，a为归一化的邻接矩阵,wl为第l层的权重参数矩阵，σ(·)为非线性激活函数，非线性激活函数采用relu激活函数：
17、f(x)＝max(0,x)
18、gcn通过迭代的图卷积操作和relu激活函数，层叠提炼多维特征和聚合节点多元表示形式，输出蕴含拓扑结构信息的节点空间特征。
19、步骤(4)中，所述长短期记忆神经网络lstm专门针对服务器节点和容器的资源利用率时序数据进行建模，以捕捉资源利用率随时间变化的复杂动态特性。lstm通过以下计算步骤实现对时间序列特征的提取和学习：
20、输入门：决定当前输入xt(即当前时刻t的资源利用率数据)中哪些信息是重要的，应当被传递到记忆状态中。计算公式为：
21、it＝σ(xtwxi+ht-1whi+bi)
22、遗忘门：决定前一时刻的记忆状态ct-1中哪些信息是过时的，应当被遗忘。计算公式为：
23、ft＝σ(xtwxf+ht-1whf+bf)
24、输出门：决定当前时刻的记忆状态中哪些信息应当输出到隐藏状态ht。计算公式为：
25、ot＝σ(xtwxo+ht-1who+bo)
26、候选记忆状态：创建一个候选状态它包含了可能被加入当前记忆状态的信息。计算公式为：
27、
28、记忆状态更新：结合遗忘门的结果舍弃掉无关的历史信息，并加上输入门筛选过的新信息，从而更新记忆状态。计算公式为：
29、
30、隐藏状态更新：确定最终的输出，即当前时刻的隐藏状态ht，它综合了当前记忆状态和输出门的信息。计算公式为：
31、ht＝ot⊙tanh(ct)
32、其中,xt为时刻t的输入，包括当前时刻的计算节点资源利用率数据及其上容器的资源利用率数据；ht-1,ct-1分别为前一时刻的隐藏状态和记忆状态；it,ft,ot为输入门，遗忘门，输出门的输出；wxi，wxf，wxo和whi，whf，who是权重参数；bi，bf，bo是偏置参数。
33、步骤(5)中，将gcn和lstm输出的节点空间特征和时间序列特征进行融合，具体表达式如下：
34、ecom本文档来自技高网...
【技术保护点】
1.一种基于时空数据融合的资源预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于时空数据融合的资源预测方法，其特征在于，步骤(1)的具体过程为：
3.根据权利要求1所述的基于时空数据融合的资源预测方法，其特征在于，步骤(2)具体包括：对时序数据进行去异常、去噪和归一化操作。
4.根据权利要求1所述的基于时空数据融合的资源预测方法，其特征在于，步骤(3)中，所述的调用关系图中，节点表示容器，边表示容器之间的调用依赖关系；异构关系图中，节点表示计算节点和容器，边表示计算节点与容器之间的托管或部署关系。
5.根据权利要求1或4所述的基于时空数据融合的资源预测方法，其特征在于，步骤(3)中，所述的调用关系图包括有向调用关系图和无向调用关系图，所述的有向调用关系图反映应用服务之间的依赖方向，无向调用关系图反映应用服务之间的关联程度；
6.根据权利要求1所述的基于时空数据融合的资源预测方法，其特征在于，步骤(4)中，所述图卷积神经网络GCN包含两个部分，分别为图卷积操作和非线性激活函数；其中，图卷积操作的表达式如下：
7.根据权利要求1所述的基于时空数据融合的资源预测方法，其特征在于，步骤(4)中，所述长短期记忆神经网络LSTM专门针对服务器节点和容器的资源利用率时序数据进行建模，以捕捉资源利用率随时间变化的复杂动态特性，具体的，LSTM通过以下计算步骤实现对时间序列特征的提取和学习：
8.根据权利要求1所述的基于时空数据融合的资源预测方法，其特征在于，步骤(5)中，将GCN和LSTM输出的节点空间特征和时间序列特征进行融合，具体表达式如下：
...【技术特征摘要】
1.一种基于时空数据融合的资源预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于时空数据融合的资源预测方法，其特征在于，步骤(1)的具体过程为：
3.根据权利要求1所述的基于时空数据融合的资源预测方法，其特征在于，步骤(2)具体包括：对时序数据进行去异常、去噪和归一化操作。
4.根据权利要求1所述的基于时空数据融合的资源预测方法，其特征在于，步骤(3)中，所述的调用关系图中，节点表示容器，边表示容器之间的调用依赖关系；异构关系图中，节点表示计算节点和容器，边表示计算节点与容器之间的托管或部署关系。
5.根据权利要求1或4所述的基于时空数据融合的资源预测方法，其特征在于，步骤(3)中，所述的调用关系图包括有向调用关系图和无向调用关系图，所述的有向调用关系图...
【专利技术属性】
技术研发人员：李莹，甘蕊，王楦烨，席萌，潘晓华，尹建伟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。