一种多源数据驱动的数据中心异构设备群聚类方法技术

本申请涉及一种多源数据驱动的数据中心异构设备群聚类方法，包括如下步骤：初始获取在时间段内两两异构设备间传输的数据包；从数据包提取不同数据块的特征值；经过PCA进行特征向量降维后，得到简化特征将简化特征进行映射到两个可逆的子空间；基于CAA理论建模Pearson系数，求最优解；完成多源异构数据块的相关性分析；建模两异构设备间的相似性系数；得到初始聚类集；输出当前的聚类集。本申请有助于分析跳脱设备空间分布之外的数据中心异构设备群内各器件的紧密关系，进而为数据中心信息交互故障预测、根源故障定位、预测性维护推荐等技术的实现奠定基础。推荐等技术的实现奠定基础。推荐等技术的实现奠定基础。

【技术实现步骤摘要】
一种多源数据驱动的数据中心异构设备群聚类方法


[0001]本申请涉及异构设备的聚类领域，尤其涉及一种多源数据驱动的数据中心异构设备群聚类方法。

技术介绍

[0002]随着大数据时代的到来，电力信息通信网络的发展规模不断拓展，为进一步提升电力业务的资源管理和信息监控水平带来了新的挑战。面向多源电力信息系统监控需求，需要综合分析各层级设备相关信息之间的关联性，从而为系统监控、维护、监测、管理等提供智能化的决策方案，为数据中心信息交互故障预测、根源故障定位、预测性维护推荐等技术的实现奠定基础。
[0003]考虑到传统的异构设备聚类算法一般要考虑异构设备之间的距离、是否存在连接等因素，但也存在这样的一种情况，两个相隔非常远，不存在可视的物理连接的两个设备，也可能存在紧密的联系，这种联系可以从二者传输到数据中心的数据特征的相似性进行挖掘。因此本申请提出了一种多源数据驱动的数据中心异构设备群聚类方法，通过无监督方式对设备进行分类，以便与对紧密设备群关联规则挖掘、基于关联规则的设备故障预测及溯源等研究的展开。

技术实现思路

[0004]本申请实施例针对数据中心设备运行数据监控和潜在规律挖掘的需求提供一种多源数据驱动的数据中心异构设备群聚类方法，该方法结合PCA和CCA理论的优点，采取基于快速搜索的层次聚类算法，使得数据中心异构设备群聚类的速度和准确性得到了提升，利用其聚类结果，有助于设备运行状态变化规律的挖掘。
[0005]为实现上述目的，本申请提供如下技术方案：本申请实施例提供一种多源数据驱动的数据中心异构设备群聚类方法，包括如下步骤：步骤1：假设数据中心存在个异构设备，初始获取在时间段（表示将一天按时分为24段，选取其中第k段时间内的数据）内两两异构设备间传输的数据包，其中，，，表示时间段内两异构设备间传输的不同模态的数据块，表示每个数据包由个不同模态的数据块组成，表示设备i在时间段内接收到的设备j发送给它的数据包，同理；步骤2： 从数据包和中提取数据块，提取不同数据块的特征值为，，其中特征集合表示第x个模态的数据块的p个特征向量的集合，表示第y个模态的数据块的p个特征向量的集
合；步骤3：经过PCA进行特征向量和降维后，得到简化特征集合，由于提取到的是不同模态的数据，因此存在线性映射关系，将简化特征进行映射到两个可逆的子空间；步骤4：基于CAA理论建模简化特征间的Pearson系数，求使得Pearson系数最大时，所对应的最优子空间映射系数，采用拉格朗日乘子法进行化简、求最优解；步骤5：根据优化问题求得的最优解来进行多源异构数据的空间映射，并根据距离公式计算数据块和之间的相关系数，完成多源异构数据块的相关性分析；步骤6：计算异构设备传输数据包之间的相关系数，以及两两设备间的干扰，从而建模两异构设备和间的相似性系数；步骤7：以相似性系数为元素构建异构设备间的邻接矩阵，并建模聚类的评价指标，作为是否合成新簇的标准，统计邻接矩阵中各个元素出现的次数，依据频次的不同进行初始化聚类，得到初始聚类集；步骤8：如果两个聚类间的评价指标相差不大，则合并这两个聚类，并且更新邻接矩阵，返回步骤7，并重新计算评价指标进行对比；否则不再更新，输出当前的聚类集。
[0006]所述步骤4中求使得Pearson系数最大时，所对应的最优子空间映射系数具体为，Pearson系数如下：式中，是PCA降维后的数据，为线性映射系数，是利用CCA理论降维至1维后的投影，简化为下式：，，继而用拉格朗日乘子法求最优解。
[0007]所述步骤6中的相似性建模方法如下，首先对数据间相关系数进行建模：式中，表示数据包位长， ，表示数据包的优先级；，分别表示投影后特征向量和的第个元素，而后对异构设备间通信时其他设备对其的干扰进行建模：进行建模：为发送方设备的传输功率，为背景噪声，q 为path
‑
loss指数，为发送设备与接收设备间距离；
最后对两异构设备间相似性系数进行建模：最后对两异构设备间相似性系数进行建模：用于将该相似性系数调整至0~1范围内。
[0008]所述步骤7中的聚类采用基于快速搜索法的层次聚类算法，根据邻接矩阵中各元素出现的概率，即出现次数占总数的比例；依据概率进行分层，而非将每个设备初始化成一类，以此更为迅速、准确地实现聚类。
[0009]步骤8中的聚类评价指标建模如下：式中表示第个聚类中包含的所有异构设备的数量，表示 中存在实际数据流连接的设备数。
[0010]与现有技术相比，本专利技术的有益效果是：1.通过将主成分分析法和典型相关分析结合的方式，使得算法不仅适用于数据中心异构设备间传输的高维数据的降维，并且可以实现对数据中心异构设备间传输的多源数据进行相关性分析。
[0011]2.通过对异构设备相关性系数的建模，不拘泥于异构设备分布距离、连接等物理因素，而是由设备本身传输的数据特征驱动，以此可以实现对较为隐蔽的、具有紧密关联的异构设备的聚类。在聚类方法上采用基于快速搜索的层次聚类法，相比已有的凝聚聚类法具有更快速、简便的优势。
附图说明
[0012]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0013]图1是本申请实施例的方法流程示意图。
具体实施方式
[0014]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0015]术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0016]下面结合图1，介绍本申请的一种多源数据驱动的数据中心异构设备群聚类方法，
包括以下具体步骤：步骤1：假设数据中心存在个异构设备，初始获取在时间段（表示将一天按时分为24段，选取其中第k段时间内的数据）内两两异构设备间传输的数据包，其中，，，表示时间段内两异构设备间传输的不同模态的数据块，表示每个数据包由个不同模态的数据块组成，表示设备i在时间段内接收到的设备j发送给它的数据包，同理。
[0017]步骤2： 从数据包和中提取数据块，提取不同数据块的特征值为，，其中特征集合表示第x个模态的数据块的p个特征向量的集合，表示第y个模态的数据块的p个特征向量的集合；步骤3：经过PCA进行特征向量和降维后，得到简化特征，PCA是一种将高维空间数据映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源数据驱动的数据中心异构设备群聚类方法，其特征在于，包括如下步骤：步骤1：假设数据中心存在个异构设备，初始获取在时间段内两两异构设备间传输的数据包，其中，，，表示时间段内两异构设备间传输的不同模态的数据块，表示每个数据包由个不同模态的数据块组成，表示设备i在时间段内接收到的设备j发送给它的数据包，同理；步骤2： 从数据包和中提取数据块，，提取不同数据块的特征值为，，其中特征集合表示第x个模态的数据块的p个特征向量的集合，表示第y个模态的数据块的p个特征向量的集合；步骤3：经过PCA进行特征向量和降维后，得到简化特征集合，由于提取到的是不同模态的数据，因此存在线性映射关系，将简化特征映射到两个可逆的子空间；步骤4：基于CAA理论建模简化特征间的Pearson系数，求使得Pearson系数最大时，所对应的最优子空间映射系数，采用拉格朗日乘子法进行化简、求最优解；步骤5：根据优化问题求得的最优解来进行多源异构数据的空间映射，并根据距离公式计算数据块和之间的相关系数，完成多源异构数据块的相关性分析；步骤6：计算异构设备传输数据包之间的相关系数，以及两两设备间的干扰，从而建模两异构设备和间的相似性系数；步骤7：以相似性系数为元素构建异构设备间的邻接矩阵，并建模聚类的评价指标，作为是否合成新簇的标准，统计邻接矩阵中各个元素出现的次数，依据频次的不同进行初始化聚类，得到初始聚类集；步骤8：如果两个聚类间的评价指标相差不大，则合并这两个聚类，并且更新邻接矩阵，返回步骤7，并重新计算评价指标进行对比；否则不再更新，输出当...

【专利技术属性】
技术研发人员：李想，董亮，李德识，郭兆丰，庄严，郭岳，朱国威，罗弦，李磊，黄超，梁源，柯旺松，朱兆宇，胡欢君，王晟玮，徐宁，姚渭菁，夏胜冬，
申请(专利权)人：武汉大学，
类型：发明
国别省市：