一种基于机器学习的大数据平台故障诊断方法及系统技术方案

本发明专利技术公开了一种基于机器学习的大数据平台故障诊断方法及系统，属于机器学习领域；所述的本发明专利技术方法进行建模，建立故障诊断模型；用以快速处理大数据平台运行问题，解决大数据平台组件问题排查难，排查周期长，提高解决问题的能力，为大数据平台智能维保提供有益决策，并以此为基础预测设备的剩余使用寿命，从而制定积极主动的设备维护保障措施。本发明专利技术能够自动诊断系统故障，使维护变得更加简单。使维护变得更加简单。使维护变得更加简单。

【技术实现步骤摘要】
一种基于机器学习的大数据平台故障诊断方法及系统


[0001]本专利技术公开一种基于机器学习的大数据平台故障诊断方法及系统，涉及机器学习


技术介绍

[0002]随着新工业革命时代的开启，物联网、工业互联网、人工智能等技术成为舞台上最受瞩目的新星。
[0003]贝叶斯网络(BN)是一种用于描述变量间不确定性因果关系的图形网络模型,用于不确定性系统建模和推理,处理涉及到预测智能推理、诊断、决策风险及可靠性分析的问题。
[0004]大数据平台此处特指hadoop平台,其涉及的技术组件繁多，维护需要的专业技术种类多种多样，对于技术人员的技术水平要求较高。为了提高问题排查效率，预防问题产生，基于机器学习的故障诊断应运而生。
[0005]早期的故障诊断通常依赖于技术人员的经验知识。例如，一个专业的工程师可以通过查看大数据平台中某一组件的状态诊断平台服务的故障原因，或者通过运行日志分析报错信息来判定运行的问题。显然，这种依赖人工判断的方法在准确度、扩展性、实时性等方面都存在较大的问题。近年来，利用机器学习模型来建立故障分类器成为目前故障诊断研究的最热门的领域。这类数据驱动的诊断方法能自动根据设备的运行状态数据诊断设备的故障类型，在准确度、扩展性、实时性等方面都比人工方法更有优势。
[0006]故现专利技术一种基于机器学习的大数据平台故障诊断方法及系统，以解决上述问题。

技术实现思路

[0007]本专利技术针对现有技术的问题，提供一种基于机器学习的大数据平台故障诊断方法及系统，所采用的技术方案为：一种基于机器学习的大数据平台故障诊断方法，所述方法进行建模，建立故障诊断模型；
[0008]所述方法在故障诊断模型的训练阶段：获取训练样本，将有标记的训练样本输入机器学习模型，判断当前大数据平台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型；
[0009]所述方法在故障诊断模型的工作阶段：将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。
[0010]所述方法在故障诊断模型的训练阶段，具体方法如下：
[0011]S11数据处理，采集大数据平台中的系统信息、软件服务的监控信息，检索系统运行日志，以及局域网内的网络信息包括流量大小、网络连通情况；
[0012]S12特征预处理，对采集到的频域数据、时域数据、时频数据进行预处理，以使其适用于机器学习和模型学习；
[0013]S13故障诊断模型建模，采用深度卷积神经网络模型，通过softmax函数来完成故障分类，利用卷积提取特征，利用池化去除特征中德冗余信息，降低特征的维度。
[0014]所述方法在故障诊断模型的工作阶段，利用TANd分类器对大数据平台产品进行故障诊断，具体方法如下：
[0015]S21将预处理后的故障数据和常规数据组合构成训练集，根据训练集生成TANd分类器模型；
[0016]S22利用生成的TANd分类器模型对大数据平台产品进行故障诊断。
[0017]所述TANd分类器模型计算不同属性质之间的条件信息函数，在属性间条件弧，建立一个有向无环图。
[0018]一种基于机器学习的大数据平台故障诊断系统，所述系统进行建模，建立故障诊断模型；
[0019]所述系统在故障诊断模型的训练阶段：获取训练样本，将有标记的训练样本输入机器学习模型，判断当前大数据平台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型；
[0020]所述系统在故障诊断模型的工作阶段：将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。
[0021]所述系统在故障诊断模型的训练阶段，具体包括：
[0022]数据处理模块，采集大数据平台中的系统信息、软件服务的监控信息，检索系统运行日志，以及局域网内的网络信息包括流量大小、网络连通情况；
[0023]特征预处理模块，对采集到的频域数据、时域数据、时频数据进行预处理，以使其适用于机器学习和模型学习；
[0024]故障诊断模型建模模块，采用深度卷积神经网络模型，通过softmax函数来完成故障分类，利用卷积提取特征，利用池化去除特征中德冗余信息，降低特征的维度。
[0025]所述系统在故障诊断模型的工作阶段，利用TANd分类器对大数据平台产品进行故障诊断，具体包括：
[0026]数据组合模块：将预处理后的故障数据和常规数据组合构成训练集，根据训练集生成TANd分类器模型；
[0027]诊断处理模块：利用生成的TANd分类器模型对大数据平台产品进行故障诊断。
[0028]所述TANd分类器模型计算不同属性质之间的条件信息函数，在属性间条件弧，建立一个有向无环图。
[0029]本专利技术的有益效果为：本专利技术方法用以快速处理大数据平台运行问题，解决大数据平台组件问题排查难，排查周期长，提高解决问题的能力，为大数据平台智能维保提供有益决策，并以此为基础预测设备的剩余使用寿命，从而制定积极主动的设备维护保障措施。本专利技术能够自动诊断系统故障，使维护变得更加简单。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以
根据这些附图获得其他的附图。
[0031]图1是本专利技术方法实施例基于机器学习的故障诊断两阶段示意图；
[0032]图2是本专利技术方法实施例的基本流程示意图；
[0033]图3是本专利技术方法实施例中深度卷积神经网络的故障诊断模型结构示意图。
具体实施方式
[0034]下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。
[0035]实施例一：
[0036]一种基于机器学习的大数据平台故障诊断方法，所述方法进行建模，建立故障诊断模型；
[0037]基于机器学习的故障诊断方法通常被建模为一个有监督的多分类问题,如图1所示。方法分为如下两个阶段：
[0038]所述方法在故障诊断模型的训练阶段：在训练阶段，获取训练样本，样本数据包括大数据平台的系统运行参数数据、监控数据、运行日志数据、网络数据等。将有标记的训练样本输入机器学习模型，判断当前大数据平台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型。
[0039]所述方法在故障诊断模型的工作阶段：在诊断阶段，将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。其中的关键点主要集中在两个方面：第一个关键点是如何构造样本，即大数据平台的哪些状态参数作为样本特征；第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的大数据平台故障诊断方法，其特征是所述方法进行建模，建立故障诊断模型；所述方法在故障诊断模型的训练阶段：获取训练样本，将有标记的训练样本输入机器学习模型，判断当前大数据平台属于的故障类型，对训练样本数据进行归一化处理，通过最小化模型分类错误来优化模型参数，从而得到最优的故障诊断模型；所述方法在故障诊断模型的工作阶段：将不带标记的样本输入到故障诊断模型，计算当前大数据平台的故障类型。2.根据权利要求1所述的方法，其特征是所述方法在故障诊断模型的训练阶段，具体方法如下：S11数据处理，采集大数据平台中的系统信息、软件服务的监控信息，检索系统运行日志，以及局域网内的网络信息包括流量大小、网络连通情况；S12特征预处理，对采集到的频域数据、时域数据、时频数据进行预处理，以使其适用于机器学习和模型学习；S13故障诊断模型建模，采用深度卷积神经网络模型，通过softmax函数来完成故障分类，利用卷积提取特征，利用池化去除特征中德冗余信息，降低特征的维度。3.根据权利要求2所述的方法，其特征是所述方法在故障诊断模型的工作阶段，利用TANd分类器对大数据平台产品进行故障诊断，具体方法如下：S21将预处理后的故障数据和常规数据组合构成训练集，根据训练集生成TANd分类器模型；S22利用生成的TANd分类器模型对大数据平台产品进行故障诊断。4.根据权利要求3所述的方法，其特征是所述TANd分类器模型计算不同属性质之间的条件信息函数，在属性间条件弧，建立一个有向无环图。5.一种基于机...

【专利技术属性】
技术研发人员：孙亮亮，张栋，魏金雷，胡清，李国涛，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：