【技术实现步骤摘要】
本专利技术涉及监控数据自适应转换，具体是一种混合云监控数据自适应转换方法及系统。
技术介绍
1、随着云计算技术的日益发展，相比特性单一的公有云和私有云，混合云受到了越来越多客户的青睐。任何云计算平台都需要监控系统来确保其稳定运行，混合云由于架构上的复杂性，其对业务监控信息、系统健康度监测及业务稳定运行的综合监控平台的需求更是愈加强烈。
2、混合云带来了业务场景多元化的同时，也增加了统一管控的难度。如何完成多云、异构云场景下的云资源监控，服务可用性监测以及相应的告警指标设置，分别向各级管理员、租户实时呈现云资源的使用情况、业务运行状况以及健康度，并及时推送单个异常告警以及资源池综合异常告警，保证云平台稳定运行；
3、然而各个云平台生成的监控数据的格式不尽相同，目前一般是通过人工的方式对不同的云平台的监控数据进行分类，而缺乏智能的对监控数据进行自动化分类和保存的方法；
4、为此，本专利技术提出一种混合云监控数据自适应转换方法及系统。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种混合云监控数据自适应转换方法及系统，通过兼容现有监控系统，减少了重复建设，并且通过自适应监控数据转换层，极大地减少多云对接时指标数据和维度数据的开发工作量。
2、为实现上述目的，根据本专利技术的实施例1提出一种混合云监控数据自适应转换方法，包括以下步骤：
3、步骤一：收集监控训练数据集合；
4
5、步骤三：以训练特征向量集合为输入，以监控指标标签集合为输出，训练预测指标标签的指标标签预测模型；
6、步骤四：对于各云平台新生成的实时监控数据，使用指标标签预测模型输出预测的指标标签；
7、步骤五：基于预测的指标标签，将实时监控数据按预设转化规则进行转化，并将转化后实时监控数据保存至数据源中；
8、其中，所述收集监控训练数据集合的方式为：
9、收集各个云服务商每次生成的监控数据中的监控指标历史数据、监控特征历史数据以及监控说明历史数据，每条监控数据的监控指标历史数据、监控特征历史数据以及监控说明历史数据组成一组监控训练数据；
10、所述将监控训练数据集合转化为训练特征向量集合以及监控指标标签集合，并使用训练特征向量集合以及监控指标标签集合组成训练集的方式为：
11、将监控指标类型的编号标记为n，将监控指标类型的数量标记为n；
12、对于第n个监控指标类型，将其对应的监控指标历史数据标记为mn，将其对应的监控特征历史数据中各个监控特征的编号标记为,lni，将其对应的监控说明历史数据标记为wn；其中，i＝1,2,3...i；其中，i为监控特征的数量；
13、将监控训练数据的编号标记为j，将第j条监控数据的监控指标历史数据标记为mnj，将第j条监控数据的监控说明历史数据标记为wnj；
14、针对英文定义的每条监控指标历史数据，采用下划线分词或者驼峰拼写模式进行分词，将每条监控指标历史数据mnj转换成若干个独立单词；
15、针对中文定义的每个监控说明历史数据，采用基于词典的中文分词法进行分词，将每个监控说明历史数据wnj转换成若干独立词语；
16、建立一个专业词典库，所述专业词典库包括各个云服务商使用的训练语料库中的所有单词和词语，利用one-hot编码技术为每个独立单词和独立词语分别生成一个唯一识别的编码；
17、对于第j条监控训练数据，生成训练特征向量，所述训练向量包括j条监控训练数据对应的所有独立单词的编码、监控特征历史数据以及独立词语的编码；所有监控训练数据的训练特征向量组成训练特征向量集合；
18、对于第n条监控训练数据，将监控指标历史数据的监控指标类型对应的编号作为监控指标标签；所有监控指标标签组成监控指标标签集合；
19、将第j条监控训练数据的训练特征向量和监控指标标签分别使用xj和yj表示，获得训练集s；其中，训练集s＝{(xj，yj),j＝1,2,…,j},(xn,yn)∈rd×r；其中，j为所有监控训练数据的数量；r表示实数，d为训练特征向量的特征维度数量；
20、所述以训练特征向量集合为输入，以监控指标标签集合为输出，训练预测指标标签的指标标签预测模型的方式为：
21、所述指标标签预测模型为随机森林模型；
22、预设指标标签预测模型的超参数，按监控指标大类的数量设置原始树棵数h和决策树深度；
23、构造随机森林；所述构造随机森林的步骤如下：
24、步骤11：对训练集s随机且有放回地抽取j个训练样本，生成决策树训练集；
25、步骤12：使用决策树训练集生成一棵不剪枝的树，从d个特征维度中随机地选取z个特征子集，其中，z<<d；每次树进行分裂时，从这z个特征中选择最优的特征；所述特征子集中的特征数量z使用袋外错误率的计算值来确定；
26、步骤13：每棵树都分裂至不再能继续分裂时停止分裂；
27、步骤14：循环执行步骤11至步骤13，直至训练出h棵决策树；
28、所述袋外错误率的计算方式为：
29、步骤21：对第j条监控训练数据，计算它作为袋外样本的树对它的分类情况；采用如下公式获得第n条监控训练数据的预测的第一综合监控指标标签；其中，f1(xj)为第一综合监控指标标签，wh(xj)为第h棵决策树以训练特征向量xj为输入，输出的预测的监控指标标签；
30、步骤22：通过使用多数投票法，选出第j条监控训练数据的第二综合监控指标标签，并使用f2(xj)标记第二综合监控指标标签；
31、步骤23：基于所有监控训练数据的第一综合监控指标标签和第二综合监控指标标签，计算被错误分类的数量占监控训练数据总数的比率，并将该比率作为随机森林的袋外错误率；
32、所述被错误分类的判断方式为：
33、对于任意第j条监控训练数据，计算对应的误差率gj，其中误差率gj的计算公式为：若误差率gj大于预设的误差率阈值时，表示第一综合监控指标标签和第二综合监控指标标签相差较大，判断第j条监控训练数据为错误分类；若误差率gj小于或等于预设的误差率阈值时，判断第j条监控训练数据为非错误分类；
34、所述对于各云平台新生成的实时监控数据，使用指标标签预测模型输出预测的指标标签的方式为：
35、收集各个云服务商实时生成的监控数据监控指标历史数据、监控特征历史数据以及监控说明历史数据作为实时监控数据，再将实时监控数据转化为实时训练特征向量，将实时训练特征向量输入至随机森林的各个决策树中，获得各个决策树对实时训练特征向量输出的预测的监控指标标签；
36、使用多数投票法选本文档来自技高网...
【技术保护点】
1.一种混合云监控数据自适应转换方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种混合云监控数据自适应转换方法，其特征在于，所述收集监控训练数据集合的方式为：
3.根据权利要求2所述的一种混合云监控数据自适应转换方法，其特征在于，所述将监控训练数据集合转化为训练特征向量集合以及监控指标标签集合，并使用训练特征向量集合以及监控指标标签集合组成训练集的方式为：
4.根据权利要求3所述的一种混合云监控数据自适应转换方法，其特征在于，所述指标标签预测模型为随机森林模型；
5.根据权利要求4所述的一种混合云监控数据自适应转换方法，其特征在于，所述袋外错误率的计算方式为：
6.根据权利要求5所述的一种混合云监控数据自适应转换方法，其特征在于，所述被错误分类的判断方式为：
7.根据权利要求6所述的一种混合云监控数据自适应转换方法，其特征在于，所述对于各云平台新生成的实时监控数据，使用指标标签预测模型输出预测的指标标签的方式为：
8.一种混合云监控数据自适应转换系统，其基于权要要求1-7中任意一项所述
9.一种电子设备，其特征在于，包括：处理器和存储器，其中，
10.一种计算机可读存储介质，其特征在于，其上存储有可擦写的计算机程序；
...【技术特征摘要】
1.一种混合云监控数据自适应转换方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种混合云监控数据自适应转换方法，其特征在于，所述收集监控训练数据集合的方式为：
3.根据权利要求2所述的一种混合云监控数据自适应转换方法，其特征在于，所述将监控训练数据集合转化为训练特征向量集合以及监控指标标签集合，并使用训练特征向量集合以及监控指标标签集合组成训练集的方式为：
4.根据权利要求3所述的一种混合云监控数据自适应转换方法，其特征在于，所述指标标签预测模型为随机森林模型；
5.根据权利要求4所述的一种混合云监控数据自适应转换方法，其特征在于，所述袋外错误率的计算方式为：
6.根据权利要求5所述的一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。