基于LSTM-DSSM的虚拟化平台的日志分析方法及装置制造方法及图纸

本发明专利技术提供了一种基于LSTM

【技术实现步骤摘要】
基于LSTM-DSSM的虚拟化平台的日志分析方法及装置


[0001]本专利技术涉及虚拟化产品
，尤其是涉及一种基于LSTM-DSSM的虚拟化平台日志分析方法及装置。

技术介绍

[0002]近年来随着云计算技术的发展和大规模普及，虚拟化平台作为云计算的基础之一也得到广泛的应用。虚拟化平台开发、测试以及交付给客户使 用过程中，难免出现各种各样的问题。当问题出现时，通常是通过查找日志的方法分析问题原因，从而解决问题。由于ICS平台中包含管理节点和计算节点两部分，而计算节点中又包含计算、存储网络的资源，日志的分析往往较为复杂。目前的问题日志分析的过程是：查看管理节点的日志，发现问题，则解决问题；若错误是由底层抛出，则查看计算节点的日志，首先查看agent的日志，如果并无异常出现，则查看IVA的报错信息，若错误是由存储抛出，则转而查看storage的日志。由于管理节点和计算节点由不同的人分工协作完成，问题的定位往往需要多人流转，才能找到问题发生的根本原因，极为耗时耗力。
[0003]基于上述问题，本专利技术提出了一种基于LSTM-DSSM的虚拟化平台的日志分析方法，首先通过FileBeat将不同节点的日志收集到一起，集成到管理节点统一查看所有日志信息，当任务失败时，将此报错信息和全部日志信息，基于LSTM-DSSM神经网络，训练出日志分析模型，使用此模型提取出 报错时管理节点或者计算节点的错误日志，方便研发人员快速有效的定位出问题跟因。

技术实现思路

[0004]本专利技术的目的在于提供一种基于LSTM-DSSM的虚拟化平台日志分析方 法及装置，以解决了问题的定位需要多人流转，才能找到问题发生的根本 原因，耗时耗力的技术问题。
[0005]第一方面，本专利技术提供的一种日志分析方法，应用于虚拟化平台的管 理节点，所述方法包括：
[0006]获取所有节点的日志信息；
[0007]从所获取的日志信息中筛选出异常错误日志信息；
[0008]对异常错误日志信息进行整理，生成日志语料；
[0009]利用日志语料对LSTM-DSSM模型进行训练，(LSTM：Long Short-Term Memory，长短期记忆网络；DSSM：Deep Structured Semantic Models，深度 结构化语义模型)；
[0010]当出现异常错误时，利用训练好的LSTM-DSSM模型进行匹配，获得异 常错误对应的日志信息。
[0011]进一步的，所述日志信息包括管理节点日志、虚拟代理日志、存储日 志、代理日志、反馈日志中的一种或多种。
[0012]进一步的，获取所有节点的日志信息的步骤之后，还包括：
[0013]对于定时打印的状态、容量以及监控日志信息，根据时间段进行过滤；
[0014]对于任务执行进度日志信息，如果当前时间段没有失败任务及告警， 任务完成后保留部分进度日志信息，删除其余日志信息；
[0015]当前日志信息超过日志容量的80％时，对当前日志信息进行备份。
[0016]进一步的，从所获取的日志信息中筛选出异常错误日志信息步骤，包 括：
[0017]从所获取的日志信息中筛选出错误日志信息；
[0018]从错误日志信息中筛选出不是由于平台限制无法实现而出现的错误日 志信息，作为异常错误日志信息。
[0019]进一步的，对异常错误日志信息进行整理，生成日志语料的步骤，包 括：
[0020]分析历史特征信息，提取异常错误日志信息的日志特征；
[0021]基于所述日志特征，将所有异常错误日志信息与其对应的错误码整理 形成报错信息库；
[0022]整理异常错误日志信息的任务类型和对应的代理接口调用列表，生成 日志语料。
[0023]进一步的，日志语料的格式为[任务类型][错误描述][平台错误码][任务 ID][任务时间][任务调用接口列表][具体错误日志]。
[0024]进一步的，利用日志语料对LSTM-DSSM模型进行训练的步骤，包括：
[0025]使用word2Vec词向量模型，得到每个异常错误日志信息和相应特征对 应的词向量数据，训练得到未经处理的错误日志的词向量数据，将这些词 向量数据作为输入；
[0026]选取特征单元，压缩特征单元，将word token拆解成letter n-gram降 维表示；
[0027]利用Query的LSTM单元输出的隐层向量作为context，分别与doc每 个时间步骤的隐层向量作点积计算，计算结果作为权重，对每个时间步骤 的向量进行加权求和，使用softmax交叉熵函数计算实际的输出与期望的输 出的损失函数。
[0028]第二方面，本专利技术还提供一种一种日志分析装置，应用于虚拟化平台 的管理节点，所述装置包括：
[0029]获取模块，用于获取所有节点的日志信息；
[0030]筛选模块，用于从所获取的日志信息中筛选出异常错误日志信息；
[0031]语料模块，用于对异常错误日志信息进行整理，生成日志语料；
[0032]训练模块，用于利用日志语料对LSTM-DSSM模型进行训练；
[0033]匹配模块，用于当出现异常错误时，利用训练好的LSTM-DSSM模型进 行匹配，获得异常错误对应的日志信息。
[0034]第三方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读 存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用 和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至7 任一项所述的方法。
[0035]本专利技术提供的一种基于LSTM-DSSM的虚拟化平台日志分析方法，通过 FileBeat将计算、管理节点的日志信息收集到一起，并通过调用elasticsearch 的接口将日志信息集成到虚拟化平台统一管理，实现了日志资源的实时同 步和统一查询，解决了日志查找费时费力的问题，并在此基础上，增加日 志过滤、日志告警和备份处理，解决日志刷新过多容易造成的日志丢失问 题；依据历史日志信息，在结合日志特征的基础上，通过LSTM-DSSM网络 结构，训练生成LSTM-DSSM网络模型，进一步实现了具体报错日志的匹配 查找，日志查找的
结果可以直接由研发人员分析问题，有效提升需求开发 以及系统测试阶段的效率，该日志分析方法方法简化了日志分析过程，实现了 日志的统一管理，解决了日志刷新频繁导致的日志丢失问题，节省了日志分析过程 中耗费的人力物力。
[0036]相应地，本专利技术实施例提供的一种日志分析装置及计算机可读存储介 质，也同样具有上述技术效果。
附图说明
[0037]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下 面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志分析方法，其特征在于，应用于虚拟化平台的管理节点，所述方法包括：获取所有节点的日志信息；从所获取的日志信息中筛选出异常错误日志信息；对异常错误日志信息进行整理，生成日志语料；利用日志语料对LSTM-DSSM模型进行训练；当出现异常错误时，利用训练好的LSTM-DSSM模型进行匹配，获得异常错误对应的日志信息。2.根据权利要求1所述的日志分析方法，其特征在于，所述日志信息包括管理节点日志、虚拟代理日志、存储日志、代理日志、反馈日志中的一种或多种。3.根据权利要求1所述的日志分析方法，其特征在于，获取所有节点的日志信息的步骤之后，还包括：对于定时打印的状态、容量以及监控日志信息，根据时间段进行过滤；对于任务执行进度日志信息，如果当前时间段没有失败任务及告警，任务完成后保留部分进度日志信息，删除其余日志信息；当前日志信息超过日志容量的80％时，对当前日志信息进行备份。4.根据权利要求1所述的日志分析方法，其特征在于，从所获取的日志信息中筛选出异常错误日志信息步骤，包括：从所获取的日志信息中筛选出错误日志信息；从错误日志信息中筛选出不是由于平台限制无法实现而出现的错误日志信息，作为异常错误日志信息。5.根据权利要求1所述的日志分析方法，其特征在于，对异常错误日志信息进行整理，生成日志语料的步骤，包括：分析历史特征信息，提取异常错误日志信息的日志特征；基于所述日志特征，将所有异常错误日志信息与其对应的错误码整理形成报错信息库；整理异常错误日志信息的任务类型和对应的代理接口调用列表，生成日志语料。6.根据权利要求5所述...

【专利技术属性】
技术研发人员：孟令鲁，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：