创建交换机日志模板的方法和装置制造方法及图纸

本申请公开了创建交换机日志模板的方法和装置。所述方法的一具体实施方式包括：获取一个型号的交换机的原始日志；获取所述原始日志中的消息类型和详细消息，如果获取不到消息类型，则创建聚类标签作为消息类型；对所述详细消息进行分词，得到关键词；根据所述关键词的词频对所述关键词重新排序，将词频高的关键词排在前面；根据所述重新排序的关键词创建多叉树，每个消息类型作为树的根节点，所述重新排序的关键词作为树的节点，每个消息类型对应一个多叉树；深度优先遍历所述多叉树，根据所述多叉树中的路径创建所述型号交换机的每个消息类型所对应的日志模板。该实施方式创建交换机日志模板，使用该模板对日志进行压缩。

【技术实现步骤摘要】

本申请涉及计算机
，具体涉及互联网
，尤其涉及创建交换机日志模板的方法和装置。
技术介绍
交换机日志是交换机设备在存活周期内产生的重要数据，通过交换机日志可以获取交换机的状态，包括端口的抖动、协议的抖动、板卡故障、电源故障等，而传统的设备监控系统都是基于交换机日志，通过特定的规则匹配日志，从而发现故障点并进行报警。随着互联网数据的爆炸性增长以及业务的增多，很多互联网企业对自建网络的投入也越来越大，IDC(Internet Data Center，互联网数据中心)中涉及到的网络设备也越来越多，尤其是交换机设备。一个典型的案例是在企业自建IDC中，存在大规模的交换机设备，这些设备分别来自不同的厂商、存在多种型号，同时分布在多个IDC中。过多的设备会产生大规模的交换机日志，对于报警规则的挖掘以及排障都带来了困难，需要一种自动化手段对日志进行压缩。
技术实现思路
本申请的目的在于提出一种创建交换机日志模板的方法和装置，来解决以上
技术介绍
部分提到的技术问题。第一方面，本申请提供了创建交换机日志模板的方法，所述方法包括：获取一个型号的交换机的原始日志；获取所述原始日志中的消息类型和详细消息，如果获取不到消息类型，则创建聚类标签作为消息类型；对所述详细消息进行分词，得到关键词；根据所述关键词的词频对所述关键词重新排序，将词频高的关键词排在前面；根据所述重新排序的关键词创建多叉树，每个消息类型作为树的根节点，所述重新排序的关键词作为树的节点，每个消息类型对应一个多叉树；深度优先遍历所述多叉树，根据所述多叉树中的路径创建所述型号交换机的每个消息类型所对应的日志模板。在一些实施例中，所述方法还包括：获取一个型号的交换机的新增日志；获取所述新增日志中的消息类型和详细消息，如果获取不到消息类型，则创建聚类标签作为消息类型；使用所述日志模板过滤所述新增日志；将所述日志模板无法匹配的新增日志中的详细消息进行分词，得到关键词；根据所述关键词的词频对所述关键词重新排序，将词频高的关键词排在前面；根据所述重新排序的关键词创建多叉树，每个消息类型作为树的根节点，所述重新排序的关键词作为树的节点，每个消息类型对应一个多叉树；深度优先遍历所述多叉树，根据所述多叉树中的路径创建所述型号交换机的每个消息类型所对应的新增日志模板。在一些实施例中，如果所述多叉树中一个节点的子节点超过节点阈值数目，则删除所述节点的所有子节点，所述节点作为最后一个子节点。在一些实施例中，所述创建聚类标签作为消息类型，包括：将每一条消息类型未知的日志按照语义分成了五种类别并分别赋予权重值，所述五种类别包括：只有数字或数字与符号，数字、字母和符号，符号和字母，只有字母，只有符号；提取所述日志中五类语义的频度，将所述日志转化为一个固定五个长度的词频向量；计算所述词频向量与已知的消息类型集合的相似度，得到一组相似度结果，如果最大相似度大于等于预设的相似度阈值，则将所述日志归到对应的消息类型；如果最大相似度小于预设的相似度阈值，则将所述词频向量作为一个新的消息类型。在一些实施例中，当一个日志模板是另外一个日志模板的子集时，通过对节点打标签的形式来标识一个节点是否是一条路径的结束。在一些实施例中，将每个消息类型中的日志模板按照树的深度排序，当一个日志模板是另外一个日志模板的子集时，优先采用树的深度较大的日志模板进行匹配。第二方面，本申请提供了一种创建交换机日志模板的装置，其特征在于，所述装置包括：获取单元，配置用于获取一个型号的交换机的原始日志；解析单元，配置用于获取所述原始日志中的消息类型和详细消息，如果获取不到消息类型，则创建聚类标签作为消息类型；处理单元，配置用于对所述详细消息进行分词，得到关键词；根据所述关键词的词频对所述关键词重新排序，将词频高的关键词排在前面；创建单元，配置用于根据所述重新排序的关键词创建多叉树，每个消息类型作为树的根节点，所述重新排序的关键词作为树的节点，每个消息类型对应一个多叉树；深度优先遍历所述多叉树，根据所述多叉树中的路径创建所述型号交换机的每个消息类型所对应的日志模板。在一些实施例中，所述装置还配置用于：获取一个型号的交换机的新增日志；获取所述新增日志中的消息类型和详细消息，如果获取不到消息类型，则创建聚类标签作为消息类型；使用所述日志模板过滤所述新增日志；将所述日志模板无法匹配的新增日志中的详细消息进行分词，得到关键词；根据所述关键词的词频对所述关键词重新排序，将词频高的关键词排在前面；根据所述重新排序的关键词创建多叉树，每个消息类型作为树的根节点，所述重新排序的关键词作为树的节点，每个消息类型对应一个多叉树；深度优先遍历所述多叉树，根据所述多叉树中的路径创建所述型号交换机的每个消息类型所对应的新增日志模板。在一些实施例中，所述创建单元还配置用于：如果所述多叉树中一个节点的子节点超过节点阈值数目，则删除所述节点的所有子节点，所述节点作为最后一个子节点。在一些实施例中，所述创建聚类标签作为消息类型，包括：将每一条消息类型未知的日志按照语义分成了五种类别并分别赋予权重值，所述五种类别包括：只有数字或数字与符号，数字、字母和符号，符号和字母，只有字母，只有符号；提取所述日志中五类语义的频度，将所述日志转化为一个固定五个长度的词频向量；计算所述词频向量与已知的消息类型集合的相似度，得到一组相似度结果，如果最大相似度大于等于预设的相似度阈值，则将所述日志归到对应的消息类型；如果最大相似度小于预设的相似度阈值，则将所述词频向量作为一个新的消息类型。在一些实施例中，所述创建单元还配置用于：当一个日志模板是另外一个日志模板的子集时，通过对节点打标签的形式来标识一个节点是否是一条路径的结束。在一些实施例中，所述创建单元还配置用于：将每个消息类型中的模板按照树的深度排序，当一个日志模板是另外一个日志模板的子集时，优先采用树的深度较大的模板进行匹配。本申请提供的创建交换机日志模板的方法和装置，通过获取所述原始日志中的消息类型和详细消息，根据详细消息中的关键词创建多叉树，根据多叉树中的路径创建交换机的每个消息类型所对应的日志模板，以采用增量迭代训练方式对交换机日志进行压缩。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构图；图2是根据本申请的创建交换机日志模板的方法的一个实施例的流程图；图3是根据本申请的创建交换机日志模板的方法的词频向量的示意图；图4a、4b和4c是根据本申请的创建交换机日志模板的方法的一个应用场景的示意图；图5是根据本申请的创建交换机日志模板的方法的又一个实施例的流程图；图6是根据本申请的创建交换机日志模板的装置的一个实施例的结构示意图；图7是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本本文档来自技高网...

【技术保护点】
一种创建交换机日志模板的方法，其特征在于，所述方法包括：获取一个型号的交换机的原始日志；获取所述原始日志中的消息类型和详细消息，如果获取不到消息类型，则创建聚类标签作为消息类型；对所述详细消息进行分词，得到关键词；根据所述关键词的词频对所述关键词重新排序，将词频高的关键词排在前面；根据所述重新排序的关键词创建多叉树，每个消息类型作为树的根节点，所述重新排序的关键词作为树的节点，每个消息类型对应一个多叉树；深度优先遍历所述多叉树，根据所述多叉树中的路径创建所述型号交换机的每个消息类型所对应的日志模板。

【技术特征摘要】
1.一种创建交换机日志模板的方法，其特征在于，所述方法包括：获取一个型号的交换机的原始日志；获取所述原始日志中的消息类型和详细消息，如果获取不到消息类型，则创建聚类标签作为消息类型；对所述详细消息进行分词，得到关键词；根据所述关键词的词频对所述关键词重新排序，将词频高的关键词排在前面；根据所述重新排序的关键词创建多叉树，每个消息类型作为树的根节点，所述重新排序的关键词作为树的节点，每个消息类型对应一个多叉树；深度优先遍历所述多叉树，根据所述多叉树中的路径创建所述型号交换机的每个消息类型所对应的日志模板。2.根据权利要求1所述的创建交换机日志模板的方法，其特征在于，所述方法还包括：获取一个型号的交换机的新增日志；获取所述新增日志中的消息类型和详细消息，如果获取不到消息类型，则创建聚类标签作为消息类型；使用所述日志模板过滤所述新增日志；将所述日志模板无法匹配的新增日志中的详细消息进行分词，得到关键词；根据所述关键词的词频对所述关键词重新排序，将词频高的关键词排在前面；根据所述重新排序的关键词创建多叉树，每个消息类型作为树的根节点，所述重新排序的关键词作为树的节点，每个消息类型对应一个多叉树；深度优先遍历所述多叉树，根据所述多叉树中的路径创建所述型号交换机的每个消息类型所对应的新增日志模板。3.根据权利要求1或2所述的创建交换机日志模板的方法，其特征在于，如果所述多叉树中一个节点的子节点超过节点阈值数目，则删除所述节点的所有子节点，所述节点作为最后一个子节点。4.根据权利要求1或2所述的创建交换机日志模板的方法，其特征在于，所述创建聚类标签作为消息类型，包括：将每一条消息类型未知的日志按照语义分成了五种类别并分别赋予权重值，所述五种类别包括：只有数字或数字与符号，数字、字母和符号，符号和字母，只有字母，只有符号；提取所述日志中五类语义的频度，将所述日志转化为一个固定五个长度的词频向量；计算所述词频向量与已知的消息类型集合的相似度，得到一组相似度结果，如果最大相似度大于等于预设的相似度阈值，则将所述日志归到对应的消息类型；如果最大相似度小于预设的相似度阈值，则将所述词频向量作为一个新的消息类型。5.根据权利要求1或2所述的创建交换机日志模板的方法，其特征在于，当一个日志模板是另外一个日志模板的子集时，通过对节点打标签的形式来标识一个节点是否是一条路径的结束。6.根据权利要求5所述的创建交换机日志模板的方法，其特征在于，将每个消息类型中的日志模板按照树的深度排序，当一个日志模板是另外一个日志模板的子集时，优先采用树的深度较大的日志模板进行匹配。7.一种创建交换机日志模板的装置，其特征在于，所述装置包括：获取单元，配置...

【专利技术属性】
技术研发人员：董辉，宋磊，侯翔宇，孟伟彬，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11