一种基于多日志协同分析的无人机异常检测方法技术

一种基于多日志协同分析的无人机异常检测方法，包括以下步骤：在无人机飞行日志中进行模板抽取，提取不同事件的特征，将无人机飞行日志的文本信息用特征向量的形式进行表示；利用PCA算法对得到的特征向量进行降维操作；使用k‑medoids算法根据最短的欧几里得度量将事件分类到一个已知簇中；识别事件，对事件进行异常检测，判断是否为异常事件，如果不是异常事件则被放回训练数据集，用于学习阶段的训练，而如果是异常事件则继续判断攻击模型是否已知，如果不是将该异常事件定义为一种新的攻击模型，如果是则将该异常事件归为已知攻击模型。本发明专利技术能够提高模块抽取的速度、准确性和异常检测的准确性，最终给出异常事件的攻击模型。

【技术实现步骤摘要】
一种基于多日志协同分析的无人机异常检测方法
本专利技术属于无人机异常检测领域，涉及一种基于多日志协同分析的无人机异常检测方法。
技术介绍
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，与有人驾驶飞机相比有着更多的优点，可用于那些太“愚钝，肮脏或危险”的任务。无人机按应用领域可分为军用与民用。在军用方面，无人机包括侦察机和靶机。在民用方面，无人机与行业应用相结合，是无人机真正的刚需。目前在航拍、农业、植保、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄等领域的应用，大大的拓展了无人机本身的用途。随着航空航天技术的快速发展，无人机以其低成本和高灵活性等优势，在各领域被广泛运用。为保证无人机可靠安全地完成飞行任务，异常检测必不可少。为了达到这个目的，一个很好的解决办法是启用日志目录，通过学习日志找出异常信息，进而找出故障的根本原因。无人机日志是对无人机的飞行进行日志记录，以描述飞行状态的消息。从理论上讲，可以通过分析设备的日志来追溯它是如何被使用的，挖掘此信息能帮助提前检测潜在问题。同时利用日志中的异常信息诊断无人机，能帮助解决从故障中恢复的问题。通过日志进行异常检测尽管存在潜在的好处，但对设备诊断提出了大量挑战：第一，日志数量庞大，包含各种复杂的消息，给计算带来了挑战。第二，它们是非结构化数据，缺乏同质性，给分析带来了语义挑战。第三，日志数据级别太低，很少包含异常检测的显式信息，不能直接使用。当前的异常检测方法对于地面控制站的分析过分依赖，由于无人机在飞行过程中，网络的通信能力有一定局限性，地面站无法实时获取无人机全面的飞行状态。若无人机出现的故障未被及时解决，便会存在极大的安全隐患，可能产生不可估量的损失，所以无人的异常检测对速度的要求较高。在当前的日志分析方法中，有些并不适用于异常检测。首先，在提高推理精度方面投入了大量人力，将这些方法用在产生大规模日志的网络设备上是很困难的。其次，大多数方法只能抽象地检测到无人机的异常事件，但不能描述属于哪类攻击。只检测异常远不足以使供应商和开发者修复错误或阻止攻击。
技术实现思路
本专利技术的目的在于针对上述现有技术中通过日志进行无人机异常检测过程实现困难以及效果不佳的问题，提供一种基于多日志协同分析的无人机异常检测方法，能够提高模块抽取的速度、准确性和异常检测的准确性，最终给出异常事件的攻击模型。为了实现上述目的，本专利技术有如下的技术方案：一种基于多日志协同分析的无人机异常检测方法，包括以下步骤：步骤一、在无人机飞行日志中进行模板抽取，提取不同事件的特征，将无人机飞行日志的文本信息用特征向量的形式进行表示；步骤二、利用PCA算法对得到的特征向量进行降维操作；步骤三、使用k-medoids算法根据最短的欧几里得度量将事件分类到一个已知簇中；步骤四、识别事件，对事件进行异常检测，判断是否为异常事件，如果不是异常事件则被放回训练数据集，用于学习阶段的训练，而如果是异常事件则继续判断攻击模型是否已知，如果不是将该异常事件定义为一种新的攻击模型，如果是则将该异常事件归为已知攻击模型。优选的，所述的步骤一首先使用正则表达式过滤掉数字、IP地址、MAC地址、数字和字母的混合物以及符号之间的内容，然后从没有数字变量的文本变量中提取模板，选择具有相同开头词的信息，并且，两个相同的主模板只使用一次，在树形结构中构造日志。优选的，所述的步骤一提取包含一组模板的不同事件的特征，特征包括严重程度、时间戳、周期性、日志的数量与属性、地址特征，根据特征为此事件构造特征向量。优选的，所述的步骤二利用PCA算法在不丢失日志块主要特征的条件下，将得到的高维向量降维至4-6维。优选的，所述的k-medoids算法在每次迭代中为每个集群选择一个代表项或medoid。优选的，所述的步骤四通过计算事件到集群的medoid的距离，判断它是否是一个离群值，如果某个事件的距离比任何其他事件都大，则它被认定为异常事件，否则为正常事件。具体的，各事件由下式表示：ei＝(ei1,ei2,...,ein),ej＝(ej1,ej2,...,ejn)；按下式计算事件到集群的medoid的距离：d(ei,ej)＝(ei1-ej1)2+(ei2-ej2)2+...+(ein-ejn)2；按下式计算阈值Th：Th＝d(e1,ec),whereI＝argmaxd(ei,ec)；其中，ec是中心事件，I是i的一个值，它使得d(eI，ec)函数最大化；按下式判断事件是否异常：其中ex是待检测的事件。优选的，所述的步骤四计算事件和攻击数据组之间的距离，如果事件属于该攻击数据组，且距离小于攻击数据组的半径，则将它归为所属攻击模型；如果它是偏离点，则将其识别为新的攻击模型。优选的，所述的步骤一在模板抽取时，使用hashmap来存储单词及其编号，比较根节点的数字和单词在其子树中的数字，如果数字相等，则判定单词是模板的一部分。相较于现有技术，本专利技术至少有如下的有益效果：1)具有自验证性；本专利技术不需要引入第三方或者额外的可行点来进行验证，所有数据均来自实验中的无人机，该方法实施过程中也会对无人机发起一些攻击，以此获得日志数据。2)检测速度快；本专利技术不需要任何经验值，便可得到打印的日志模板，在整体思路上将无结构、数量大的日志信息转化为数字向量，通过PCA算法对得到的高维向量进行降维后，计算资源消耗少，有效地较轻了计算负担，检测的速度可大大提升。3)可给出异常事件的攻击模型；本专利技术在特征向量中描述事件，并将其进行不同的分类，通过特征向量识别异常事件，并为用户提供准确的攻击模型或定义成一种新的攻击模型，模型是实时输入检测，不需要领域专家的反馈来得到有意义且准确的攻击模型，可以使开发者修复错误或阻止攻击。4)可扩展性强；本专利技术可自动检测异常，可分为学习和检测两个主要步骤，在学习过程中，训练数据集的输入是原始的无人机日志；在检测阶段，通过输入原始日志，即能够发现现有的异常，可扩展实用于一般无人机的日志分析。附图说明图1本专利技术基于多日志协同分析的无人机异常检测方法的流程图；图2反应事件的日志数据示意图；图3本专利技术对事件进行异常检测的流程图。具体实施方式下面结合附图及实施例对本专利技术做进一步的详细说明。本专利技术主要由两个阶段构成：学习阶段和异常检测阶段。首先，学习正常或异常事件的特征，构造出每个事件的特征向量，实现用数字化向量的形式来表示日志的文本信息，再利用PCA算法实现各特征向量的降维，通过对降维后的特征向量进行计算，完成异常事件的检测，同时给出具体的攻击模型。本专利技术在模板抽取时，使用hashmap来存储单词及其编号，可以比较根节点的数字和单词在其子树中的数字，如果数字相等，则单词是模板的一部分本文档来自技高网...

【技术保护点】
1.一种基于多日志协同分析的无人机异常检测方法，其特征在于，包括以下步骤：/n步骤一、在无人机飞行日志中进行模板抽取，提取不同事件的特征，将无人机飞行日志的文本信息用特征向量的形式进行表示；/n步骤二、利用PCA算法对得到的特征向量进行降维操作；/n步骤三、使用k-medoids算法根据最短的欧几里得度量将事件分类到一个已知簇中；/n步骤四、识别事件，对事件进行异常检测，判断是否为异常事件，如果不是异常事件则被放回训练数据集，用于学习阶段的训练，而如果是异常事件则继续判断攻击模型是否已知，如果不是将该异常事件定义为一种新的攻击模型，如果是则将该异常事件归为已知攻击模型。/n

【技术特征摘要】
1.一种基于多日志协同分析的无人机异常检测方法，其特征在于，包括以下步骤：
步骤一、在无人机飞行日志中进行模板抽取，提取不同事件的特征，将无人机飞行日志的文本信息用特征向量的形式进行表示；
步骤二、利用PCA算法对得到的特征向量进行降维操作；
步骤三、使用k-medoids算法根据最短的欧几里得度量将事件分类到一个已知簇中；
步骤四、识别事件，对事件进行异常检测，判断是否为异常事件，如果不是异常事件则被放回训练数据集，用于学习阶段的训练，而如果是异常事件则继续判断攻击模型是否已知，如果不是将该异常事件定义为一种新的攻击模型，如果是则将该异常事件归为已知攻击模型。


2.根据权利要求1所述基于多日志协同分析的无人机异常检测方法，其特征在于：所述的步骤一首先使用正则表达式过滤掉数字、IP地址、MAC地址、数字和字母的混合物以及符号之间的内容，然后从没有数字变量的文本变量中提取模板，选择具有相同开头词的信息，并且，两个相同的主模板只使用一次，在树形结构中构造日志。


3.根据权利要求1所述基于多日志协同分析的无人机异常检测方法，其特征在于：所述的步骤一提取包含一组模板的不同事件的特征，特征包括严重程度、时间戳、周期性、日志的数量与属性、地址特征，根据特征为此事件构造特征向量。


4.根据权利要求1所述基于多日志协同分析的无人机异常检测方法，其特征在于：所述的步骤二利用PCA算法在不丢失日志块主要特征的条件下，将得到的高维向量降维至4-6维。


5.根据权利要求1所述基于多日志协同分析的无人机异常检测方法，其特征在于：所述的k-medo...

【专利技术属性】
技术研发人员：李腾，廖艾，林杨旭，温子祺，胡佳豪，谢凡，钱思炯，张浩，马卓，沈玉龙，马建峰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61