System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及配电物联网领域,具体涉及一种基于机器学习的异常行为分析方法。
技术介绍
1、目前,配电物联网中实际出现异常行为的记录较少,在构建并训练机器学习模型的过程中会存在标签不平衡的问题,即缺少异常数据,而且从配电物联网采集的日志数据具有数量多、维度大、高度异构的特点,不利于异常行为的分析。
技术实现思路
1、本专利技术的目的在于提供一种基于机器学习的异常行为分析方法,该方法有利于快速、准确地检测分析出配电物联网中的异常行为。
2、为了实现上述目的,本专利技术采用的技术方案是:一种基于机器学习的异常行为分析方法,包括以下步骤:
3、1)采集与云端主站直接相连的结点、边端设备的相关历史数据,包括电气运行数据、结点电量数据和环境传感器数据;在配电物联网中模拟异常行为的出现并采集相应的电气运行数据、结点电量数据和环境传感器数据;对采集的数据进行数据预处理,形成训练数据;
4、2)构建基于机器学习的异常行为分析模型,并通过训练数据对异常行为分析模型进行训练,得到训练好的异常行为分析模型;所述异常行为分析模型包括对抗自编码器和基于序列模型的异常行为检测模型,所述异常行为分析模型通过对抗自编码器提取输入数据的特征,然后根据数据自带的时序信息,将提取的特征按时序合并为一个特征序列,并将特征序列输入异常行为检测模型,异常行为检测模型计算输入的特征序列属于异常行为和正常行为的概率,然后选择概率较大的一方作为该特征序列是否为异常行为的判断结果;
5、
6、进一步地,步骤1)中,所述电气运行数据包括电压数据和电流数据,所述环境传感器数据包括温度数据和湿度数据;采集的数据带有时间戳信息,数据对应的标签为是否系统出现异常行为阶段采集的数据。
7、进一步地,步骤1)中,对采集的数据进行数据预处理,具体包括:
8、a1)进行数据清洗,包括:去除唯一属性、处理缺失值、剔除离群点、逻辑错误修正、非需求数据清洗;
9、a2)进行特征编码,即使用独热编码编码离散特征;对数据进行等长处理,截断过长的数据,补全过短的数据,从而将每一个输入数据转化为等长的向量;
10、a3)进行数据标准化:对得到的等长的向量中的连续属性进行标准化,消除不同属性具有不同数量级造成的影响。
11、进一步地,步骤2)中,所述异常行为分析模型通过对抗自编码器提取数据的特征并对数据进行降维,即输入x经过编码器编码后得到隐变量z;所述对抗自编码器为编码器和生成对抗网络的结合,其生成器生成的不是模拟原始数据,而是通过自编码器得到的隐变量,判别器判定隐变量是由生成器生成的还是真实数据通过自编码器得到的。
12、进一步地,所述对抗自编码器的训练过程包括:
13、b1)通过最小化重构误差d(x, x')来训练编码器和解码器,以使解码器可以从编码器生成的编码数据,即隐变量z来恢复得到原始输入x,确保数据的有效信息被保留在隐变量z中;
14、b2)通过最小化对抗损失来进行生成器和判别器的对抗学习;首先训练判别器来区分输入的编码向量z来自聚合后验分布q(z)还是先验分布p(z),然后训练生成器生成更加接近p(z)的q(z)来欺骗判别器。
15、进一步地,步骤2)中,所述基于序列模型的异常行为检测模型包括两个隐马尔可夫模型子链以及一个连接两个子链的标签变量,标签变量标记为l∈{0,1},其中0代表正常行为类,1代表异常行为类;两个子链分别代表正常行为和异常行为,并由相对应类型的数据进行训练;当输入一个新的特征序列时,两个子链计算各自生成这个特征序列的概率,这个概率即为用来衡量该特征序列与对应子链类别相合程度的分数;分数计算完成后,异常行为检测模型比较两个分数的大小,并取具有较大分数的类别作为判断结果。
16、与现有技术相比,本专利技术具有以下有益效果:提供了一种基于机器学习的异常行为分析方法,该方法采集与云端主站直接相连的结点、边端设备的相关数据来构建并训练基于机器学习的异常行为分析模型,该模型结合了对抗自编码器和基于序列模型的异常行为检测模型,从而确保模型能够高效、准确地完成配电物联网中异常行为分析的任务。
本文档来自技高网...【技术保护点】
1.一种基于机器学习的异常行为分析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于机器学习的异常行为分析方法,其特征在于,步骤1)中,所述电气运行数据包括电压数据和电流数据,所述环境传感器数据包括温度数据和湿度数据;采集的数据带有时间戳信息,数据对应的标签为是否系统出现异常行为阶段采集的数据。
3.根据权利要求1所述的基于机器学习的异常行为分析方法,其特征在于,步骤1)中,对采集的数据进行数据预处理,具体包括:
4.根据权利要求1所述的基于机器学习的异常行为分析方法,其特征在于,步骤2)中,所述异常行为分析模型通过对抗自编码器提取数据的特征并对数据进行降维,即输入x经过编码器编码后得到隐变量z;所述对抗自编码器为编码器和生成对抗网络的结合,其生成器生成的不是模拟原始数据,而是通过自编码器得到的隐变量,判别器判定隐变量是由生成器生成的还是真实数据通过自编码器得到的。
5.根据权利要求4所述的基于机器学习的异常行为分析方法,其特征在于,所述对抗自编码器的训练过程包括:
6.根据权利要求1所述的基于机器学习的异常
...【技术特征摘要】
1.一种基于机器学习的异常行为分析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于机器学习的异常行为分析方法,其特征在于,步骤1)中,所述电气运行数据包括电压数据和电流数据,所述环境传感器数据包括温度数据和湿度数据;采集的数据带有时间戳信息,数据对应的标签为是否系统出现异常行为阶段采集的数据。
3.根据权利要求1所述的基于机器学习的异常行为分析方法,其特征在于,步骤1)中,对采集的数据进行数据预处理,具体包括:
4.根据权利要求1所述的基于机器学习的异常行为分析方法,其特征在于,步骤2)中,所述异常行为分析模型通过对抗自编码器提取数据的特征并对数据进行降维,即输入x经过编码器编码后得到隐变量z;所述对抗自编码器为编码器和生成对抗网络的结合,其生成器生成的不是模拟原始数据,而是通过...
【专利技术属性】
技术研发人员:张坤三,张永记,刘俊,陈辰,黄正,郑原俊,陈新庚,纪文,傅杰,高董英,陈昕昊,李铮,林晋煌,张坤鑫,
申请(专利权)人:国网福建省电力有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。