一种基于boosting强化学习的入网边端设备安全检测的方法技术

本申请涉及一种基于boosting强化学习的入网边端设备安全检测的方法，包括以下具体步骤：1)对海量异构入网边端设备进行本体结构分析，提取特征信息并构建评分参数；2)可信评分参数向量矩阵构建，根据步骤1)收集的各类可信边端设备得出的评分参数，利用不同可信设备的评分参数构建评分向量矩阵；3)基于上述两个步骤，构建边端设备评分标准数据集，使用优化后的boosting算法进行学习，并构建边端设备评分生成器；4)提取待接入边端设备的特征信息并作为步骤3)边端设备评分生成器的输入，得到该设备多维度的评分以及总体评分结果；5)精准的识别出异常设备并发出警告。本申请能够做到更细粒度多方位的动态持续评估未知边端设备的可信度。信度。信度。

【技术实现步骤摘要】
一种基于boosting强化学习的入网边端设备安全检测的方法


[0001]本申请涉及电力系统入网边端设备安全检测领域，具体涉及一种基于boosting强化学习的入网边端设备安全检测的方法。

技术介绍

[0002]随着新型电力系统的快速发展带来了采集控制对象范围更广，源网荷储环节更多、业务数据实效性更高、电源和负荷侧随机性更强等新特征，对电网数字化安全防护提出了新要求与挑战，包括传统网络边界不断延伸模糊，大规模入网社会负荷聚合系统缺乏有效网络安全防护措施；对海量接入、离散分布的边端设备本体防护不足、易成为攻击跳板；因此，必须重点评估入网边端设备的安全性问题，如何评估入网边端设备的安全性问题已经成为重要研究方向。
[0003]由于海量边端设备数量较大且种类繁多，如何精准的评估一个入网边端设备的安全性是一个难题。根据现有研究发现，对评估入网边端设备的安全性主要有以下几个问题，一是边端设备的种类多且数量较大，无法有一个完全契合的模型来适应这种差异性，二是没有一个明确的评分标准来判断一个边端设备是否处在安全边界范畴，三是由于数据量较大，无法提取有效且覆盖率广的训练集来训练模型。

技术实现思路

[0004]本申请实施例的目的在于提供一种基于boosting强化学习的入网边端设备安全检测的方法，实现对待入网边端设备的动态持续评估和检测。
[0005]为实现上述目的，本申请提供如下技术方案：
[0006]本申请实施例提供一种基于boosting强化学习的入网边端设备安全检测的方法，包括以下具体步骤：
[0007]1)对海量异构入网边端设备进行本体结构分析，提取特征信息并构建评分参数；
[0008]2)可信评分参数向量矩阵构建，根据步骤1)收集的各类可信边端设备得出的评分参数，利用不同可信设备的评分参数构建评分向量矩阵；
[0009]3)基于上述两个步骤，构建边端设备评分标准数据集，使用优化后的boosting算法进行学习，并构建边端设备评分生成器；
[0010]4)提取待接入边端设备的特征信息并作为步骤3)边端设备评分生成器的输入，得到该设备多维度的评分以及总体评分结果；
[0011]5)基于步骤4)得到待接入边端设备的输出结果，和步骤3)产生的结果进行静态比对，精准的识别出异常设备并发出警告。
[0012]所述步骤1)中特征信息包括：数据链路层协议、网络层协议、传输层协议、应用层协议、设备序列号、设备通信协议、设备开放端口、设备mac地址、上下文网络数据包。
[0013]所述步骤2)中可信评分参数向量矩阵的构建，根据1)中收集的各类可信边端设备的评分参数，构建每个边端设备的参数向量矩阵，由于通过数据包来解析设备中的网络协
议，每个数据包在不同时刻会有差异性，因此抓取m个数据包，并结合设备序列号、设备网卡mac地址、设备开放端口号等能够唯一标识边端设备的特征，共提取13个特征组成m*13的特征向量矩阵：
[0014][0015]步骤3)中基于boosting强化学习生成的边端设备评分生成器是通过以下过程训练得到的：
[0016]步骤1.首先训练集为步骤2)中得到的所有评分标准数据集，并初始化一个权重W，其中∑W
i
＝1；
[0017]步骤2.迭代算法训练如下：
[0018]a:训练有权重的弱分类器：C
j
＝train(X,y,W)；
[0019]b:预测分类标签：
[0020]c:计算权重错误率：
[0021]d:计算系数：
[0022]e:更新权重：
[0023]f:归一化权重使其和为1:W:＝W/∑W
i
；
[0024]步骤3.判断预测结果精度是否达到要求，若不符合返回步骤2继续迭代训练，若精度符合要求则组合弱分类器如下：
[0025][0026]其中G
m
(x)＝x
→
{
‑
1,1},
[0027]步骤5)中，基于步骤4)得到的评分结果，首先比对各单项评分结果，如果有一项不符合要求则直接拒绝接入电网系统，若单项评分结果皆符合要求，则对该设备所有评分结果进行总体评分，看是否高于最低值来决定该设备最终能否接入电网系统。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]本专利技术基于boosting强化学习，解决了训练集差异性大的问题，通过构建的评分算法很好的融合了模型，能够准确快速对持续待入网的边端设备做出一个有效的安全性评估。
附图说明
[0030]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0031]图1为本专利技术中boosting算法图；
[0032]图2为本专利技术入网边端设备安全检测的方法原理图。
具体实施方式
[0033]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0034]术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0035]术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0036]如图1
‑
2所示，本专利技术所述一种基于boosting强化学习的入网边端设备安全检测的方法，包括以下步骤：
[0037]步骤S1：对海量异构边端设备进行本体结构分析，提取特征信息并构建评分参数，特征信息包括：数据链路层协议、网络层协议、传输层协议、应用层协议、设备序列号、设备通信协议、设备开放端口、设备mac地址、上下文网络数据包；得到的特征信息格式表示如下：
[0038]数据链路层协议：Etherent/IEEE/PPP/HDLC；
[0039]网络层协议：IP/ICMP；
[0040]传输层协议：TCP/UDP；
[0041]应用层协议：HTTP/HTTPS；
[0042]设备序列号的hash值：整数类型；
[0043]设备mac地址hash值：整数类型；
...

【技术保护点】

【技术特征摘要】
1.一种基于boosting强化学习的入网边端设备安全检测的方法，其特征在于，包括以下具体步骤：1)对海量异构入网边端设备进行本体结构分析，提取特征信息并构建评分参数；2)可信评分参数向量矩阵构建，根据步骤1)收集的各类可信边端设备得出的评分参数，利用不同可信设备的评分参数构建评分向量矩阵；3)基于上述两个步骤，构建边端设备评分标准数据集，使用优化后的boosting算法进行学习，并构建边端设备评分生成器；4)提取待接入边端设备的特征信息并作为步骤3)边端设备评分生成器的输入，得到该设备多维度的评分以及总体评分结果；5)基于步骤4)得到待接入边端设备的输出结果，和步骤3)产生的结果进行静态比对，精准的识别出异常设备并发出警告。2.根据权利要求1所述的一种基于boosting强化学习的入网边端设备安全检测的方法，其特征在于，所述步骤1)中特征信息包括：数据链路层协议、网络层协议、传输层协议、应用层协议、设备序列号、设备通信协议、设备开放端口、设备mac地址、上下文网络数据包。3.根据权利要求1所述的一种基于boosting强化学习的入网边端设备安全检测的方法，其特征在于，所述步骤2)中可信评分参数向量矩阵的构建，根据1)中收集的各类可信边端设备的评分参数，构建每个边端设备的参数向量矩阵，由于通过数据包来解析设备中的网络协议，每个数据包在不同时刻会有差异性，因此抓取m个数据包，并结合设备序列号、设备网卡m...

【专利技术属性】
技术研发人员：王捷，刘畅，朱国威，李晶，龙凤，周亮，田里，王晋，喻炎，徐江珮，刘畅，喻潇，饶玮，刘晓峻，赵环，徐成伟，苏昊扬，
申请(专利权)人：国网湖北省电力有限公司武汉燧虎信息技术有限公司，
类型：发明
国别省市：