【技术实现步骤摘要】
本申请涉及网络安全，具体是一种多模态网络安全监测方法及预警装置。
技术介绍
1、网络安全的多模态数据具有多样性和关联性的特点，对其多样性和关联性的研究可以提高对网络安全监测的准确率。
2、中国专利号cn118862078a公开了一种模型训练方法、设备及装置，获取训练样本集，训练样本集中包含多个样本程序，以及多个样本程序中的每个样本程序对应的多个多模态样本；基于训练样本集对待训练的恶意程序检测模型进行迭代训练，获得已训练的恶意程序检测模型，其中，在每一轮迭代训练中，执行以下操作：针对训练样本集中的每个样本程序，分别执行如下操作：基于样本程序对应的多个多模态样本之间的第一相似度，以及样本程序对应的多个多模态样本各自与训练样本集中其他多模态样本之间的第二相似度，确定样本程序的对齐损失值；基于训练样本集中每个样本程序的对齐损失值，对恶意程序检测模型进行调参。但该专利技术在应用时过于侧重了多模态样本之间的相似度，忽略了多模态数据之间的关联性，从而导致了多模态数据的多样性和关联性无法被充分利用。
3、综上，亟需一个新的多模态网络安全监测的技术方案，以充分利用多模态数据的多样性和关联性。
技术实现思路
1、本申请的目的在于提供一种多模态网络安全监测方法及预警装置，以解决上述
技术介绍
中提出的技术问题。
2、为实现上述目的，本申请公开了以下技术方案：
3、第一方面，本申请公开了一种多模态网络安全监测方法，该方法包括：
4、s1：获取历史多模
5、s2：利用所述历史模态数据生成安全知识图谱；其中，所述安全知识图谱用于表征网络安全中的实体设备及对应的关联关系；
6、s3：利用所述历史多模态数据和所述安全知识图谱生成安全监测模型；其中，所述安全监测模型中预设有多头注意力机制，所述多头注意力机制用于对所述多模态数据进行注意力计算，所述安全监测模型用于基于所述多模态数据，调用所述安全知识图谱，结合所述多头注意力机制进行网络安全监测，并生成对应的监测结果；
7、s4：获取实时多模态数据并运行所述安全监测模型，生成实时监测结果。
8、作为优选，所述多模态数据的获取过程包括：
9、利用预设的分布式数据采集工具进行所述多模态数据的采集，获取所述多模态数据；其中，所述分布式数据采集工具设置在网络的不同节点上，且基于所述多模态数据类型设置对应的采集工具，所述采集工具至少包括文本采集工具、图像采集设备和网络流量监测设备。
10、作为优选，所述安全知识图谱的生成过程包括：
11、获取所述历史多模态数据；
12、对所述历史多模态数据进行实体识别，所述实体识别用于基于所述多模态数据识别得到对应的所述实体设备；
13、基于所述实体识别的结果进行关系抽取，得到所述关联关系；其中，所述关系抽取用于基于所述历史多模态数据抽取对应的所述实体设备的所述关联关系；
14、利用所述关联关系，生成所述安全知识图谱。
15、作为优选，所述多头注意力机制的运行过程包括：
16、a1：对所述历史多模态数据进行线性变换，得到不同组的查询向量、键向量和值向量；
17、a2：利用不同组的查询向量、键向量和值向量计算得到不同的注意力结果；
18、a3：计算不同的注意力，得到对应的多模态融合注意力特征，所述多模态融合注意力特征用于指导所述安全监测模型在所述多模态数据中匹配需要进行侧重注意的数据及调用对应的所述安全知识图谱。
19、作为优选，所述安全监测模型的生成过程包括：
20、获取所述历史多模态数据和所述安全知识图谱；
21、利用所述历史多模态数据和所述安全知识图谱训练所述安全监测模型进行基于所述多模态数据，调用所述安全知识图谱，结合所述多头注意力机制进行网络安全监测，并生成对应的监测结果；
22、所述安全监测模型的运行过程：
23、b1：获取所述多模态数据；
24、b2：获取所述多模态融合注意力特征；
25、b3：利用所述多模态融合注意力机制在所述多模态数据中匹配需要进行侧重注意的数据；
26、b4：利用步骤b4得到的需要进行侧重注意的数据在所述安全知识图谱匹配对应的所述关联关系，输出该关联关系，并基于该关联关系提高对对应的所述实体设备的所述多模态数据的采集频率。
27、第二方面，本申请公开了一种多模态网络安全监测预警装置，该预警装置适用如上所述的多模态网络安全监测方法，该预警装置包括：
28、数据获取模块，所述数据获取模块配置为：获取历史多模态数据；其中，多模态数据至少包括用于网络安全监测的文本、图像和网络流量对应的数据；
29、安全知识图谱生成模块，所述安全知识图谱生成模块配置为：利用所述历史模态数据生成安全知识图谱；其中，所述安全知识图谱用于表征网络安全中的实体设备及对应的关联关系；
30、安全监测模型生成模块，所述安全监测模型生成模块配置为：利用所述历史多模态数据和所述安全知识图谱生成安全监测模型；其中，所述安全监测模型中预设有多头注意力机制，所述多头注意力机制用于对所述多模态数据进行注意力计算，所述安全监测模型用于基于所述多模态数据，调用所述安全知识图谱，结合所述多头注意力机制进行网络安全监测，并生成对应的监测结果；
31、安全监测模型运行模块，所述安全监测模型运行模块配置为：获取实时多模态数据并运行所述安全监测模型，生成实时监测结果。
32、作为优选，所述多模态数据的获取过程包括：
33、利用预设的分布式数据采集工具进行所述多模态数据的采集，获取所述多模态数据；其中，所述分布式数据采集工具设置在网络的不同节点上，且基于所述多模态数据类型设置对应的采集工具，所述采集工具至少包括文本采集工具、图像采集设备和网络流量监测设备。
34、作为优选，所述安全知识图谱的生成过程包括：
35、获取所述历史多模态数据；
36、对所述历史多模态数据进行实体识别，所述实体识别用于基于所述多模态数据识别得到对应的所述实体设备；
37、基于所述实体识别的结果进行关系抽取，得到所述关联关系；其中，所述关系抽取用于基于所述历史多模态数据抽取对应的所述实体设备的所述关联关系；
38、利用所述关联关系，生成所述安全知识图谱。
39、作为优选，所述多头注意力机制的运行过程包括：
40、a1：对所述历史多模态数据进行线性变换，得到不同组的查询向量、键向量和值向量；
41、a2：利用不同组的查询向量、键向量和值向量计算得到不同的注意力结果；
42、a3：计算不同的注意力，得到对应的多模态融合注意力特征，所述多模态融合注意力特征用于本文档来自技高网...
【技术保护点】
1.一种多模态网络安全监测方法，其特征在于，该方法包括：
2.根据权利要求1所述的多模态网络安全监测方法，其特征在于，所述多模态数据的获取过程包括：
3.根据权利要求1所述的多模态网络安全监测方法，其特征在于，所述安全知识图谱的生成过程包括：
4.根据权利要求1所述的多模态网络安全监测方法，其特征在于，所述多头注意力机制的运行过程包括：
5.根据权利要求4所述的多模态网络安全监测方法，其特征在于，所述安全监测模型的生成过程包括：
6.一种多模态网络安全监测预警装置，该预警装置适用如权利要求1-5任意一项所述的多模态网络安全监测方法，其特征在于，该预警装置包括：
7.根据权利要求6所述的多模态网络安全监测预警装置，其特征在于，所述多模态数据的获取过程包括：
8.根据权利要求6所述的多模态网络安全监测预警装置，其特征在于，所述安全知识图谱的生成过程包括：
9.根据权利要求6所述的多模态网络安全监测预警装置，其特征在于，所述多头注意力机制的运行过程包括：
10.根据权利要求9所述
...【技术特征摘要】
1.一种多模态网络安全监测方法，其特征在于，该方法包括：
2.根据权利要求1所述的多模态网络安全监测方法，其特征在于，所述多模态数据的获取过程包括：
3.根据权利要求1所述的多模态网络安全监测方法，其特征在于，所述安全知识图谱的生成过程包括：
4.根据权利要求1所述的多模态网络安全监测方法，其特征在于，所述多头注意力机制的运行过程包括：
5.根据权利要求4所述的多模态网络安全监测方法，其特征在于，所述安全监测模型的生成过程包括：
6.一种多模态网络安全监测预警装置，该预...
【专利技术属性】
技术研发人员：潘远，杨航，高雨杰，
申请(专利权)人：中国南方电网有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。