【技术实现步骤摘要】
本专利技术涉及网络安全，特别是涉及一种基于人工智能算法的工业日志降噪处理方法及系统。
技术介绍
1、在工业生产过程中，设备或应用运行产生的日志数据往往包含大量噪声，这些噪声可能来源于设备的正常运行波动、环境干扰、传感器误差等多种因素。噪声的存在不仅增加了日志数据的处理难度，还可能导致数据分析结果的不准确，影响故障诊断和维护决策的效率和准确性，同时也可能掩盖真正重要的告警信息。因此，如何有效地从工业日志中去除噪声，提取出有价值的告警特征，是提高工业自动化和智能化水平的关键技术问题。传统的日志降噪方法主要依赖于规则和经验，难以适应复杂多变的工业环境，且在噪声识别和过滤方面存在局限性。因此需要一款告警降噪功能来过滤和减少无效告警，提高告警的质量和准确性。
技术实现思路
1、本专利技术的目的是提供一种基于人工智能算法的工业日志降噪处理方法及系统，旨在解决上述问题。
2、本专利技术提供了一种基于人工智能算法的工业日志降噪处理方法，包括：
3、采集动态感知系统内设备/应用的历史告警数据，所述历史告警数据包括日常告警和异常告警；
4、对所述历史告警数据进行预处理，并将预处理后的历史告警数据划分为训练集和测试集；
5、构建卷积神经网络模型，基于所述训练集对所述卷积神经网络模型进行训练，并基于所述测试集对训练后的卷积神经网络模型进行测试，得到告警日志降噪模型；
6、根据服务器需求对所述告警日志降噪模型的运行参数进行配置，并将所述告警日志降噪
7、接收动态感知系统内设备/应用的实时告警数据，对所述实时告警数据进行初步处理，并将初步处理后的实时告警数据输入到告警日志降噪模型内，得到实时告警数据的告警特征；
8、根据所述告警特征对所述实时告警数据进行分类，确定所述实时告警数据的类别；
9、基于所述告警特征和类别对所述实时告警数据进行存储和可视化分析。
10、优选的，对所述历史告警数据进行预处理，包括：
11、对所述历史告警数据进行标注，划分为价值告警和噪声告警；
12、对所述历史告警数据进行数据清洗、标准化处理和特征提取。
13、优选的，基于所述测试集对训练后的卷积神经网络模型进行测试，得到告警日志降噪模型，包括：
14、获取测试集对训练后的卷积神经网络模型进行测试时的精度、召回率和f1分数；
15、根据所述精度、召回率和f1分数对训练后的卷积神经网络模型进行评估；
16、若所述精度、召回率和f1分数均通过评估，则确定训练后的卷积神经网络模型为告警日志降噪模型；
17、若所述精度、召回率和f1分数未通过评估，则对卷积神经网络模型重新训练，并进行测试。
18、优选的，根据服务器需求对所述告警日志降噪模型的运行参数进行配置，包括：配置所述告警日志降噪模型的阈值和处理频率。
19、优选的，所述服务器需求为适配服务器规格和存储需求。
20、优选的，对所述实时告警数据进行初步处理，包括：
21、利用关键字筛选规则，对所述实时告警数据进行初步筛选；
22、使用正则表达式对所述实时告警数据进行过滤，剔除格式不符合要求的实时告警数据。
23、优选的，所述告警特征包括：时间戳、ip地址、告警类型、告警来源和严重程度。
24、优选的，根据所述告警特征对所述实时告警数据进行分类，确定所述实时告警数据的类别，包括：
25、设置有告警类别对照表，所述告警类别对照表包括若干告警类别，每一告警类别设置有对应的告警特征；
26、根据所述实时告警数据的告警特征对所述告警类别对照表进行筛选，确定所述实时告警数据的类别。
27、优选的，基于所述告警特征和类别对所述实时告警数据进行存储和可视化分析，包括：
28、根据所述告警特征和类别对所述实时告警数据进行存储，并进行统计分析；
29、确定所述实时告警数据的可视化攻击链，并基于溯源图通过时间、资产、网络和情报进行关联，选取与威胁相关的实体和关系作为点和边，形成一张小型威胁图，形成可视化的攻击故事链。
30、本专利技术还公开了一种基于人工智能算法的工业日志降噪处理系统，用于应用上述基于人工智能算法的工业日志降噪处理方法，包括：
31、数据采集模块，用于采集动态感知系统内设备/应用的历史告警数据，所述历史告警数据包括日常告警和异常告警；
32、数据划分模块，用于对所述历史告警数据进行预处理，并将预处理后的历史告警数据划分为训练集和测试集；
33、模型构建模块，用于构建卷积神经网络模型，基于所述训练集对所述卷积神经网络模型进行训练，并基于所述测试集对训练后的卷积神经网络模型进行测试，得到告警日志降噪模型；
34、模型集成模块，用于根据服务器需求对所述告警日志降噪模型的运行参数进行配置，并将所述告警日志降噪模型与动态感知系统集成；
35、告警处理模块，用于接收动态感知系统内设备/应用的实时告警数据，对所述实时告警数据进行初步处理，并将初步处理后的实时告警数据输入到告警日志降噪模型内，得到实时告警数据的告警特征；
36、日志分类模块，用于根据所述告警特征对所述实时告警数据进行分类，确定所述实时告警数据的类别；
37、日志存储模块，用于基于所述告警特征和类别对所述实时告警数据进行存储和可视化分析。
38、与现有技术相比，本专利技术的有益效果在于，本专利技术的功能包括告警识别、查重、降噪和过滤。通过cnn模型的强大特征提取能力，系统能够从大量告警中精准识别出重复的或不相关的告警信息，并进行降噪处理，以减少系统负担。最终，经过处理的告警信息将被筛选和提取出具有实际价值的内容，从而提升质检人员的工作效率，提高态势感知系统的整体可靠性和响应效率。这一方案不仅优化了告警信息的处理流程，也增强了系统对复杂和动态环境的适应能力。
39、本专利技术通过使用卷积神经网络模型进行训练和测试，可以有效地识别和过滤掉误报或无关的告警信息，从而提高告警数据的准确性。这有助于减少运维人员的工作负担，提高问题解决的效率。通过对历史告警数据进行预处理和分类，可以更好地理解不同类型的告警模式，从而降低误报率。这对于提高系统的可靠性和稳定性具有重要意义。将告警日志降噪模型与动态感知系统集成后，可以实现对实时告警数据的快速处理和分析。这使得系统能够在短时间内对潜在的问题做出反应，从而提高了整个系统的实时响应能力。通过对实时告警数据进行存储和可视化分析，可以帮助运维人员更直观地了解系统的运行状况和潜在问题。这有助于提高运维人员的工作效率，同时也为决策者提供了有力的数据支持。通过对告警数据进行有效的降噪处理，可以减少因误报而导致的不必要的人力和物力投入，从而降低企业的运营成本。同时，提高告警数据的准确性也有助于减少因漏报而导致的潜在本文档来自技高网...
【技术保护点】
1.一种基于人工智能算法的工业日志降噪处理方法，其特征在于，包括：
2.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，对所述历史告警数据进行预处理，包括：
3.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，基于所述测试集对训练后的卷积神经网络模型进行测试，得到告警日志降噪模型，包括：
4.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，根据服务器需求对所述告警日志降噪模型的运行参数进行配置，包括：配置所述告警日志降噪模型的阈值和处理频率。
5.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，所述服务器需求为适配服务器规格和存储需求。
6.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，对所述实时告警数据进行初步处理，包括：
7.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，所述告警特征包括：时间戳、IP地址、告警类型、告警来源和严重程度。
8.根据权
9.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，基于所述告警特征和类别对所述实时告警数据进行存储和可视化分析，包括：
10.一种基于人工智能算法的工业日志降噪处理系统，用于应用如权利要求1-9任一项所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于人工智能算法的工业日志降噪处理方法，其特征在于，包括：
2.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，对所述历史告警数据进行预处理，包括：
3.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，基于所述测试集对训练后的卷积神经网络模型进行测试，得到告警日志降噪模型，包括：
4.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，根据服务器需求对所述告警日志降噪模型的运行参数进行配置，包括：配置所述告警日志降噪模型的阈值和处理频率。
5.根据权利要求1所述的基于人工智能算法的工业日志降噪处理方法，其特征在于，所述服务器需求为适配服务器规格和存储需求。
6.根据权利要求1所述的基于...
【专利技术属性】
技术研发人员：李天泽，李赫，张伟，
申请(专利权)人：北京网藤科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。