System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据处理,具体涉及ai驱动的大数据平台安全保护方法及系统。
技术介绍
1、大数据平台处理海量数据,涉及多个敏感行业,安全保护是大数据平台中至关重要的环节,包括防止数据泄露、未经授权的访问、数据篡改,以及各类网络攻击。然而,在大数据平台的安全防护中,正常的访问行为数据远远多于异常入侵数据,这种数据的不平衡会导致传统的机器学习和深度学习模型在训练过程中更加偏向于多数类数据,而忽视了少数类数据的特征,结果是模型在实际应用中容易漏检异常行为,导致安全防护效果不佳。
技术实现思路
1、本申请通过提供了ai驱动的大数据平台安全保护方法及系统,旨在解决现有技术的入侵检测无法应对相关数据集的不平衡,导致模型偏向于学习多数类数据的特征而忽视少数类数据的特征,影响检测准确率的技术问题。
2、本申请公开的第一个方面,提供了ai驱动的大数据平台安全保护方法,所述方法包括:获取大数据平台的历史安全保护记录,所述历史安全保护记录包括m条正常访问保护和n条异常入侵保护,其中m远大于n;读取预定采样策略,所述预定采样策略包括第一采样策略和第二采样策略;根据所述第一采样策略对所述m条正常访问保护进行采样,得到多数类数据集,根据所述第二采样策略对所述n条异常入侵保护进行采样,得到少数类数据集;利用所述多数类数据集与所述少数类数据集组建平衡数据集,并对所述平衡数据集进行更新,得到目标数据集;利用支持向量机原理对分析所述目标数据集得到的训练数据集进行监督训练,得到异常入侵识别器;通过所述异常入侵
3、本申请公开的第二个方面,提供了ai驱动的大数据平台安全保护系统,所述系统用于上述ai驱动的大数据平台安全保护方法,所述系统包括:历史记录获取模块,所述历史记录获取模块用于获取大数据平台的历史安全保护记录,所述历史安全保护记录包括m条正常访问保护和n条异常入侵保护,其中m远大于n;预定策略读取模块,所述预定策略读取模块用于读取预定采样策略,所述预定采样策略包括第一采样策略和第二采样策略;数据采样模块,所述数据采样模块用于根据所述第一采样策略对所述m条正常访问保护进行采样,得到多数类数据集,根据所述第二采样策略对所述n条异常入侵保护进行采样,得到少数类数据集;数据更新模块,所述数据更新模块用于利用所述多数类数据集与所述少数类数据集组建平衡数据集,并对所述平衡数据集进行更新,得到目标数据集;监督训练模块,所述监督训练模块用于利用支持向量机原理对分析所述目标数据集得到的训练数据集进行监督训练,得到异常入侵识别器;安全保护模块,所述安全保护模块用于通过所述异常入侵识别器对所述大数据平台进行安全保护。
4、本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
5、通过预定采样策略,对多数类的正常访问和少数类的异常入侵记录进行不同的采样,通过第一采样策略对m条正常访问记录进行采样,避免过度依赖多数类;同时,通过第二采样策略对n条异常入侵记录进行采样,使得少数类数据被充分代表,这种方法确保了两类数据的平衡,有效减轻了数据不平衡问题对模型训练的影响;通过组建平衡数据集,进一步确保了多数类和少数类数据在模型训练中的均衡贡献,平衡数据集的创建和更新可以有效提高少数类异常入侵行为在数据中的权重,从而增强模型对异常行为的学习能力;利用支持向量机原理,对目标数据集进行监督训练,生成异常入侵识别器,支持向量机以最大化分类边界为目标,具有较强的泛化能力,能够有效应对二分类问题,最大化区分正常访问与异常入侵的特征;通过异常入侵识别器对大数据平台进行实时安全保护,一旦识别到异常行为,能够迅速做出反应,阻止潜在的入侵行为,实现实时监控和快速响应。
6、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
本文档来自技高网...【技术保护点】
1.AI驱动的大数据平台安全保护方法,其特征在于,所述方法包括:
2.根据权利要求1所述AI驱动的大数据平台安全保护方法,其特征在于,包括:
3.根据权利要求2所述AI驱动的大数据平台安全保护方法,其特征在于,包括:
4.根据权利要求3所述AI驱动的大数据平台安全保护方法,其特征在于,包括:
5.根据权利要求4所述AI驱动的大数据平台安全保护方法,其特征在于,当所述第一采样数据量达到所述采样门限值时,对所述多个邻域正常访问保护进行第二指标维度的采样,所述第二指标维度是指所述预定指标维度中的任意一个不同于所述第一指标维度的指标维度。
6.根据权利要求1所述AI驱动的大数据平台安全保护方法,其特征在于,包括:
7.根据权利要求6所述AI驱动的大数据平台安全保护方法,其特征在于,包括:
8.AI驱动的大数据平台安全保护系统,其特征在于,用于实施权利要求1-7任一项所述的AI驱动的大数据平台安全保护方法,所述系统包括:
【技术特征摘要】
1.ai驱动的大数据平台安全保护方法,其特征在于,所述方法包括:
2.根据权利要求1所述ai驱动的大数据平台安全保护方法,其特征在于,包括:
3.根据权利要求2所述ai驱动的大数据平台安全保护方法,其特征在于,包括:
4.根据权利要求3所述ai驱动的大数据平台安全保护方法,其特征在于,包括:
5.根据权利要求4所述ai驱动的大数据平台安全保护方法,其特征在于,当所述第一采样数据量达到所述采样门限值时,对...
【专利技术属性】
技术研发人员:王海波,
申请(专利权)人:智器云南京信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。