【技术实现步骤摘要】
本专利技术属于计算机安全，具体涉及一种基于ueba的多维特征融合的异常流量检测方法。
技术介绍
1、在用户访问流量异常检测领域，已有多种方法被提出，然而这些方法主要关注于从单一维度的特征或规则进行异常检测。尽管这些方法在某些情况下能够检测到特定的异常行为，但受限于特征的单一性，难以准确捕捉复杂多变的用户行为模式。
2、具体而言，现有方法包括以下几种：
3、基于阈值的方法：传统异常检测方法之一是基于阈值的方法，通过设定固定阈值来判断访问流量是否异常。然而，这种方法容易受到异常分布的影响，而且在动态变化的环境中需要频繁手动调整阈值，从而限制了其适用性。
4、基于规则的方法：另一种方法是基于规则的方法，即预先定义一系列规则来识别异常访问。然而，由于网络环境的多样性，难以涵盖所有的异常情况。此外，规则的维护和更新过程相对繁琐，使得其在适应性和准确性方面存在一定限制。
5、基于机器学习的方法：某些先进方法如专利申请号为cn202010951195.3的专利文献中提出的基于cnn-lstm的网络流量异常检测方法，以及专利申请号为cn202310488197.7的专利文献中提到的基于shapelet算法的网络流量异常检测算法，利用机器学习技术，能够更精细地挖掘异常模式。然而，这些方法通常需要大量标注数据用于训练，导致数据获取和标注成本较高。
6、然而现有的方法存在以下问题：
7、1、单一特征限制：传统方法通常从单一维度的特征或规则进行异常检测，难以捕捉到复杂多变的用户行为
8、2、标注数据依赖：部分现有方法需要大量标注数据用于模型训练，而数据的获取和标注成本相对较高。这使得方法在实际应用中面临数据不足的问题，尤其在恶意行为多变的网络环境下，标注数据难以满足模型训练的需求。
9、3、规则维护复杂：基于规则的方法需要预先定义一系列规则来识别异常访问，然而网络环境的多样性使得规则的维护和更新过程相对繁琐，难以涵盖所有的异常情况。
10、4、适应性不足：传统方法往往难以自动适应不同的数据分布和环境变化，需要手动调整参数或规则。这使得方法在动态变化的网络环境中的应用效果有限。
技术实现思路
1、为解决上述
技术介绍
中提出的问题，本专利技术提供一种基于ueba的多维特征融合的异常流量检测方法，以解决现有方法存在单一特征限制、标注数据依赖、规则维护复杂和适应性不足的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于ueba的多维特征融合的异常流量检测方法，包括以下步骤：
4、s1：数据收集；从实时数据流中采集用户的访问流量数据；
5、s2：多维特征提取；针对用户的访问流量数据，采用多维度特征提取方法提取多个特征的特征值，提取的特征值保存至第一数据库中；
6、s3：多维的特征基线模型构建；对每个不同的特征进行建模，生成与每个不同的特征相应的特征基线模型，再通过规则和统计方法，计算出每个特征基线模型的基线值，所有的基线值和特征基线模型均存储在第二数据库中；
7、s4：实时异常流量检测；一个特征与一个特征基线模型一一对应，分别计算出每个特征的特征值和与其对应的基线模型的基线值的异常得分值，然后将所有异常得分值进行总合，若异常得分值的总合超过了预设的阈值，则将当前用户的行为标记为异常；
8、s5：定期自动更新基线值与特征基线模型；在特定时间间隔内，从第一数据库中获取近至少一个月的历史数据，重新构建基线值和特征基线模型。
9、优选地，s1中，访问流量数据的具体采集方法为：使用flink实时数据处理引擎实时地从分布式消息系统kafka中消费数据，并保留同访问流量相关的行为和属性字段。
10、优选地，第一数据库为clickhouse数据库，第二数据库为redis数据库。
11、优选地，访问流量数据包括：访问位置数据、访问数据量数据、访问时间数据。
12、优选地，特征包括：访问频率特征、访问时间间隔特征、访问流量大小特征、访问时间段特征和访问位置特征。
13、优选地，s3中，采用时间序列预测算法prophet分别训练不同特征的基线模型，一个基线模型包括一个特征的基线值和整体标准差，其中整体标准差的具体计算流程如下：
14、s3.1：计算每个特征的残差residual：residual＝y-yhat，其中y表示每一个特征真实的特征值，yhat表示每一个特征对应的基线值；
15、s3.2：计算每个特征的残差的平方residual_squared：residual_squared＝(residual)^2；
16、s3.3：计算所有特征的残差平方的和：sum_residual_squared＝σ(residual_squared)；
17、s3.4：计算整体标准差sd：sd＝sqrt(1/n*sum_residual_squared)，其中，n为样本的数量。
18、优选地，s4中异常得分值的具体计算方法为：
19、s4.1：计算特征y真实的特征值y_actual与基线值y_yhat的残差residual：residual＝y_actual-y_yhat；
20、s4.2：计算异常得分值anomaly_score，即偏离整体标准差的倍数：anomaly_score＝residual/sd；
21、s4.3：将异常得分值同预设的阈值做比较，若异常得分值超出规定的阈值，则当前的行为特征y为异常，得分值为anomaly_score，否则得分值为0。
22、优选地，s4中，对于访问位置特征和访问时间段特征，采用以下规则：
23、若当前访问位置特征不在访问位置基线中，则将异常得分值设为1，否则为0；
24、若当前访问时间段特征不在访问时段基线中，则将异常得分值设为1，否则为0。
25、优选地，将每个特征的异常得分值与预设的特征权重相乘，然后加权求和，获得异常得分值的总合，异常得分值的总合计算公式如下所示：
26、异常得分值的总合＝w1*s1+w2*s2+...+wn*sn；
27、其中w表示各特征的权重，s表示各特征的异常得分值；
28、若异常得分值的总合超过了预设的阈值，则将当前用户的行为标记为异常。
29、与现有技术相比，本专利技术的有益效果是：
30、1、多维特征融合：本申请采用多维特征融合的方式，综合考虑多个特征，从而更全面地捕捉用户行为模式，提高了异常检测的精确性。
31、2、实时性：本申请支持实时的异常检测，能够即时识别异常行为，适用于对时效性要求较高的场景。
32、3、无监督模式：与需要大量标注数据的方法不同，本申请可本文档来自技高网...
【技术保护点】
1.一种基于UEBA的多维特征融合的异常流量检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于UEBA的多维特征融合的异常流量检测方法，其特征在于，S1中，访问流量数据的具体采集方法为：使用Flink实时数据处理引擎实时地从分布式消息系统kafka中消费数据，并保留同访问流量相关的行为和属性字段。
3.根据权利要求1所述的一种基于UEBA的多维特征融合的异常流量检测方法，其特征在于，第一数据库为Clickhouse数据库，第二数据库为Redis数据库。
4.根据权利要求1所述的一种基于UEBA的多维特征融合的异常流量检测方法，其特征在于，访问流量数据包括：访问位置数据、访问数据量数据、访问时间数据。
5.根据权利要求1所述的一种基于UEBA的多维特征融合的异常流量检测方法，其特征在于，特征包括：访问频率特征、访问时间间隔特征、访问流量大小特征、访问时间段特征和访问位置特征。
6.根据权利要求1所述的一种基于UEBA的多维特征融合的异常流量检测方法，其特征在于，S3中，采用时间序列预测算法Prophet
7.根据权利要求6所述的一种基于UEBA的多维特征融合的异常流量检测方法，其特征在于，S4中异常得分值的具体计算方法为：
8.根据权利要求5所述的一种基于UEBA的多维特征融合的异常流量检测方法，其特征在于，S4中，对于访问位置特征和访问时间段特征，采用以下规则：
9.根据权利要求7所述的一种基于UEBA的多维特征融合的异常流量检测方法，其特征在于，将每个特征的异常得分值与预设的特征权重相乘，然后加权求和，获得异常得分值的总合，异常得分值的总合计算公式如下所示：
...【技术特征摘要】
1.一种基于ueba的多维特征融合的异常流量检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于ueba的多维特征融合的异常流量检测方法，其特征在于，s1中，访问流量数据的具体采集方法为：使用flink实时数据处理引擎实时地从分布式消息系统kafka中消费数据，并保留同访问流量相关的行为和属性字段。
3.根据权利要求1所述的一种基于ueba的多维特征融合的异常流量检测方法，其特征在于，第一数据库为clickhouse数据库，第二数据库为redis数据库。
4.根据权利要求1所述的一种基于ueba的多维特征融合的异常流量检测方法，其特征在于，访问流量数据包括：访问位置数据、访问数据量数据、访问时间数据。
5.根据权利要求1所述的一种基于ueba的多维特征融合的异常流量检测方法，其特征在于，特征包括：访问频率特征、访问时间间隔特征、...
【专利技术属性】
技术研发人员：章明珠，焦龙，王涛，
申请(专利权)人：成都思维世纪科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。