本发明专利技术涉及数据处理技术领域,具体公开了一种基于人工智能的云计算的数据处理方法,包括以下步骤:S1:计算不同标定周期内相同时间节点上的平均数据包数量,生成第一坐标点并进行拟合得到第一曲线;S2:对判断周期进行划分得到子周期,在子周期内实时获取端口传输的数据包数量并绘制曲线;S3:计算实时流量和对比流量,确定坐标系中的流量点;连接流量点得到流量线,确定流量角,并确定流量角的弧度值;基于流量点得到流量三角形,确定流量三角形的面积;S4:计算异常系数,根据异常系数筛选待定端口,确定待定端口是否存在异常。本发明专利技术通过筛选待定端口,降低对所有端口进行异常判断所需的计算资源消耗。
【技术实现步骤摘要】
本专利技术涉及数据处理,具体涉及一种基于人工智能的云计算的数据处理方法。
技术介绍
1、云计算是一种基于互联网的计算模型,它通过将计算资源(如服务器、存储设备、数据库等)提供给用户作为服务,以实现按需获取和使用计算资源的方式。
2、端口号是网络通信中用于标识应用程序或服务的逻辑端点的数字标识,不同的应用程序或服务通常使用不同的端口号进行通信。数据包是在计算机网络中传输的数据单元,它是网络通信中的基本单位,可以被用于网络监测和分析。通过捕获和分析数据包,可以了解网络的使用情况、性能状况和安全状况,帮助识别网络中的异常行为、瓶颈和故障,提高网络的安全性。
3、传统的监测方法通常采用专用的硬件设备或软件工具,在网络中捕获和分析数据包,需要购买昂贵的专用硬件设备或软件工具,并进行部署和维护,增加了成本和复杂性,同时,传统的监测方法通常需要在特定位置部署监测设备,限制了监测范围和可扩展性。
技术实现思路
1、本专利技术的目的在于提供一种基于人工智能的云计算的数据处理方法,解决以下技术问题:
2、传统的监测方法通常采用专用的硬件设备或软件工具,在网络中捕获和分析数据包,需要购买昂贵的专用硬件设备或软件工具,并进行部署和维护,增加了成本和复杂性,同时,传统的监测方法通常需要在特定位置部署监测设备,限制了监测范围和可扩展性。
3、本专利技术的目的可以通过以下技术方案实现:
4、一种基于人工智能的云计算的数据处理方法,包括以下步骤:
5、s1:设置m个标定周期,m为第一预设数量,在所述的标定周期内以预设的时间间隔δt设置时间节点,在所述的时间节点上获取端口传输的数据包数量,计算相同时间节点上端口传输的平均数据包数量,生成第一坐标点(a,ca),ca表示时间节点a上端口传输的平均数据包数量,对所述的第一坐标点进行拟合得到第一曲线f(t);
6、s2:确定第m+1个标定周期,将其作为判断周期,将所述的判断周期划分为n个长度相同的子周期,n为第二预设数量,在所述的子周期内实时获取端口传输的数据包数量,并绘制数据包数量随时间变化的曲线g(t);
7、s3:计算实时流量和对比流量f'(t)表示所述的第一曲线在子周期内的部分,tsta和tend分别表示所述的子周期开始和结束的时间点,将所述的实时流量和对比流量在预设坐标系f的x轴和y轴上的位置作为流量点;
8、连接所述的流量点得到流量线,将所述的流量线与x轴的夹角作为流量角,确定所述的流量角的弧度值d;
9、将所述的流量点与坐标系f的原点组成的三角形作为流量三角形,确定所述的流量三角形的面积s;
10、s4:计算异常系数k=η*s/d,其中,η为预设的修正系数,设定异常系数阈值kys,当所述的异常系数k≥kys时,将对应的端口标记为待定端口,确定所述的待定端口是否存在异常。
11、作为本专利技术进一步的方案:所述的步骤s4中,确定所述的待定端口是否存在异常的过程具体包括:
12、将所述的子周期内待定端口传输的数据包数量作为流量数据,基于流量序列编码器获取单个所述的待定端口的流量数据的特征,将其作为目标特征;
13、基于高斯密度图对所述的目标特征进行融合和离散,并通过互为转置的卷积网络确定不同待定端口的目标特征间的交互特征;
14、通过预训练的分类模型确定存在异常的待定端口。
15、作为本专利技术进一步的方案:对所述的分类模型进行训练的过程具体包括:
16、建立数据库,所述的数据库中存储标签为异常的交互特征;
17、基于深度学习模型建立分类模型,通过所述的数据库对其进行训练和验证得到预训练的分类模型。
18、作为本专利技术进一步的方案:所述的异常系数阈值基于对比流量确定,kys=γ/c,γ为预设系数。
19、作为本专利技术进一步的方案:所述的步骤s3中,当所述的对比流量和/或实时流量为0时,发送预警信息进行提示。
20、作为本专利技术进一步的方案:所述的步骤s1中,当所述的标定周期内存在异常的待定端口时,设定补充周期代替存在异常的标定周期。
21、作为本专利技术进一步的方案:所述的步骤s1中,计算所述的平均数据包数量的过程中还包括以下步骤:
22、当标定周期b内的数据包数量与对应的平均数据包数量间的差值大于预设的差值阈值时,去除所述的标定周期b内的数据包数量并再次计算均值,并重复上述步骤,直至不存在差值大于预设的差值阈值。
23、作为本专利技术进一步的方案:将不存在差值大于预设的差值阈值时的平均数据包数量作为目标数量,确定所述的目标数量对应的标定周期的数量sl,当所述的数量sl<0.8m时,发送预警信息进行提示。
24、本专利技术的有益效果:在本方案中,设定标定周期并在该周期内以固定的时间间隔获取端口的传输数据包数量,并计算平均值来生成第一曲线,这一阶段的目标是建立一个历史基准(即第一曲线),可以反映正常情况下端口传输数据包的典型变化趋势,后续可以对比实时数据和该参考模型(即第一曲线),便于检测异常;确定新的判断周期,并在该周期中划分多个子周期以获取实时数据包数量,从而生成实时曲线g(t),在此阶段中,子周期的划分是为了在较短的时间内捕获数据波动,使得判断更加灵敏和细化,并且子周期的划分可以便于后续在确定异常后及时的报警,避免异常没有得到处理,影响网络安全性;之后,根据实时流量和对比流量确定判断参数,即流量三角形的面积和流量角的弧度值;值得注意的是,对比流量对应的流量点在y轴上,在对比流量一定的情况下,实时流量越大,流量三角形的面积就会更大,同时,流量角会减小,则流量角的弧度值也会减小,因此流量三角形的面积越大和/或流量角的弧度值越小,异常系数都应当越大,即存在异常的可能性更大;最后,在确定了待定端口后,对待定端口是否存在异常进行判断;值得注意的是,判断待定端口是否存在异常的过程需要使用多种复杂的算法和模型,如高斯密度图、卷积神经网络等,然而,这些模型和算法虽然能够精确识别和分析端口间的异常模式,但它们都需要消耗较高的计算资源,如高斯密度图的主要作用是融合并离散目标特征,帮助判断数据分布的规律性和偏离程度,然而:1、多维度特征的密度估计:对多维特征进行高斯密度估计时,需要计算每个数据点在多维空间上的概率分布,尤其当特征维度较高时,每个数据点的计算量都会成倍增加;2、复杂核函数的应用:通常高斯密度估计会采用核密度方法,通过选择不同核函数来实现对数据的平滑处理,这也会进一步增加计算需求,数据量和维度越高,密度估计的计算开销也越大;3、数据离散化处理:离散化将连续的高斯密度特征分布映射到不同的区间,这一过程不仅需要进行大量计算,还要求进行反复的离散判断,进一步消耗计算资源;因此,在本方案中,首先筛选待定端口,并判断待定端口是否存在异常,降低对所有端口判断是否存在异常时的计算资源消耗,将计算资源集中在待定端口,显著减少总体计算需求,提高资源利用率。本文档来自技高网
...
【技术保护点】
1.一种基于人工智能的云计算的数据处理方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于人工智能的云计算的数据处理方法,其特征在于,所述的步骤S4中,确定所述的待定端口是否存在异常的过程具体包括:
3.根据权利要求2所述的一种基于人工智能的云计算的数据处理方法,其特征在于,对所述的分类模型进行训练的过程具体包括:
4.根据权利要求1所述的一种基于人工智能的云计算的数据处理方法,其特征在于,所述的异常系数阈值基于对比流量确定,Kys=γ/C,γ为预设系数。
5.根据权利要求1所述的一种基于人工智能的云计算的数据处理方法,其特征在于,所述的步骤S3中,当所述的对比流量和/或实时流量为0时,发送预警信息进行提示。
6.根据权利要求1所述的一种基于人工智能的云计算的数据处理方法,其特征在于,所述的步骤S1中,当所述的标定周期内存在异常的待定端口时,设定补充周期代替存在异常的标定周期。
7.根据权利要求1所述的一种基于人工智能的云计算的数据处理方法,其特征在于,所述的步骤S1中,计算所述的平均数据包数量的过程中还包括以下步骤:
8.根据权利要求7所述的一种基于人工智能的云计算的数据处理方法,其特征在于,将不存在差值大于预设的差值阈值时的平均数据包数量作为目标数量,确定所述的目标数量对应的标定周期的数量SL,当所述的数量SL<0.8m时,发送预警信息进行提示。
...
【技术特征摘要】
1.一种基于人工智能的云计算的数据处理方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于人工智能的云计算的数据处理方法,其特征在于,所述的步骤s4中,确定所述的待定端口是否存在异常的过程具体包括:
3.根据权利要求2所述的一种基于人工智能的云计算的数据处理方法,其特征在于,对所述的分类模型进行训练的过程具体包括:
4.根据权利要求1所述的一种基于人工智能的云计算的数据处理方法,其特征在于,所述的异常系数阈值基于对比流量确定,kys=γ/c,γ为预设系数。
5.根据权利要求1所述的一种基于人工智能的云计算的数据处理方法,其特征在于,所述的步骤s3中,当所述的对比流量...
【专利技术属性】
技术研发人员:李成华,叶义,邵声波,
申请(专利权)人:浙江杭云网络科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。