本发明专利技术提供一种用于采集系统的流量优化分析方法、装置、设备和介质，方法包括：通过采集系统将流量进行收集，并以流量包的形式上传至流量处理服务器；定时将流量包根据设定策略进行拆分以及去重，得到处理后的流量数据；设置触发器，将流量数据分为风险数据和非风险数据，并导入到数据库中；根据设定策略对风险数据以及非风险数据进行抽取，并进行脱敏，得到脱敏数据；将风险数据转发给第一设定人员，并将风险数据脱敏后转发给第二设定人员；解决了传统方法对于海量数据分析处理效率不高且不稳定的问题。稳定的问题。稳定的问题。
【技术实现步骤摘要】
用于采集系统的流量优化分析方法、装置、设备和介质
[0001]本专利技术涉及一种用于采集系统的流量优化分析方法、装置、设备和介质。
技术介绍
[0002]在网络管理中采用数据采集系统抓取网络数据包，并将采集信息提供给相关部门进行流量分析，但是该采集系统所收集的流量数据是以大包的形式进行导出，其中信息繁多且未经梳理，可读性不强，无法满足部门需求。常规的流量分析是采用excel方式进行处置，该方法需要大量人工参与，并且随着流量数据的不断增多，excel无法完成对于海量流量的分析任务。
技术实现思路
[0003]本专利技术要解决的技术问题，在于提供一种用于采集系统的流量优化分析方法、装置、设备和介质，解决了传统方法对于海量数据分析处理效率不高且不稳定的问题。
[0004]第一方面，本专利技术提供了一种用于采集系统的流量优化分析方法，包括：
[0005]步骤1、通过采集系统将流量进行收集，并以流量包的形式上传至流量处理服务器；
[0006]步骤2、定时将流量包根据设定策略进行拆分以及去重，得到处理后的流量数据；
[0007]步骤3、设置触发器，将流量数据分为风险数据和非风险数据，并导入到数据库中；
[0008]步骤4、根据设定策略对风险数据以及非风险数据进行抽取，并进行脱敏，得到脱敏数据；
[0009]步骤5、将风险数据转发给第一设定人员，并将风险数据脱敏后转发给第二设定人员。
[0010]进一步地，所述步骤2进一步具体为：定时采用去除无效列、同IP随机端口合并、异常数据筛选以及数据标注策略对流量包进行操作，并通过数据清洗以及优化去重，得到处理后的流量数据。
[0011]进一步地，所述步骤3进一步具体为：设置触发器，将流量数据分为风险数据和非风险数据，所述风险数据用于异常流量排查；所述风险数据和非风险数据存储至风险数据记录表中；所述触发器包括：对于设定时段触发条件、设定IP触发条件、异常访问触发条件以及设定次数访问触发条件。
[0012]进一步地，所述步骤5进一步具体为：在所述风险数据记录表中创建名为warn_mes、类别为bool类型的列，将已经发送过的风险数据设置1，没有发送过的设置为0，列默认值为0；定时将风险数据记录表中warn_mes为0的风险数据全部抽取出来，并将抽取的风险数据的对应值设置为1；对于未发送的风险数据，首先将其形成完整异常数据文件，用于提供给第一设定人员；其次将根据风险数据的源以及目标IP分发脱敏后的风险数据给对应的第二设定人员。
[0013]第二方面，本专利技术提供了一种用于采集系统的流量优化分析装置，包括：
[0014]上传模块，通过采集系统将流量进行收集，并以流量包的形式上传至流量处理服务器；
[0015]导入模块，定时将流量包根据设定策略进行拆分以及去重，得到处理后的流量数据；
[0016]挖掘模块，设置触发器，将流量数据分为风险数据和非风险数据，并导入到数据库中；
[0017]抽取脱敏模块，根据设定策略对风险数据以及非风险数据进行抽取，并进行脱敏，得到脱敏数据；
[0018]风险预警转发模块，将风险数据转发给第一设定人员，并将风险数据脱敏后转发给第二设定人员。
[0019]进一步地，所述导入模块进一步具体为：定时采用去除无效列、同IP随机端口合并、异常数据筛选以及数据标注策略对流量包进行操作，并通过数据清洗以及优化去重，得到处理后的流量数据。
[0020]进一步地，所述挖掘模块进一步具体为：设置触发器，将流量数据分为风险数据和非风险数据，所述风险数据用于异常流量排查；所述风险数据和非风险数据存储至风险数据记录表中；所述触发器包括：对于设定时段触发条件、设定IP触发条件、异常访问触发条件以及设定次数访问触发条件。
[0021]进一步地，所述风险预警转发模块进一步具体为：在所述风险数据记录表中创建名为warn_mes、类别为bool类型的列，将已经发送过的风险数据设置1，没有发送过的设置为0，列默认值为0；定时将风险数据记录表中warn_mes为0的风险数据全部抽取出来，并将抽取的风险数据的对应值设置为1；对于未发送的风险数据，首先将其形成完整异常数据文件，用于提供给第一设定人员；其次将根据风险数据的源以及目标IP分发脱敏后的风险数据给对应的第二设定人员。
[0022]第三方面，本专利技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
[0023]第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
[0024]本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0025]本申请实施例提供的一种用于采集系统的流量优化分析方法、装置、设备和介质，解决了传统方法对于海量数据分析处理效率不高且不稳定的问题，提出了一种流量优化分析方法，对于大包数据进行自动拆分、抽取、去重、信息脱敏，在支持海量数据处理工作的同时设计定制化触发器对异常流量监控进行自动报警，从而解决原生系统采集数据大包难分析信息易泄露的问题；在提升对海量数据处理能力的同时，对于挖掘流量中潜在的异常流量，解决采集系统数据大包难分析的问题，解放人工，提升分析效率，挖掘网络流量分析的深层价值，比如为防火墙配置等提供参考依据。
[0026]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0027]下面参照附图结合实施例对本专利技术作进一步的说明。
[0028]图1为本专利技术实施例一中方法中的流程图；
[0029]图2为本专利技术实施例二中装置的结构示意图；
[0030]图3为本专利技术实施例五的流程图；
[0031]图4为本专利技术的GUI界面示意图。
具体实施方式
[0032]实施例一
[0033]如图1所示，本实施例提供一种用于采集系统的流量优化分析方法，包括：
[0034]一种用于采集系统的流量优化分析方法，包括：
[0035]步骤1、通过采集系统将流量进行收集，并以流量包的形式上传至流量处理服务器；
[0036]步骤2、定时采用去除无效列、同IP随机端口合并、异常数据筛选以及数据标注策略对流量包进行操作，并通过数据清洗以及优化去重，得到处理后的流量数据；
[0037]步骤3、设置触发器，将流量数据分为风险数据和非风险数据，所述风险数据用于异常流量排查；所述风险数据和非风险数据存储至风险数据记录表中；所述触发器包括：对于设定时段触发条件、设定IP触发条件、异常访问触发条件以及设定次数访问触发条件；
[0038]步骤4、根据设定策略对风险数据以及非风险数据进行抽取，并进行脱敏，得到脱敏数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于采集系统的流量优化分析方法，其特征在于，包括：步骤1、通过采集系统将流量进行收集，并以流量包的形式上传至流量处理服务器；步骤2、定时将流量包根据设定策略进行拆分以及去重，得到处理后的流量数据；步骤3、设置触发器，将流量数据分为风险数据和非风险数据，并导入到数据库中；步骤4、根据设定策略对风险数据以及非风险数据进行抽取，并进行脱敏，得到脱敏数据；步骤5、将风险数据转发给第一设定人员，并将风险数据脱敏后转发给第二设定人员。2.根据权利要求1所述的一种用于采集系统的流量优化分析方法，其特征在于，所述步骤2进一步具体为：定时采用去除无效列、同IP随机端口合并、异常数据筛选以及数据标注策略对流量包进行操作，并通过数据清洗以及优化去重，得到处理后的流量数据。3.根据权利要求1所述的一种用于采集系统的流量优化分析方法，其特征在于，所述步骤3进一步具体为：设置触发器，将流量数据分为风险数据和非风险数据，所述风险数据用于异常流量排查；所述风险数据和非风险数据存储至风险数据记录表中；所述触发器包括：对于设定时段触发条件、设定IP触发条件、异常访问触发条件以及设定次数访问触发条件。4.根据权利要求3所述的一种用于采集系统的流量优化分析方法，其特征在于，所述步骤5进一步具体为：在所述风险数据记录表中创建名为warn_mes、类别为bool类型的列，将已经发送过的风险数据设置1，没有发送过的设置为0，列默认值为0；定时将风险数据记录表中warn_mes为0的风险数据全部抽取出来，并将抽取的风险数据的对应值设置为1；对于未发送的风险数据，首先将其形成完整异常数据文件，用于提供给第一设定人员；其次将根据风险数据的源以及目标IP分发脱敏后的风险数据给对应的第二设定人员。5.一种用于采集系统的流量优化分析装置，其特征在于，包括：上传模块，通过采集系统将流量进行收集，并以流量包的形式上传至流量处理服务器；导入模块，定时将流量包根据设定策略进行...
【专利技术属性】
技术研发人员：王弘中，张松坚，杨超，陈长钦，沈书航，刘岱瀛，
申请(专利权)人：中国农业银行股份有限公司福建省分行，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。