【技术实现步骤摘要】
本专利技术涉及电子信息，具体为基于大数据dpi技术的互联网智能化检测方法、系统及装置。
技术介绍
1、在互联网迅猛发展的背景下，网络流量的爆炸式增长带来了网络安全和内容合规性的挑战。深度包检测(dpi)技术作为一种能够深入解析网络流量应用层信息的技术，通过分析网络流量中的数据包内容，识别和控制网络流量，从而提高网络安全性和管理效率，为解决这些问题提供了有力支持。
2、然而，随着网络流量的持续增长和网络应用的多样化，传统的dpi技术面临着以下多种性能和安全方面的挑战，包括性能瓶颈、高功耗和成本、数据采集和分析效率低、对加密流量的检测能力有限、算法和平台的约束、系统复杂性和维护难度、匹配算法的不足以及低精度和低吞吐量等问题。
3、因此在大数据时代，如何将dpi技术与大数据技术相结合，实现互联网内容的智能化检测，成为了一个亟待研究的问题。
技术实现思路
1、为克服现有技术中存在的问题，本专利技术目的在于提供基于大数据dpi技术的互联网智能化检测方法、系统及装置，通过实时采集网络流量数据，利用大数据存储和分析技术对网络流量进行深度解析和处理，识别出不良内容和异常行为，实现互联网内容的智能化检测。
2、为实现上述目的，本专利技术提供了如下技术方案：基于大数据dpi技术的互联网智能化检测方法，包括以下步骤：
3、s1：基于dpi技术对网络流量中的数据包进行深度解析，提取出应用层的信息；
4、s2：采用大数据存储技术步骤s1提取的信息进
5、s3：构建智能化检测算法，提取异常行为和不良内容的特征，利用机器学习和深度学习技术，自动识别异常行为和不良内容；
6、s4：将检测结果可视化。
7、本专利技术进一步设置为：步骤s1具体为，使用数据捕获模块从网络接口实时捕获经过的网络流量的数据包，流量预处理模块对捕获的数据包进行预处理，再使用深度解析引擎解析数据包，根据解析结果，应用层信息提取模块提取应用层信息，再将解析结果存储至数据存储模块，对数据的传输和存储进行加密。
8、本专利技术进一步设置为：所述应用层信息提取模块提取应用层信息具体为，使用内容识别算法识别解析结果的数据内容；使用来源识别算法，识别解析结果的数据来源；所述应用层信息包括url、文件类型和用户身份。
9、本专利技术进一步设置为：所述内容识别算法包括关键字匹配、模式识别；所述来源识别算法包括ip地址分析和端口分析。
10、本专利技术进一步设置为：步骤s2具体为，采用hadoop分布式文件系统(hdfs)作为主要存储系统，结合列式数据库存储和管理数据；使用数据挖掘技术来识别网络流量的数据包中的模式和关联，构建实时数据处理管道，对网络流量的数据包进行实时分析，使用机器学习算法分析数据包，预测和识别异常行为和不良内容；在存储和分析过程中采取加密措施保证数据安全。
11、本专利技术进一步设置为：步骤s3具体包括以下步骤：
12、s31：数据收集与预处理，提取异常行为和不良内容的关键特征；
13、s32：建立机器学习模型和深度学习模型，通过集成学习方法，结合机器学习模型和深度学习模型；
14、s33：模型训练与优化；
15、s34：建立反馈机制，允许人工审核模型的检测结果，并将审核结果反馈到模型训练中，形成闭环学习；
16、s35：监控算法性能，定期使用新数据更新模型，收集用户反馈，用于改进模型的设计、调整超参数或优化系统架构。
17、本专利技术进一步设置为：步骤s31具体为，搭建数据收集系统，收集网络流量数据，所述网络流量数据包括http请求、dns查询、ip包头信息、应用层数据；去除无关数据，处理缺失值和异常值，确保数据质量；人工标注一部分数据集，用于区分正常和异常行为，以及不良内容的类型；提取异常行为和不良内容的关键特征，所述关键特征包括流量大小、访问频率、访问时间、ip地址分布、请求类型。
18、基于大数据dpi技术的互联网内容智能化检测系统，适用于上述基于大数据dpi技术的互联网智能化检测方法，包括：深度报文解析系统、大数据存储与分析系统和智能化检测系统；所述深度报文解析系统基于dpi技术对网络流量中的数据包进行深度解析，所述大数据存储与分析系统用于对数据包进行高效存储和深入分析，所述智能化检测系统用于自动识别网络中的不良内容和异常行为。
19、需要说明的是，各个系统架构应考虑与现有网络架构的集成，并确保系统具备良好的扩展性，以便未来能够轻松增加存储容量和计算能力。
20、本专利技术进一步设置为：所述深度报文解析系统包括：
21、数据捕获模块：负责从网络接口实时捕获经过的网络流量；
22、流量预处理模块：对捕获的数据包进行初步处理，如重组tcp流、去除重复数据包等；
23、深度解析引擎：负责对预处理后的数据包进行深度解析；
24、应用层信息提取模块：从解析后的数据中提取应用层信息；
25、数据存储模块：存储解析和提取的信息供后续分析使用；
26、用户接口模块：提供用户交互界面，展示解析结果和统计信息；
27、所述大数据存储与分析系统包括：
28、分布式文件系统：采用hadoop分布式文件系统(hdfs)作为主要的存储解决方案；
29、列式数据库：用于存储和管理数据，如apache cassandra或hbase；
30、大数据分析模块：用于识别网络流量中的模式和关联，分析网络流量数据，识别异常行为和不良内容；
31、可视化模块：用于将分析结果以图表和图形的形式展现出来；
32、所述智能化检测系统包括：
33、数据收集系统：用于收集网络流量数据；
34、数据预处理模块：用于实现人工标注、数据清洗和提取特征；
35、算法模块：结合机器学习和深度学习模型，通过集成学习方法(如stacking、blending)提高模型的泛化能力；
36、实时监测与反馈系统：实现数据流的实时处理，快速响应网络流量变化，人工审核模型的检测结果，并将结果反馈到算法模块，形成闭环学习。
37、性能监控系统：用于监控智能化检测系统性能，确保检测算法的稳定运行。
38、本专利技术还涉及一种计算机装置，该计算机装置存储有计算机程序，该计算机程序被处理器执行时实现上述基于大数据dpi技术的互联网智能化检测方法。
39、综上，本专利技术的上述技术方案的有益效果如下：
40、本专利技术提出了一种融合深度包解析、大数据分析与人工智能技术的互联网内容智能化检测方法。该方法通过深度解析网络流量的应用层信息，结合大数据存储与分析技术，实现了对网络流量的高效处理与准确识别。同时，引入人工智能技术中的机器学习本文档来自技高网...
【技术保护点】
1.基于大数据DPI技术的互联网智能化检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于大数据DPI技术的互联网智能化检测方法，其特征在于，步骤S1具体为，使用数据捕获模块从网络接口实时捕获经过的网络流量的数据包，流量预处理模块对捕获的数据包进行预处理，再使用深度解析引擎解析数据包，根据解析结果，应用层信息提取模块提取应用层信息，再将解析结果存储至数据存储模块，对数据的传输和存储进行加密。
3.根据权利要求2所述的基于大数据DPI技术的互联网智能化检测方法，其特征在于，所述应用层信息提取模块提取应用层信息具体为，使用内容识别算法识别解析结果的数据内容；使用来源识别算法，识别解析结果的数据来源；所述应用层信息包括URL、文件类型和用户身份。
4.根据权利要求3所述的基于大数据DPI技术的互联网智能化检测方法，其特征在于，所述内容识别算法包括关键字匹配、模式识别；所述来源识别算法包括IP地址分析和端口分析。
5.根据权利要求1所述的基于大数据DPI技术的互联网智能化检测方法，其特征在于，步骤S2具体为，采用Hadoop分
6.根据权利要求1所述的基于大数据DPI技术的互联网智能化检测方法，其特征在于，步骤S3具体包括以下步骤：
7.根据权利要求1所述的基于大数据DPI技术的互联网智能化检测方法，其特征在于，步骤S31具体为，搭建数据收集系统，收集网络流量数据，所述网络流量数据包括HTTP请求、DNS查询、IP包头信息、应用层数据；
8.基于大数据DPI技术的互联网内容智能化检测系统，适用于权利要求1-7任一项所述的基于大数据DPI技术的互联网智能化检测方法，其特征在于，包括：深度报文解析系统、大数据存储与分析系统和智能化检测系统；所述深度报文解析系统基于DPI技术对网络流量中的数据包进行深度解析，所述大数据存储与分析系统用于对数据包进行高效存储和深入分析，所述智能化检测系统用于自动识别网络中的不良内容和异常行为；
9.根据权利要求8所述的基于大数据DPI技术的互联网内容智能化检测系统，其特征在于，所述深度报文解析系统包括：
10.一种计算机装置，其特征在于，该计算机装置存储有计算机程序，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于大数据DPI技术的互联网智能化检测方法。
...【技术特征摘要】
1.基于大数据dpi技术的互联网智能化检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于大数据dpi技术的互联网智能化检测方法，其特征在于，步骤s1具体为，使用数据捕获模块从网络接口实时捕获经过的网络流量的数据包，流量预处理模块对捕获的数据包进行预处理，再使用深度解析引擎解析数据包，根据解析结果，应用层信息提取模块提取应用层信息，再将解析结果存储至数据存储模块，对数据的传输和存储进行加密。
3.根据权利要求2所述的基于大数据dpi技术的互联网智能化检测方法，其特征在于，所述应用层信息提取模块提取应用层信息具体为，使用内容识别算法识别解析结果的数据内容；使用来源识别算法，识别解析结果的数据来源；所述应用层信息包括url、文件类型和用户身份。
4.根据权利要求3所述的基于大数据dpi技术的互联网智能化检测方法，其特征在于，所述内容识别算法包括关键字匹配、模式识别；所述来源识别算法包括ip地址分析和端口分析。
5.根据权利要求1所述的基于大数据dpi技术的互联网智能化检测方法，其特征在于，步骤s2具体为，采用hadoop分布式文件系统作为主要存储系统，结合列式数据库存储和管理数据；使用数据挖掘技术来识别网络流量的数据包中的模式和关联，构建实时数据处理管道，对网络流量的数据包进行实时...
【专利技术属性】
技术研发人员：徐志强，宋德寿，李琳，
申请(专利权)人：广州瀚信通信科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。