一种移动互联网海量数据分析审计技术架构制造技术

本发明专利技术公开一种移动互联网海量数据分析审计技术架构，包括：数据分流模块，基于设置的分流策略对移动互联网中的业务数据中的核心流量进行分流降压；数据采集模块，结合零拷贝技术，采用PF_RING套接字实现，捕获业务流量中的数据包；数据预处理模块，通过对数据包打Mark标签实现对数据包的封装；数据解析模块，采用DPI/DFI相结合的技术，对数据包的流特征和有效载荷进行分析，实现流量分类、业务识别和有效载荷信息提取；数据审计模块，审计业务流量中的异常行为，生成检测数据和告警信息；数据存储模块，采用库表散列的方式快速存储有效载荷信息、监测数据和告警信息。本发明专利技术可实现对移动互联网海量数据的分流、采集、处理、认证、分析、监测和审计。

【技术实现步骤摘要】

本专利技术涉及移动网络安全
及大数据领域。更具体地，涉及一种移动互联网海量数据分析审计技术架构。
技术介绍
随着第四代移动通讯技术的崛起和智能终端的迅速发展，移动设备的网络连入量占据互联网的份额越来越大。在移动互联网时代，数据业务渐变成了用户的核心需求，数据价值也将会成为运营商的最宝贵价值所在。通过移动网络数据分析，可以帮助运营商做到精确定位用户的业务需求、进行用户的行为分析、定制流量套餐和流控策略、安全审计等工作。各大运营商为了有效利用移动互联网数据的潜在价值，已经紧锣密鼓地着手开发移动互联网数据审计相关项目，但为了加快开发进度，急于实现数据价值，大多的数据分析项目基本套用原有项目的传统技术。同时，移动设备的普及和移动应用的全方位覆盖，使得数据随时随地都在产生，数据量之大、数据信息之多样化成了移动互联网的主要特点，对于数据分析，处理速度要求也变的更高，而传统技术在移动互联网大数据量的冲击下无论在数据采集阶段还是数据处理阶段都存在性能瓶颈。因此，需要提供一种高效的移动互联网海量数据分析审计技术架构，支持对移动互联网海量应用和用户流量的分析及审计，并可认证追踪用户行为，管理控制入网策略，提升数据解析效率，实现大数据量下实时有效的分析审计。
技术实现思路
本专利技术的目的在于提供一种移动互联网海量数据分析审计技术架构，以实现业务数据分流，高效采集移动数据流量，有效认证设备及关联用户，实时监测移动用户和移动互联网应用的动态并存储于数据库，分析用户和应用网络流量的使用情况，设置审计策略并进行业务审计，并基于以上实现对移动互联网的管控。为达到上述目的，本专利技术采用下述技术方案：一种移动互联网海量数据分析审计技术架构，包括：数据分流模块，设置基于IP段、协议和端口的放行控制的分流策略，基于分流策略对移动终端在移动互联网中产生的业务数据中的核心流量进行分流降压，所述核心流量包括业务流量和认证流量；数据采集模块，结合零拷贝技术，采用PF_RING套接字实现，捕获业务流量中的数据包；数据预处理模块，通过对数据包打Mark标签实现对数据包的封装；数据解析模块，采用DPI/DFI相结合的技术，对数据包的流特征和有效载荷进行分析，实现流量分类、业务识别和有效载荷信息提取；数据审计模块，审计业务流量中的异常行为，生成检测数据和告警信息；数据存储模块，采用库表散列的方式快速存储有效载荷信息、监测数据和告警信息。优选地，所述数据分流模块包括分流策略设置模块和分流链路模块，分流策略设置模块，设置分流参数，按需求分离核心流量和其他无关流量；分流链路模块，采用千兆光模块以满足海量数据的实时传输。优选地，所述数据审计模块包括异常行为策略模块和行为策略匹配模块，异常行为策略模块，设置需监测的异常行为策略；行为策略匹配模块，匹配筛选符合异常行为策略的业务流量中的异常行为。优选地，该移动互联网海量数据分析审计技术架构还包括流量认证模块，所述流量认证模块包括：用户认证模块，实时关联数据与用户，应对移动终端的IP多变；设备认证模块，检测产生数据的移动终端；地域认证模块，检测产生数据的地理位置，实现定位追踪。优选地，该移动互联网海量数据分析审计技术架构还包括数据分析展示平台，所述数据分析展示平台包括：平台界面模块，实现和审计人员的交互，接收审计人员的操作，向审计人员展示结果；应用流量模块，监测当前移动网络中活跃应用数据及历史数据展示；用户流量模块，监测当前移动网络中活跃用户数据及历史数据展示；流量分析模块，监测应用和移动终端的流量走向；缓存服务模块，加快数据的读取，减少数据库服务器的负担；存储服务模块，采用RRD数据库，周期存储实时动态的数据，生成图示加以形象化。优选地，该移动互联网海量数据分析审计技术架构还包括审计监测平台，所述审计监测平台包括：平台界面模块，实现和审计人员的交互，接收审计人员的操作，向审计人员展示结果；处理服务模块，借助数据采集模块和数据解析模块对移动网络流量进行采集解析；策略设置模块，设置需监测的异常行为策略；告警服务模块，实现不同级别告警的策略设置，生成监测告警；存储服务模块，实现存储异常行为策略、监测数据和告警信息；报表服务模块，生成分析报告和风险报告的相关报表。。本专利技术的有益效果如下：本专利技术所述技术方案提供了一种面向移动互联网用户和应用等大量业务数据的分流、采集、处理、认证、分析、监测、审计的完整高效的实现方案。主要特色体现于增添数据分流模块、流量认证模块以及各个模块中各种技术的综合应用，实现了以下技术效果：(1)海量数据流量处理：采用多级流控架构，对核心流量分流，提高系统处理效率。(2)流式处理：基于Stream方式对报文分流，分路进行DPI/DFI处理。(3)DPI/DFI联合分析：基于正则引擎、多模匹配算法，对行为和内容等报文有效载荷进行实时分析。(4)面向用户关联分析：对从Pi和Radius接口采集到的数据进行合并关联分析，建立用户流模型。(5)并发分析：多CPU、多核任务自动调度，实现数据分析并发处理。(6)实时异常行为处置：基于特征匹配的深度报文处理，设置监控策略和管控策略，实现异常行为实时处理。(7)安全内核：关键任务、关联子任务在内核态和用户态，保证系统核心运行安全。本专利技术所述技术方案可用于两种服务对象，分别是：(1)各大移动互联网运营商，包括各个省份、各个地市的移动互联网运营商；(2)移动互联网国家相关管理部门。附图说明下面结合附图对本专利技术的具体实施方式作进一步详细的说明。图1示出实施例1提供的移动互联网海量数据分析审计技术架构的整体架构图。图2示出结合零拷贝技术的PF_RING套接字技术的基本原理图。图3示出数据包打Mark值再封装技术Mark值的空间划分图(以Http协议为例)。图4示出实施例1提供的移动互联网海量数据分析审计技术架构的实施流程图。具体实施方式为了更清楚地说明本专利技术，下面结合优选实施例和附图对本专利技术做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本专利技术的保护范围。实施例1本实施例提供的移动互联网海量数据分析审计技术架构在整体设计上包括四个方面的内容：第一、制定适合多种移动互联网运营商的分析审计系统的实施方案。针对不同运营商的具体需求，设计和指定移动互联网海量数据分析审计技术架构的实施过程。主要从实现移动互联网数据的潜在商用价值，通过对移动互联网数据流量分析，精确定位用户的业务需求、智能化定制流量套餐和流控策略等方面进行综合考虑。第二、制定适合移动互联网国家管理部门的实施方案。针对移动网络国家安全相关法例和特定需求，设计和指定移动互联网数据分析审计系统的实施过程。主要从实现移动互联网数据的风险评估，通过对移动互联网数据的分析，用户行为、业务内容等的安全审计，以及用户追踪和对移动互联网的管理控制等方面进行综合考虑。第三、根据不同的应用场景，满足不同的功能需求。包括流量认证模块，可以高效的识别移动终端的系统型号，用户的手机号、地理位置等信息；包括异常行为策略模块，可以自定义异常行为及策略，按需过滤流量信息；还包括RRD数据库的应用，周期性存储实时的动态数据，并图形化，直观的展示移动业务流量本文档来自技高网...

【技术保护点】
一种移动互联网海量数据分析审计技术架构，其特征在于，包括：数据分流模块，设置基于IP段、协议和端口的放行控制的分流策略，基于分流策略对移动终端在移动互联网中产生的业务数据中的核心流量进行分流降压，所述核心流量包括业务流量和认证流量；数据采集模块，结合零拷贝技术，采用PF_RING套接字实现，捕获业务流量中的数据包；数据预处理模块，通过对数据包打Mark标签实现对数据包的封装；数据解析模块，采用DPI/DFI相结合的技术，对数据包的流特征和有效载荷进行分析，实现流量分类、业务识别和有效载荷信息提取；数据审计模块，审计业务流量中的异常行为，生成检测数据和告警信息；数据存储模块，采用库表散列的方式快速存储有效载荷信息、监测数据和告警信息。

【技术特征摘要】
1.一种移动互联网海量数据分析审计技术架构，其特征在于，包括：数据分流模块，设置基于IP段、协议和端口的放行控制的分流策略，基于分流策略对移动终端在移动互联网中产生的业务数据中的核心流量进行分流降压，所述核心流量包括业务流量和认证流量；数据采集模块，结合零拷贝技术，采用PF_RING套接字实现，捕获业务流量中的数据包；数据预处理模块，通过对数据包打Mark标签实现对数据包的封装；数据解析模块，采用DPI/DFI相结合的技术，对数据包的流特征和有效载荷进行分析，实现流量分类、业务识别和有效载荷信息提取；数据审计模块，审计业务流量中的异常行为，生成检测数据和告警信息；数据存储模块，采用库表散列的方式快速存储有效载荷信息、监测数据和告警信息。2.根据权利要求1所述的移动互联网海量数据分析审计技术架构，其特征在于，所述数据分流模块包括分流策略设置模块和分流链路模块，分流策略设置模块，设置分流参数，按需求分离核心流量和其他无关流量；分流链路模块，采用千兆光模块以满足海量数据的实时传输。3.根据权利要求1所述的移动互联网海量数据分析审计技术架构，其特征在于，所述数据审计模块包括异常行为策略模块和行为策略匹配模块，异常行为策略模块，设置需监测的异常行为策略；行为策略匹配模块，匹配筛选符合异常行为策略的业务流量中的异常行为。4.根据权利要求1所述的移动互联网海量数据分析审计技术架构，其特征在于，该移动互联网海量数据分析审...

【专利技术属性】
技术研发人员：马跃鹏，刘吉强，王健，蔡贞亮，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京;11