一种基于网络安全的大数据处理系统技术方案

一种基于网络安全的大数据处理系统，包括数据采集模块、数据归纳模块、互联网、数据存储模块、数据处理模块、数据统计分析、数据结果展示和数据监控模块；所述数据采集模块与所述数据归纳模块相连，所述数据归纳模块与所述互联网相连；所述互联网上设置有安全防火墙，所述互联网与所述数据存储模块相连；所述数据存储模块与所述数据监控模块相连；所述数据处理模块与所述互联网相连；所述数据统计分析与所述数据处理模块相连；所述数据结果展示与所述数据统计分析相连。本发明专利技术通过网络安全对大数据处理进行安全防护，在提高数据处理准确度的同时网络纽带提高大数据处理效率。

A Large Data Processing System Based on Network Security

【技术实现步骤摘要】
一种基于网络安全的大数据处理系统
本专利技术涉及大数据处理
，尤其涉及一种基于网络安全的大数据处理系统。
技术介绍
大数据处理系统的种类繁多，目前还没有公认的分类方法。为了清晰掌握技术的发展现状，这里从负载类型和数据类型两个角度对代表性的系统进行分类，一方面明确了各种系统的适用范围；另一方面可看到尚未解决的空白领域。从负载类型的角度，目前的系统可以划分为批处理、流式计算和交互式查询等三类。批处理系统强调系统的高吞吐量，例如Hadoop系统就定位于批处理。流式计算是近几年兴起的一个研究领域，很多应用场景对计算的时效性要求高，希望能够在尽可能小的延迟内完成，例如在线广告推荐、入侵检测和作弊识别等。目前代表性的流式计算系统包括雅虎的s4、Twitter的Storm、Google的MillWheel、微软的TimeStream和美国加州大学伯克利分校的DStream等。交互式查询分析主要应用于大规模的数据仓库，从早期的Hive到Dremel、Impala和Shark等，各种SQL-On-Ha-doop与大规模并行处理(massiveparallelprocessing，MPP)系统不断出现。从数据类型的角度，目前的系统提供了集合、表、图和矩阵等多种数据抽象。通常一个编程框架只适合解决某类问题，无法对各种问题领域都适用。例如，MapReduce适合解决记录之间相互独立的集合类数据；Piccolo利用分布式内存存储表格数据，能够加快迭代计算的运行效率；MadLINQ提供大规模的矩阵运算，可简化一大类机器学习和数据挖掘算法的开发。随着大数据处理的兴起，在大数据处理过程中也面临很多问题，例如如何提高大数据处理系统处理效率，大数据处理系统的数据信息安全不够完善，数据信息泄露导致发生重大损失都影响大数据处理系统的稳定性。为解决上述问题，本申请中提出一种基于网络安全的大数据处理系统。
技术实现思路
(一)专利技术目的为解决
技术介绍
中存在的技术问题，本专利技术提出一种基于网络安全的大数据处理系统，通过网络安全对大数据处理进行安全防护，在提高数据处理准确度的同时网络纽带提高大数据处理效率。(二)技术方案为解决上述问题，本专利技术提供了一种基于网络安全的大数据处理系统，包括互联网、数据存储模块、数据处理模块、数据统计分析、数据结果展示和数据监控模块；所述互联网上设置有安全防火墙，所述互联网与所述数据存储模块相连；所述数据存储模块与所述数据监控模块相连；所述数据处理模块与所述互联网相连；所述数据统计分析与所述数据处理模块相连；所述数据结果展示与所述数据统计分析相连；所述数据存储模块对数据进行存储，防止发生数据丢失情况，便于数据查找访问；所述数据处理模块对数据进行处理；所述互联网模块用于连接各数据模块的枢纽，所述互联网模块上设置有防火墙对数据安全进行保障；所述数据统计分析对数据处理模块处理的数据结果进行统计和分析；所述数据结果展示对数据统计分析的内容进行展示，方便了解大数据的处理结果；所述数据监控模块对数据存储进行监控，防止数据存储模块存储数据发送丢失或异常。优选的，所述互联网上连接有数据归纳模块，所述数据归纳模块上连接诶有数据采集模块。优选的，所述数据采集模块包括点击数据、业务数据、外部数据和人工输入数据。优选的，所述数据存储模块包括离线数据存储和备用数据存储。优选的，所述数据监控模块连接有报警模块。优选的，所述数据处理模块包括微批处理模块和流处理模块，所述微批处理模块设置有近线数据存储；所述流处理模块设置有实时数据存储。优选的，所述数据统计分析与所述数据存储模块相连，所述数据统计分析与所述数据存储模块之间设置有防火墙。优选的，所述数据统计分析包括即席分析、数据分析和数据挖掘。本专利技术的上述技术方案具有如下有益的技术效果：1、通过互联网和防火墙的网络安全连接作为大数据处理系统的连接枢纽，有效对大数据处理信息的防护，防止大数据信息在传输过程中发生泄漏或丢失，同时通过互联网的连接有效提高大数据处理系统的处理效率；2、数据存储模块设置的双重数据存储有效对存储数据进行保护，在其中一个数据库发生数据丢失时通过备用数据可及时找回丢失数据，提高大数据处理系统数据的安全性；3、数据采集的全面性和数据处理的多样性有效提高数据处理效率和数据处理结果的准确性。附图说明图1为本专利技术提出的一种基于网络安全的大数据处理系统的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。如图1所示，本专利技术提供了一种基于网络安全的大数据处理系统，包括互联网、数据存储模块、数据处理模块、数据统计分析、数据结果展示和数据监控模块；所述互联网上设置有安全防火墙，所述互联网与所述数据存储模块相连；所述数据存储模块与所述数据监控模块相连；所述数据处理模块与所述互联网相连；所述数据统计分析与所述数据处理模块相连；所述数据结果展示与所述数据统计分析相连；所述数据存储模块对数据进行存储，防止发生数据丢失情况，便于数据查找访问；所述数据处理模块对数据进行处理；所述互联网模块用于连接各数据模块的枢纽，所述互联网模块上设置有防火墙对数据安全进行保障；所述数据统计分析对数据处理模块处理的数据结果进行统计和分析；所述数据结果展示对数据统计分析的内容进行展示，方便了解大数据的处理结果；所述数据监控模块对数据存储进行监控，防止数据存储模块存储数据发送丢失或异常。在一个可选的实施例中，所述互联网上连接有数据归纳模块，所述数据归纳模块上连接诶有数据采集模块。在一个可选的实施例中，所述数据采集模块包括点击数据、业务数据、外部数据和人工输入数据，点击数据通过页面嵌入JS代码的方式获取用户访问行为，并发送到web服务的后台记录日志，然后，将各服务器上生成的点击流日志通过实时或批量的方式汇聚到HDFS文件系统中，业务数据包括业务信息的相关数据，如用户信息、商品信息、订单信息等；外部数据包括外部系统数据、Web系统数据以及移动APP等数据系统；人工输入数据通过实时接口手动对数据进行写入；多点的数据采集提高大数据采集范围，提高数据库存储信息，便于数据处理更为精确。在一个可选的实施例中，所述数据存储模块包括离线数据存储和备用数据存储；数据存储模块对大数据信息进行存储，通过离线数据存储和备用数据存储两种方式对数据进行存储，确保数据的安全性，在其中一个数据手动非正常修改或丢失时，确保另一个数据存储能提供正确的数据信息，使数据处理准确无误。在一个可选的实施例中，所述数据监控模块连接有报警模块。数据监控模块对数据存储进行监控，确保数据存储的信息安全，当某一个数据存储信息发送非正常修改或数据丢失时，报警模块启动报警并通过互联网和防火墙对另一个数据存储进行锁定，确保数据不会丢失完全，保护数据安全。在一个可选的实施例中，所述数据处理模块包括微批处理模块和流处理模块，所述微批处理模块设置有近线数据存储；所述流处理模块设置有实时数据存储；需要处理大量数据的任务通常最适合用批处理操作进行处理。无论直接从持久存储设备处理数据集，或首本文档来自技高网...

【技术保护点】
1.一种基于网络安全的大数据处理系统，其特征在于，包括互联网、数据存储模块、数据处理模块、数据统计分析、数据结果展示和数据监控模块；所述互联网上设置有安全防火墙，所述互联网与所述数据存储模块相连；所述数据存储模块与所述数据监控模块相连；所述数据处理模块与所述互联网相连；所述数据统计分析与所述数据处理模块相连；所述数据结果展示与所述数据统计分析相连；所述数据存储模块对数据进行存储，防止发生数据丢失情况，便于数据查找访问；所述数据处理模块对数据进行处理；所述互联网模块用于连接各数据模块的枢纽，所述互联网模块上设置有防火墙对数据安全进行保障；所述数据统计分析对数据处理模块处理的数据结果进行统计和分析；所述数据结果展示对数据统计分析的内容进行展示，方便了解大数据的处理结果；所述数据监控模块对数据存储进行监控，防止数据存储模块存储数据发送丢失或异常。

【技术特征摘要】
1.一种基于网络安全的大数据处理系统，其特征在于，包括互联网、数据存储模块、数据处理模块、数据统计分析、数据结果展示和数据监控模块；所述互联网上设置有安全防火墙，所述互联网与所述数据存储模块相连；所述数据存储模块与所述数据监控模块相连；所述数据处理模块与所述互联网相连；所述数据统计分析与所述数据处理模块相连；所述数据结果展示与所述数据统计分析相连；所述数据存储模块对数据进行存储，防止发生数据丢失情况，便于数据查找访问；所述数据处理模块对数据进行处理；所述互联网模块用于连接各数据模块的枢纽，所述互联网模块上设置有防火墙对数据安全进行保障；所述数据统计分析对数据处理模块处理的数据结果进行统计和分析；所述数据结果展示对数据统计分析的内容进行展示，方便了解大数据的处理结果；所述数据监控模块对数据存储进行监控，防止数据存储模块存储数据发送丢失或异常。2.根据权利要求1所述的一种基于网络安全的大数据处理系统，其特征在于，所述互联网上连接有数据归纳模块，所述...

【专利技术属性】
技术研发人员：赵昆杨，
申请(专利权)人：福建奇点时空数字科技有限公司，
类型：发明
国别省市：福建,35