一种具有安全加密功能的大数据处理系统技术方案

本实用新型专利技术公开了一种具有安全加密功能的大数据处理系统，包括大数据安全功能处理单元、数据安全交互单元、数据自检单元、进程调度单元、预处理单元以及外部接口单元，其中数据安全交互单元对接收的数据进行加密与存储，USB控制器把大数据安全功能处理单元和数据自检单元连接，对传输的接口进行控制，完成数据的存储与加密；数据自检单元对来自接收的数据进行检测与校验，包括数据完整性校验模块、加密/解密检测模块、冗余信息过滤模块和传输分配预处理模块；预处理单元为多个FPGA芯片串接而成。本实用新型专利技术能够对大数据交互及分析进行安全存储与分配，实现系统的安全、稳定、高效、快速运行。

【技术实现步骤摘要】
一种具有安全加密功能的大数据处理系统
本技术涉及通信领域，具体而言，涉及一种具有安全加密功能的大数据处理系统。
技术介绍
在大数据(Bigdata)的今天，互联网正朝着移动化进一步发展，社交网络等新兴内容也在不断兴起，们可以很方便的获取到想要的信息。然而，随着需求和业务的不断发展，所产生的数据也在呈几何式增长。大规模数据集有着不可估量的价值，数据间的关系将在公司企业的运营、决策中发挥重要作用。在大数据在集中处理和存储海量数据的同时，其安全问题也将面临越来越大的挑战在大数据处理方面，采用的系统组成中最重要的是数据处理设备以及大数据安全保护两个方面。常见的数据处理设备采用服务器集成网卡的方式，服务器体积庞大、耗电；网卡受限于服务器的机箱尺寸限制，以及传统的CPUI/O总线限制，数据端口少，处理效率低。在高速数据处理中，还经常采用分布式部署的方式，必要时，在前端加入数据分流设备，对数据进行预处理，系统庞大，不仅仅满足不了节能减排的要求，而且增加系统的成本。在大数据安全保护方面，常规的方法都是通过防火墙、VPN、入侵检测和防病毒等这些传统的系统和组件来保障系统完全，这些方法最大的问题是从网络协议和模式特征上去保障系统安全，无法针对大数据平台内部的敏感信息和敏感数据实施保护，也就是说，目前迄今为止还没有一个针对大数据系统的特定的安全系统。因此，如何高效、快速的对大规模数据进行处理同时，实现信息的安全保密，成为一个亟待解决的问题。
技术实现思路
本技术要解决的技术问题是提供一种具有安全加密功能的大数据处理系统，该系统能够对大数据交互及分析进行安全存储与分配，实现系统的安全、稳定、高效、快速运行。为解决上述技术问题，本技术所采取的技术方案是：一种具有安全加密功能的大数据处理系统，其特征在于：包括大数据安全功能处理单元、数据安全交互单元、数据自检单元、进程调度单元、预处理单元以及外部接口单元，六个单元依次连接，其中数据安全交互单元对接收的数据进行加密与存储，其具体包括USB控制器、数据存储介质、系统复位控制器、电源控制器和加密卡接口五部分，USB控制器把大数据安全功能处理单元和数据自检单元连接，对传输的接口进行控制，数据存储介质、系统复位控制器和电源控制器经加密卡接口把大数据安全功能处理单元和数据自检单元连接，完成数据的存储与加密；数据自检单元对来自接收的数据进行检测与校验，包括数据完整性校验模块、加密/解密检测模块、冗余信息过滤模块和传输分配预处理模块；预处理单元为多个FPGA芯片串接而成。对上述方案作进一步的优选，所述的大数据安全功能处理单元为多个嵌入设置的CPU，每个CPU分别配置独立安全卡，每个CUP经过ROM汇集至集成接口板，集成接口板与功能存储介质连接。对上述方案作进一步的优选，所述的功能存储介质为硬盘式存储，均采用SSD。对上述方案作进一步的优选，所述的安全卡采用带TPM的安全芯片。对上述方案作进一步的优选，所述的外部接口单元包括两个以上的万兆的光/电接口、多个千兆的光/电接口和多个40G接口。对上述方案作进一步的优选，所述的数据存储介质上设有水冷散热模块，水冷散热模块包括在每两个数据存储介质之间设有散热片，散热片内部为循环空腔，循环空腔的进出口分别与进水总管和出水总管连通，进水总管和出水总管为两个独立的平行管路，进水总管和出水总管与换热器形成水循环回路。对上述方案作进一步的优选，所述的散热片、进水总管和出水总管均为铝材介质。采用上述技术方案所产生的有益效果在于：（1）本技术在原有大数据处理系统上，增加了数据安全交互单元和数据自检单元，实现对收发的数据进行加密及过滤等操作，可将大数据平台的用户敏感信息进行检测处理，将原软件保护的级别提升到硬件保护级别，大大提升了系统防攻击的能力，从而达到数据处理系统的双重安全保障效果，同时在不改变原有处理组成的前提下，实现系统的安全、稳定、高效、快速运行；（2）本技术中，大数据安全功能处理单元采用多个CPU进行多核处理，根据数据的流量灵活调配，并增加每个CPU数据缓冲及安全保证，避免外部数据直接被读取，影响读取速度，降低存储介质寿命，将数据采集、数据过滤和数据处理集中在一个设备中，大大提高了处理效率，也提高了处理速度，特别适合对数据处理延迟要求高的行业；（3）本技术采用USB控制器实现了处理器与计算机存储的直接通讯，突破了以往数据记录器使用串口上传数据速度慢的限制，大大缩短了传输时间；（4）本技术利用散热片与大数据存储设备间隔设置的方式，采用水冷的方式对多个大数据存储设备同时散热，可以达到更好的散热效果，保证设备长期安全稳定运行；（5）本系统结构设计合理，能够可靠的完成大容量数据的存储、读出及后续处理，并具有后期扩容的潜力。附图说明图1是本技术的系统组成框图；图2是本技术中大数据安全功能处理单元的组成框图；图3是本技术中水冷散热模块的结构组成示意图。具体实施方式下面结合附图和具体实施方式对本技术作进一步详细的说明。本技术具体涉及一种具有安全加密功能的大数据处理系统，该系统采用安全的硬件组成，实现了大量数据的安全、快速处理。本系统的具体组成如附图1所示，具体包括大数据安全功能处理单元、数据安全交互单元、数据自检单元、进程调度单元、预处理单元以及外部接口单元六大部分，其中六个单元利用光缆依次连接，形成大数据处理系统。该系统中对数据安全的防护主要是数据安全交互单元和数据自检单元两部分，其中数据安全交互单元采用硬件集成的设计模式，对处理单元中接收的数据进行加密与存储，其硬件部分具体包括USB控制器、数据存储介质、系统复位控制器、电源控制器和加密卡接口五部分，USB控制器把大数据安全功能处理单元和数据自检单元连接，对传输的接口进行控制，使用USB接口实现了计算机和大数据处理器的直接通讯，突破了以往数据记录器使用串口上传数据速度慢的限制，大大缩短了传输时间；数据存储介质、系统复位控制器和电源控制器经加密卡接口把大数据安全功能处理单元和数据自检单元连接，完成数据的存储与加密，所有接入记录设备的信号都采取隔离措施；采用硬件之间模块化的思路，结构组成易于维护、移植、扩展；系统结构设计合理，能够可靠的完成大容量数据的存储、读出及后续处理，并具有后期扩容的潜力。同时，这种结构简单、装配灵活、维修方便。外部接口单元包括两个以上的万兆的光/电接口、多个千兆的光/电接口和多个40G接口，支持以太网的全制式规程，规避了常规应用中网卡的限制，对接入链路提供最大的灵活性。附图1中的数据自检单元，主要是对来自接收的数据进行检测与校验，包括数据完整性校验模块、加密/解密检测模块、冗余信息过滤模块和传输分配预处理模块；其中完整性校验模块利用快速RAM的存储与读取，根据数据关键字和信息组成，对每组数据块的完整性进行检测，避免出现错误数据；加密/解密检测模块是对该单元由大数据安全功能处理单元获得的加密数据进行解密，并传输至客户，另外对外部接受的数据进行初步加密标识，为后续数据加密处理提供方便；冗余信息过滤模块采用关键检测，避免大量重复数据的进入，以保证处理器的高效、快速、安全的运行；传输分配预处理模块与后续的进程调度单元衔接，实现对数据块的初步标识，方本文档来自技高网...

【技术保护点】
一种具有安全加密功能的大数据处理系统，其特征在于：包括大数据安全功能处理单元、数据安全交互单元、数据自检单元、进程调度单元、预处理单元以及外部接口单元，六个单元依次连接，其中数据安全交互单元对接收的数据进行加密与存储，其具体包括USB控制器、数据存储介质、系统复位控制器、电源控制器和加密卡接口五部分，USB控制器把大数据安全功能处理单元和数据自检单元连接，对传输的接口进行控制，数据存储介质、系统复位控制器和电源控制器经加密卡接口把大数据安全功能处理单元和数据自检单元连接，完成数据的存储与加密；数据自检单元对来自接收的数据进行检测与校验，包括数据完整性校验模块、加密/解密检测模块、冗余信息过滤模块和传输分配预处理模块；预处理单元为多个FPGA芯片串接而成。

【技术特征摘要】
1.一种具有安全加密功能的大数据处理系统，其特征在于：包括大数据安全功能处理单元、数据安全交互单元、数据自检单元、进程调度单元、预处理单元以及外部接口单元，六个单元依次连接，其中数据安全交互单元对接收的数据进行加密与存储，其具体包括USB控制器、数据存储介质、系统复位控制器、电源控制器和加密卡接口五部分，USB控制器把大数据安全功能处理单元和数据自检单元连接，对传输的接口进行控制，数据存储介质、系统复位控制器和电源控制器经加密卡接口把大数据安全功能处理单元和数据自检单元连接，完成数据的存储与加密；数据自检单元对来自接收的数据进行检测与校验，包括数据完整性校验模块、加密/解密检测模块、冗余信息过滤模块和传输分配预处理模块；预处理单元为多个FPGA芯片串接而成。2.根据权利要求1所述的一种具有安全加密功能的大数据处理系统，其特征在于：所述的大数据安全功能处理单元为多个嵌入设置的CPU，每个CPU分别配置独立安全卡，每个CUP经过ROM汇集至集成接口板...

【专利技术属性】
技术研发人员：陶晶，
申请(专利权)人：陶晶，
类型：新型
国别省市：河北,13