一种保护大数据平台数据交换过程数据安全的系统和方法技术方案

本发明专利技术提供一种保护大数据平台数据交换过程数据安全的系统和方法。该系统包括数据源安全控制模块、数据源脱敏模块、共享数据脱敏模块、共享数据安全控制模块、数据安全风险管理模块、数据安全可视化模块。基于当前大数据平台的数据交换过程，通过多因子认证技术、动态数据脱敏技术、数据建模技术、机器学习技术、数据可视化技术解决整个交换过程的数据安全问题，防止非法数据混入平台影响计算结果、防止数据共享过程造成数据泄露。

A system and method to protect data security in data exchange process of big data platform

【技术实现步骤摘要】
一种保护大数据平台数据交换过程数据安全的系统和方法
本专利技术涉及一种保护大数据平台数据交换过程数据安全的系统和方法，基于当前大数据平台的数据交换过程，通过多因子认证技术、动态数据脱敏技术、数据建模技术、机器学习技术、数据可视化技术解决整个交换过程的数据安全问题，防止非法数据混入平台影响计算结果、防止数据共享过程造成数据泄露。缩略语及名词解释：Agent：硬件产品部署在其他业务系统上的软件客户端。
技术介绍
当今是一个数据爆发增长的时代。移动互联网、移动终端和数据传感器的出现，使数据以超出人们想象的速度快速增长。据调查机构估测，数据数量一直在快速增加，这个速度不仅是指数据流的增长，而且还包括全新的数据种类的增多。目前数据容量增长的速度，已经大大超过了硬件技术的发展速度，并正在引发数据存储和处理的危机。据统计，2013年全球产生的数据达到3.5泽字节，到2020年产生的数量将增至44泽字节。各行各业大数据系统的建设都在如火如荼的进行中，那么与此同时，大数据系统的安全问题也日益成为人们关注的焦点，大数据系统中记录了大量的敏感甚至涉密信息，例如：旅业系统中存储了大量个人住宿信息；车驾信息系统中记载着大量的车辆、车辆所有人和驾驶员信息；交通事故信息系统中记录了大量交通事故相关的事故人员、现场照片信息；交通违法信息系统中记录了大量的个人交通违法信息；城市监控系统中存储了大量涉及公众隐私的敏感录像数据。这些信息所涉及社会各个阶层人员，且这些信息中包含大量敏感个人隐私信息，涉及隐私的敏感信息一旦泄漏出去，不但会造成信息主体个人信息曝光，甚至威胁到个人生命财产安全，且相关信息一旦被媒体过分解读，经别有用心者恶意传播，造成社会恐慌甚至国家安全。2017年6月1日，《中华人民共和国网络安全法》正式施行。明确规定“第二十一条国家实行网络安全等级保护制度。网络运营者应当按照网络安全等级保护制度的要求，履行下列安全保护义务”。大数据平台将整合各类数据信息，在此实现数据的分析、处理、开发等全过程，大数据平台需要建设成为活水才能起到应有的作用，所有就必然会存在数据的流动。典型的内外网之间数据交换方式大体可分为：接口型(触发器方式、时间戳方式、查询窗口等)、FTP型、人员拷贝类型等，且各种方式交叉存在于各个模块之间，不同类型的数据交互方式对于数据安全防护手段提出新的要求，因此在数据交互环节，可通过交互方式分类制定数据安全方案。大数据平台数据源可能出现非法数据源混入脏数据，共享出平台的数据不能通过合法途径非法携带敏感数据，造成数据泄密。当前大数据平台数据交换过程存在以下严重数据安全隐患：1、对输入大数据平台的数据源只进行用户名密码等简单认证，未进行严格鉴权控制，从而容易出现非法数据源输入数据到大数据平台；2、对输入大数据平台的数据源数未进行动态脱敏操作，数据源侧敏感信息容易泄露；3、对共享出大数据平台的数据未进行动态脱敏操作，平台侧数据敏感信息容易泄露；4、对共享出大数据平台的接口机未做准出控制，确保出口唯一，平台侧数据可能会通过非法服务器泄露；5、对共享出大数据平台的所有会话只做简单的用户名密码验证，未做严格管控，对内部合法人员(第三方开发维护人员、平台运营者)几乎无法起到防护效果，容易造成数据泄露。
技术实现思路
：本专利技术提出一种保护大数据平台数据交换过程数据安全的系统和方法，基于当前大数据平台的全生命周期处理过程，重点解决数据进入平台和数据共享出平台的数据安全问题。通过多因子认证、动态数据脱敏、网络数据画像等技术确保没有非法数据源流入平台、确保数据共享出平台的数据合理合法。本专利技术主要从两个层面来解决大数据平台数据交换的安全问题：数据源输入平台的数据安全、数据共享出平台的数据安全。1、对输入大数据平台的数据源进行严格鉴权，防止出现非法数据源输入数据到大数据平台；2、对输入大数据平台的数据源数据根据客户要求进行动态脱敏操作，确保数据源侧敏感信息不泄露；3、对共享出大数据平台的数据根据客户要求进行动态脱敏操作，确保平台侧数据敏感信息不泄露；4、对共享出大数据平台的接口机做严格准出控制，确保出口唯一，平台侧数据不会通过非法服务器泄露；5、对共享出大数据平台的所有会话进行建模和机器学习分析，确保每时每刻共享出去的每路会话的数据协议、应用、流量、内容都正常，不会通过合法通道携带非法数据，导致数据泄露。图1为本专利技术所述的一种保护大数据平台数据交换过程数据安全系统示意图，该系统包括数据源安全控制模块、数据源脱敏模块、共享数据脱敏模块、共享数据安全控制模块、数据安全风险管理模块、数据安全可视化模块。本专利技术实施例提供了一台大数据核心安全网关，通过上述核心功能模块实现大数据平台的数据交换过程的数据安全。数据源安全控制模块：内置于大数据核心安全网关中的一个软件模块，首先与各个数据源上部署的agent进行私有协议认证和用户名密码认证，认证通过之后，对该数据源的数据放行，否则对该数据源的数据全部进行阻断，同时将风险信息发送到数据安全风险管理模块进行风险分析，再发送到数据安全可视化模块进行风险通知和风险展示。数据源脱敏模块：内置于大数据核心安全网关中的一个软件模块，数据源传输进来的数据通过认证之后，到达该模块，根据配置好的脱敏策略进行动态脱敏。共享数据安全控制模块：内置于大数据核心安全网关中的一个软件模块，首先与各个待共享数据的共享服务器上部署的agent进行私有协议认证和用户名密码认证，认证通过之后，对该共享服务器的数据放行，否则对该共享服务器的数据全部进行阻断，同时将风险信息发送到数据安全风险管理模块进行风险分析，再发送到数据安全可视化模块进行风险通知和风险展示。同时依照“宽进严出”的原则，共享数据安全控制模块需要对待共享出去的数据进行严格审计和管控，共享数据安全控制模块需要对共享出去的每一路会话进行建模(以应用、协议、流量、关键字、词频作为特征)，持续在线学习其会话中传输的数据模式，并同时实时对每一路会话共享出平台的内容进行判别，发现偏离模型60％以下通知数据安全可视化模块进行告警，偏离模型80％以上直接进行阻断，将风险信息发送到数据安全风险管理模块进行风险分析，再发送到数据安全可视化模块进行风险通知和风险展示，以及通过短信、微信、邮件及时通知指定人员。数据安全风险管理模块：内置于大数据核心安全网关中的一个软件模块，接收据源安全控制模块、数据源脱敏模块、共享数据脱敏模块、共享数据安全控制模块发现的数据安全风险，并进行归类和格式化，同时支持在管理平台进行报告式导出，然后按照规定协议将告警上报给数据安全可视化模块。数据安全可视化模块：内置于大数据核心安全网关中的一个软件模块，接收数据安全风险管理模块上报的风险，并进行可视化展示(支持PC、大屏查看)，同时还可以根据用户配置将高风险事件实时通过短信、微信、邮件发送给指定人员。本专利技术还提供一种保护大数据平台数据交换过程数据安全防护方法，它本文档来自技高网...

【技术保护点】
1.本专利技术提供一种保护大数据平台数据交换过程数据安全的系统和方法，其特征在于该系统部署与大数据平台数据交换网络位置，解决大数据平台数据交换安全问题，包含数据源安全控制模块、数据源脱敏模块、共享数据脱敏模块、共享数据安全控制模块、数据安全风险管理模块、数据安全可视化模块，其中：/nA.数据源安全控制模块，对大数据平台的各个数据源进行安全控制，并将控制的结果转化为风险上报数据安全风险管理模块；/nB.数据源脱敏模块，对大数据平台的各个数据源敏感数据进行脱敏处理；/nC.共享数据安全控制模块，对大数据平台对外共享的通道和内容进行安全控制，并将控制的结果转化为风险上报数据安全风险管理模块；/nD.共享数据脱敏模块，对大数据平台待共享出去的敏感数据进行脱敏处理；/nE.数据安全风险管理模块负责收集A-D的各类安全风险，进行分析、归类、汇总，并上报给数据安全可视化模块；/nF.数据安全可视化模块根据收到的风险信息进行可视化展示以及及时通知指定责任人。/n

【技术特征摘要】
1.本发明提供一种保护大数据平台数据交换过程数据安全的系统和方法，其特征在于该系统部署与大数据平台数据交换网络位置，解决大数据平台数据交换安全问题，包含数据源安全控制模块、数据源脱敏模块、共享数据脱敏模块、共享数据安全控制模块、数据安全风险管理模块、数据安全可视化模块，其中：
A.数据源安全控制模块，对大数据平台的各个数据源进行安全控制，并将控制的结果转化为风险上报数据安全风险管理模块；
B.数据源脱敏模块，对大数据平台的各个数据源敏感数据进行脱敏处理；
C.共享数据安全控制模块，对大数据平台对外共享的通道和内容进行安全控制，并将控制的结果转化为风险上报数据安全风险管理模块；
D.共享数据脱敏模块，对大数据平台待共享出去的敏感数据进行脱敏处理；
E.数据安全风险管理模块负责收集A-D的各类安全风险，进行分析、归类、汇总，并上报给数据安全可视化模块；
F.数据安全可视化模块根据收到的风险信息进行可视化展示以及及时通知指定责任人。


2.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，该系统在网络核心交换机策略路由部署大数据核心安全网关，在数据源服务器部署数据安全agent，在数据共享服务器部署数据安全agent。


3.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，数据源安全控制模块：通过多因子认证确保数据源合法，认证不通过的数据源直接进行阻断。


4.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，共享数据安全控制模块：通过多因子认证确保共享服务器合法，认证不通过的共享数据直接进行阻断。


5.如权利要求1所述的大数据平台数据交换数据安全防护系统，其特征在于，共享数据安全控制模块，通过数据建模技术建立特征工程，特征包括应用、协议、流量、关键字、词频，通过机器学习技术持续构建和夯实该特征工程形成每一个对外共享数据会话...

【专利技术属性】
技术研发人员：张冉冉，王晓波，
申请(专利权)人：慧盾信息安全科技苏州股份有限公司，
类型：发明
国别省市：江苏;32