大数据的传输、关联性存储以及数据安全保障系统技术方案

本发明专利技术涉及一种大数据的传输、关联性存储以及数据安全保障系统，其特征在于，所述系统运行于大数据中心，包括：数据汇聚模块；数据备份模块；定时任务模块；数据清洗模块；数据脱敏模块；数据抽取模块；数据关联模块；数据存储模块；数据生产模块。本发明专利技术解决了现有的大数据存储系统对海量数据分散存储影响数据分析效率以及安全性的问题。

Transmission of large data, associated storage and data security system

The invention relates to a large data transmission, correlation storage and data security system, which is characterized in that the system runs in a large data center, including: data aggregation module; data backup module; timing task module; data cleaning module; data desensitization module; data extraction module; data association module Block, data storage module, data production module. The invention solves the problem that the existing large data storage system impacts the data analysis efficiency and security of the mass data decentralized storage.

【技术实现步骤摘要】
大数据的传输、关联性存储以及数据安全保障系统
本专利技术涉及一种大数据的传输、关联性存储以及数据安全保障系统，属于大数据处理方法

技术介绍
近年来，随着计算机和云计算技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业大数据已远远超出现有的计算技术和信息系统处理能力，因此，寻求有效的大数据处理技术、方法和手段已成为现实世界的迫切需求。大数据赋予了人们洞察未来的能力，但同时诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这也留下了信息安全隐患。更多的隐私、安全性问题：人们的隐私被二次利用了。多少密码和账号是因为“社交网络”流出去的？眼下互联网热门的话题之一就是互联网实名制问题，如果人们如果明着亮出自己的身份，互联网才能对人们的隐私给予更好保护。
技术实现思路
本专利技术的目的是提供一种给与人们隐私更好保护的大数据处理、存储方法。为了达到上述目的，本专利技术的技术方案是提供了一种大数据的传输、关联性存储以及数据安全保障系统，其特征在于，所述系统运行于大数据中心，包括：数据汇聚模块，用于从多个不同数据源收集原始数据；数据备份模块，用于定时或由用户触发将大数据中心的原始数据备份至备份数据中心；定时任务模块，用于定时启动数据清洗模块、数据脱敏模块、数据抽取模块、数据关联模块及数据存储模块；数据清洗模块，由定时任务模块触发，用于对大数据中心的原始数据进行清洗，剔除异常数据；数据脱敏模块，由定时任务模块触发，用于对数据清洗模块清洗后的原始数据进行脱敏处理；数据抽取模块，由定时任务模块触发，用于根据用户需求从数据脱敏模块处理后的数据中抽取数据，或者按照预先设定的规则对数据脱敏模块处理后的数据进行转换；数据关联模块，由定时任务模块触发，用于对数据抽取模块处理后的数据进行关联，形成关联数据表；数据存储模块，由定时任务模块触发，用于存储关联数据表；数据生产模块，用于对数据抽取模块处理后的数据进行分析挖掘，该区域为独立区域。优选地，所述数据备份模块采用全量备份方式或增量备份方式将所述原始数据备份至所述备份数据中心。优选地，在所述定时任务模块中，用户为根据不同的需求设定的不同任务设定不同的定时时间。优选地，所述数据清洗模块进行原始数据清洗时，先统一原始数据的格式，再剔除无效信息、异常值及重复数据。优选地，所述数据脱敏模块对数据中的个人敏感信息词进行脱敏处理。本专利技术提供的一种大数据的传输、关联性存储以及数据安全保障的系统，解决了现有的大数据存储系统对海量数据分散存储影响数据分析效率以及安全性的问题。附图说明图1为本专利技术提供的一种系统的实现方法流程图。具体实施方式下文与图示本专利技术原理的附图一起提供对本专利技术流程的详细描述。结合这样的实施例描述本专利技术，但是专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本专利技术。本专利技术提供的一种大数据的传输、关联性存储以及数据安全保障系统运行于大数据中心，包括：数据汇聚模块，用于从多个不同数据源收集原始数据。数据备份模块，用于定时或由用户触发将大数据中心的原始数据备份至备份数据中心；数据备份模块采用全量备份方式或增量备份方式将所述原始数据备份至所述备份数据中心；在定时任务模块中，用户为根据不同的需求设定的不同任务设定不同的定时时间。定时任务模块，用于定时启动数据清洗模块、数据脱敏模块、数据抽取模块、数据关联模块及数据存储模块。数据清洗模块，由定时任务模块触发，用于对大数据中心的原始数据进行清洗，剔除异常数据。数据清洗模块进行原始数据清洗时，先统一原始数据的格式，再剔除无效信息、异常值及重复数据。数据脱敏模块，由定时任务模块触发，用于对数据清洗模块清洗后的原始数据进行脱敏处理。数据脱敏模块对数据中的个人敏感信息词(例如身份证、电话号码、账户密码等)进行脱敏处理。数据抽取模块，由定时任务模块触发，用于根据用户需求从数据脱敏模块处理后的数据中抽取数据，或者按照预先设定的规则对数据脱敏模块处理后的数据进行转换。数据关联模块，由定时任务模块触发，用于对数据抽取模块处理后的数据进行关联，形成关联数据表。数据存储模块，由定时任务模块触发，用于存储关联数据表。数据生产模块，用于对数据抽取模块处理后的数据进行分析挖掘，该区域为独立区域。基于上述系统的大数据的传输、关联性存储以及数据安全保障的方法，包括以下步骤：步骤1、通过数据传输工作，将不同来源的数据传输同步至大数据中心；步骤2、定时备份数据，保障数据的安全；步骤3、将大数据中心数据进行数据清洗；步骤4、将大数据中心的数据进行脱敏处理；步骤5、脱敏后的数据根据相关需求、表进行抽取处理；步骤6、根据需求，将不同来源数据进行关联；步骤7、将关联后的结果数据进行存储，形成生产库；步骤8、对生产库数据进行挖掘与分析。本文档来自技高网...

【技术保护点】
1.一种大数据的传输、关联性存储以及数据安全保障系统，其特征在于，所述系统运行于大数据中心，包括：数据汇聚模块，用于从多个不同数据源收集原始数据；数据备份模块，用于定时或由用户触发将大数据中心的原始数据备份至备份数据中心；定时任务模块，用于定时启动数据清洗模块、数据脱敏模块、数据抽取模块、数据关联模块及数据存储模块；数据清洗模块，由定时任务模块触发，用于对大数据中心的原始数据进行清洗，剔除异常数据；数据脱敏模块，由定时任务模块触发，用于对数据清洗模块清洗后的原始数据进行脱敏处理；数据抽取模块，由定时任务模块触发，用于根据用户需求从数据脱敏模块处理后的数据中抽取数据，或者按照预先设定的规则对数据脱敏模块处理后的数据进行转换；数据关联模块，由定时任务模块触发，用于对数据抽取模块处理后的数据进行关联，形成关联数据表；数据存储模块，由定时任务模块触发，用于存储关联数据表；数据生产模块，用于对数据抽取模块处理后的数据进行分析挖掘，该区域为独立区域。

【技术特征摘要】
1.一种大数据的传输、关联性存储以及数据安全保障系统，其特征在于，所述系统运行于大数据中心，包括：数据汇聚模块，用于从多个不同数据源收集原始数据；数据备份模块，用于定时或由用户触发将大数据中心的原始数据备份至备份数据中心；定时任务模块，用于定时启动数据清洗模块、数据脱敏模块、数据抽取模块、数据关联模块及数据存储模块；数据清洗模块，由定时任务模块触发，用于对大数据中心的原始数据进行清洗，剔除异常数据；数据脱敏模块，由定时任务模块触发，用于对数据清洗模块清洗后的原始数据进行脱敏处理；数据抽取模块，由定时任务模块触发，用于根据用户需求从数据脱敏模块处理后的数据中抽取数据，或者按照预先设定的规则对数据脱敏模块处理后的数据进行转换；数据关联模块，由定时任务模块触发，用于对数据抽取模块处理后的数据进行关联，形成关联数据表；数据存储模块，由定时任务模...

【专利技术属性】
技术研发人员：顾蓉，童庆，赵晓静，王伟娜，杨丹，陈诚，
申请(专利权)人：万达信息股份有限公司，
类型：发明
国别省市：上海,31