一种大数据量的安全存储方法及装置制造方法及图纸

本发明专利技术提供的一种大数据量的安全存储方法及装置，其方法包括：获取建立数据共享关系的每一个数据源的敏感数据集；对于每一个数据源的敏感数据集进行交叉计算，得到每一个数据源和其他数据源的数据重复情况，根据所有数据源的数据重复情况建立数据存储模型，将数据存储模型作为目标函数且以所有数据源的数据存储最小值作为优化目标，将目标函数的最优解作为数据存储策略；根据数据存储策略对非重复数据子集分别进行加密存储，对于重复数据子集仅加密存储一份，通过数据共享实现敏感数据在不同数据源的数据传输，以完成敏感数据集的安全存储

【技术实现步骤摘要】
一种大数据量的安全存储方法及装置


[0001]本专利技术涉及数据存储
，特别涉及一种大数据量的安全存储方法及装置
。

技术介绍

[0002]随着大数据时代的到来，数据的重要性越来越明显，但也带来了以下的问题：用户担忧自身的隐私数据在网络上被随意地窃取盗用，因此，对于用户的敏感数据进行安全存储是至关重要的，比如专利申请号
CN202010478176.3
的一种基于大数据的档案数据存储系统，对档案数据进行加密存储，并进行一主两备合计三份数据的存储，后续在数据读写的时候可以相互验证，以防止数据被破坏或者被篡改
。
[0003]然而，敏感数据的安全存储在硬件方面
、
软件方面等各方面的性能要求都比普通数据的常规存储来说要高，因此，随着敏感数据越来越多，企业对于敏感数据的安全存储压力也越来越大，如何减轻敏感数据的安全存储所带来的性能压力，成为当下一个急需解决的问题
。

技术实现思路

[0004]为了解决现有技术的上述问题，本专利技术提供一种大数据量的安全存储方法及装置，能够在大数据量的情况下，减轻敏感数据的安全存储压力
。
[0005]为了达到上述目的，本专利技术采用的技术方案为：
[0006]第一方面，本专利技术提供一种大数据量的安全存储方法，包括步骤：
[0007]获取建立数据共享关系的每一个数据源的敏感数据集；
[0008]对于每一个数据源的敏感数据集进行交叉计算，得到每一个数据源和其他数据源的数据重复情况，根据所有数据源的数据重复情况建立数据存储模型，将所述数据存储模型作为目标函数且以所有数据源的数据存储最小值作为优化目标，将所述目标函数的最优解作为数据存储策略；
[0009]根据所述数据存储策略对每一个数据源的敏感数据集进行拆分，得到每一个数据源的敏感数据子集，其中，所述敏感数据子集包括重复数据子集和非重复数据子集；
[0010]对于所述重复数据子集，仅在其中一个数据源中加密存储所述重复数据子集，得到所述重复数据子集的第一存储位置和唯一数据标识，并在其余数据源的数据库中删除所述重复数据子集，将所述重复数据子集的第一存储位置
、
所述唯一数据标识以及对应数据源的唯一来源标识进行上链存储，并将所述第一存储位置发送至被删除的数据源；
[0011]对于所述非重复数据子集，每一个数据源分别进行加密存储，以完成所述敏感数据集的安全存储
。
[0012]本专利技术的有益效果在于：对于建立数据共享关系的每一个数据源的敏感数据进行重复数据的判断，并建立数据存储模型来作为目标函数，从而得到数据存储最小值的最优解作为数据存储策略，之后根据数据存储策略使得重复数据仅在其中一个数据源中进行加密存储，而在其他数据源中通过数据共享来获取，从而能够在大数据量的情况下，减轻敏感
数据的安全存储压力
。
[0013]可选地，所述根据所有数据源的数据重复情况建立数据存储模型包括步骤：
[0014]根据所有数据源的数据重复情况，将所有数据源的重复数据按照仅计算一份且不重复计算的原则来计算所有数据源的数据存储量，得到数据存储模型
。
[0015]可选地，所述对于所述重复数据子集，仅在其中一个数据源中加密存储所述重复数据子集包括步骤：
[0016]对于所述重复数据子集，按照对应数据源的使用频率和加密等级选取其中一个数据源，以加密存储所述重复数据子集
。
[0017]可选地，还包括步骤：
[0018]对于第一数据源来说，当接收到第一数据请求时，判断所述第一数据请求所请求的第一敏感数据是否在自身的数据库里，若没有，则根据其上存储的所述第一存储位置将所述第一敏感数据的请求信息
、
所述唯一数据标识和自身的唯一来源标识打包成第二数据请求发送至第二数据源，以使得所述第二数据源根据所述唯一来源标识和所述唯一数据标识来确认所述第二数据请求的合法性，并在确认合法之后返回所述第一敏感信息至所述第一数据源
。
[0019]可选地，还包括步骤：
[0020]当第一数据源将第二数据请求发送至所述第二数据源以及当所述第二数据源返回所述第一敏感信息至所述第一数据源时，将对所述第一敏感数据的操作数据上链到所述第一敏感数据所在的区块子链
。
[0021]根据上述描述可知，通过唯一数据标识和唯一来源标识来进行数据获取，并通过区块链存证来保证数据读取的安全性
。
[0022]可选地，所述操作数据达到预设条件之后再打包上链到所述第一敏感数据所在的区块子链
。
[0023]可选地，所述数据存储模型还包括数量约束条件和数据量约束条件，所述数量约束条件为每一个数据源仅允许重复的最多数据源数量，所述数据量约束条件为每一个数据源仅允许重复的最小数据量
。
[0024]根据上述描述可知，通过数量约束条件和数据量约束条件保证数据分散性存储的合理性
。
[0025]可选地，所述最多数据源数量为
[2,5]。
[0026]可选地，所述最小数据量为
10M
以上
。
[0027]第二方面，本专利技术提供一种大数据量的安全存储装置，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所提供的一种大数据量的安全存储方法
。
[0028]其中，第二方面所提供的一种大数据量的安全存储装置所对应的技术效果参照第一方面所提供的一种大数据量的安全存储方法的相关描述
。
附图说明
[0029]图1为本专利技术实施例的一种大数据量的安全存储方法的主要流程示意图；
[0030]图2为本专利技术实施例的一种大数据量的安全存储装置的结构示意图
。
[0031]【
附图标记说明
】
[0032]1：一种大数据量的安全存储装置；
[0033]2：处理器；
[0034]3：存储器
。
具体实施方式
[0035]为了更好的理解上述技术方案，下面将参照附图更详细地描述本专利技术的示例性实施例
。
虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制
。
相反，提供这些实施例是为了能够更清楚
、
透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员
。
[0036]实施例一
[0037]对于政务平台来说，不同的政务部门之间开发出不同的政务平台，在每一个政务平台上产生的数据存储在不同的数据库之间，而现有一定行政区域内要求所有的政务平台之间的数据互通，比如省内数据共享平台
。
其中，敏感数据通常是用户的隐私数据，其在不同的政务平台重复比例很多，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种大数据量的安全存储方法，其特征在于，包括步骤：获取建立数据共享关系的每一个数据源的敏感数据集；对于每一个数据源的敏感数据集进行交叉计算，得到每一个数据源和其他数据源的数据重复情况，根据所有数据源的数据重复情况建立数据存储模型，将所述数据存储模型作为目标函数且以所有数据源的数据存储最小值作为优化目标，将所述目标函数的最优解作为数据存储策略；根据所述数据存储策略对每一个数据源的敏感数据集进行拆分，得到每一个数据源的敏感数据子集，其中，所述敏感数据子集包括重复数据子集和非重复数据子集；对于所述重复数据子集，仅在其中一个数据源中加密存储所述重复数据子集，得到所述重复数据子集的第一存储位置和唯一数据标识，并在其余数据源的数据库中删除所述重复数据子集，将所述重复数据子集的第一存储位置
、
所述唯一数据标识以及对应数据源的唯一来源标识进行上链存储，并将所述第一存储位置发送至被删除的数据源；对于所述非重复数据子集，每一个数据源分别进行加密存储，以完成所述敏感数据集的安全存储
。2.
根据权利要求1所述的一种大数据量的安全存储方法，其特征在于，所述根据所有数据源的数据重复情况建立数据存储模型包括步骤：根据所有数据源的数据重复情况，将所有数据源的重复数据按照仅计算一份且不重复计算的原则来计算所有数据源的数据存储量，得到数据存储模型
。3.
根据权利要求1所述的一种大数据量的安全存储方法，其特征在于，所述对于所述重复数据子集，仅在其中一个数据源中加密存储所述重复数据子集包括步骤：对于所述重复数据子集，按照对应数据源的使用频率和加密等级选取其中一个数据源，以加密存储所述重复数据子集
。4.
根据权利要求1所述的一种大数据量的安全存储方法，其特征在于，还包括步骤：对于第一数据源来说，当接收到第一数据请求时，判断...

【专利技术属性】
技术研发人员：张美跃，陈伏前，周业，
申请(专利权)人：恒瑞通福建信息技术有限公司，
类型：发明
国别省市：