本发明专利技术公开了一种分布式数据要素集群的标识加密存储方法及系统，涉及数据加密与存储技术领域，包括：将数据集分割为数据片段，生成数据片段集合；将从每种数据类型提取的特征整合为综合特征向量；选择聚类算法，根据选择的聚类算法，执行聚类操作，将数据分割成具有相似特征的簇，每个簇自动构建成数据片段；为每个数据片段分配标识符，生成标识符集合；形成校验值集合；生成加密后的数据片段集合和相应的加密密钥集合；将加密后的数据片段分布式存储。本发明专利技术提供的分布式数据要素集群的标识加密存储方法通过数据片段处理和加密策略，优化了数据的存储和检索过程。通过分析数据片段的敏感性和通信频率。
【技术实现步骤摘要】
本专利技术涉及数据加密与存储，具体为一种分布式数据要素集群的标识加密存储方法及系统。
技术介绍
1、随着进入信息时代，由于数据量的急剧增加和分布式存储需求的增长，传统的数据存储与管理方法面临多方面的挑战。
2、在云计算和大数据环境下，如何确保数据的安全性、完整性以及高效的数据检索成为关键技术难题。传统方法通常依赖于中心化的数据管理系统，这不仅增加了数据通信的负担，也提高了数据泄露的风险。此外，这些系统往往缺乏灵活性，在处理高动态变化的数据访问模式和复杂的网络环境时，难以保持高效的数据处理和检索速度。
3、在分布式系统中，数据管理是核心问题之一，在云存储和大数据环境下，如何有效地分割、加密和存储数据片段，同时保证数据的安全性和快速访问性，成为行业关注的焦点。传统的数据处理方法通常依赖于简单的加密和固定的存储方案，这往往无法满足日益增长的数据安全需求和处理效率。
4、因此需要一种分布式数据要素集群的标识加密存储方法在面对大规模数据处理时，有效地平衡安全性、存储成本和访问效率。
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、因此，本专利技术解决的技术问题是：现有的数据存储方法存在安全性不足以及存储和检索效率低下的问题，特别是在处理大规模分布式数据时，如何优化数据的加密、存储与检索过程，以提高安全性和效率。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种分布式数据要素集群的标识加密存储方法，包括：
4、将数据集分割为数据片段，生成数据片段集合；
5、所述生成数据片段集合包括识别数据集中的数据类型进行特征提取；所述数据类型包括文本数据、数值数据、时间序列数据和图像数据；
6、将从每种数据类型提取的特征整合为综合特征向量；
7、使用主成分分析评估特征向量的主要组成，量化主成分分析结果，选择聚类算法，根据选择的聚类算法，执行聚类操作，将数据分割成具有相似特征的簇，每个簇自动构建成数据片段；
8、为每个数据片段分配标识符，生成标识符集合；
9、使用哈希算法对每个数据片段生成校验值，形成校验值集合；
10、对每个数据片段进行加密，生成加密后的数据片段集合和相应的加密密钥集合；
11、将加密后的数据片段分布式存储；
12、当接收数据片段的标识符进行数据检索请求时，根据标识符查找对应的加密数据片段，获取对应的加密密钥，解密数据片段，并对比解密后数据的哈希值与存储前生成的校验值，返回原始数据。
13、作为本专利技术所述的分布式数据要素集群的标识加密存储方法的一种优选方案，其中：所述进行特征提取包括识别文本数据的识别语言复杂度、文本长度、关键话题或情感倾向，使用nlp技术提取语义特征和情感分析结果；
14、识别数值数据的统计分布范围、标准偏差、峰态和偏态，计算统计描述符，所述统计描述符包括均值、中位数、方差；
15、识别时间序列数据的周期性、趋势性、季节性变化，提取傅里叶变换特征；
16、识别图像数据的分辨率、颜色深度、内容特征，使用卷积神经网络提取颜色直方图；
17、所述选择聚类算法包括对综合特征向量进行标准化处理，基于标准化后的特征，计算特征间的协方差矩阵，通过协方差矩阵，使用特征值分解识别最大化捕捉数据中变异的主成分。
18、作为本专利技术所述的分布式数据要素集群的标识加密存储方法的一种优选方案，其中：所述标准化处理表示为，
19、
20、其中，zi表示标准化后的第i个特征，xi表示原始数据中的第i个特征值，μi表示第i个特征的均值，σi表示第i个特征的标准差，βi表示基于特征i的变异系数动态计算得到的调整系数；
21、所述协方差矩阵表示为，
22、
23、其中，c表示加权协方差矩阵，w表示对角权重矩阵，zk表示第k个样本的标准化特征向量，n表示样本数量，t表示转置操作符；
24、所述特征值分解是在加权协方差矩阵c后，使用qr算法进行特征值分解。
25、作为本专利技术所述的分布式数据要素集群的标识加密存储方法的一种优选方案，其中：所述最大化捕捉数据中变异的主成分包括若前三个主成分解释了超过75％的总变异，且成分由数值特征主导，选择k-means算法进行聚类；
26、若数值特征不主导或前三个主成分未能解释超过75％的数据变异，分析数据特征间的关系，利用散点图矩阵和相关系数矩阵评估数据特征间的线性和非线性关系，以及特征的整体分布复杂度；
27、若数据特征之间存在的非线性关系的度量指标超过了预设的阈值，且在特征空间中的均匀分布程度超过设定的一致性标准阈值，采用谱聚类算法；
28、若点密集程度高于整体数据点的平均密度的两倍标准偏差，且数据中的噪声点数量占总数据点数的比例超过5％，选择dbscan算法；
29、若数据特征关系分析未显示显著的非线性关系或密度不均，且噪声点数量未达到采用dbscan算法的标准，采用层次聚类算法。
30、作为本专利技术所述的分布式数据要素集群的标识加密存储方法的一种优选方案，其中：所述生成标识符集合包括对每个数据片段进行属性分析，评估在网络环境中的敏感性级别和数据通信的预期频率；
31、根据分析结果，生成包含数据片段网络位置和安全级别信息的标识符；
32、将标识符与对应的数据片段绑定，以优化数据在网络中的路由、存储和安全处理。
33、作为本专利技术所述的分布式数据要素集群的标识加密存储方法的一种优选方案，其中：所述对每个数据片段进行加密包括分析每个数据片段的标识符，根据标识符提供的敏感性级别选择加密算法；应用所选的加密算法对数据片段进行加密，每个数据片段独立加密；
34、为每个加密的数据片段生成一个独立的加密密钥，将每个加密密钥与对应的加密数据片段绑定，将所有加密后的数据片段及其对应的加密密钥整合，形成加密后的数据片段集合。
35、作为本专利技术所述的分布式数据要素集群的标识加密存储方法的一种优选方案，其中：所述将加密后的数据片段分布式存储包括对每个加密后的数据片段进行属性分析，通过分析数据片段中的数据点数量来确定数据体积，并根据与数据片段关联的标识符中所包含的敏感性级别来设定存储策略；
36、对体积超过预定阈值的数据片段，进行进一步的分片处理以适应分布式存储的需求；
37、基于数据片段的位置信息和数据通信的预期频率，为每个数据片段选择存储节点。
38、本专利技术的另外一个目的是提供一种分布式数据要素集群的标识加密存储系统，其能通过构建分布式数据要素集群的标识加密存储系统，解决了传统数据存储方法中的安全性不足和效率低下问题。确保数据在传输和存储过程中的安全，同时优化数据的检索速度和存储效率。
39、为解决上述技术问题，本专利技术提供如下技术方案：一种本文档来自技高网
...
【技术保护点】
1.一种分布式数据要素集群的标识加密存储方法，其特征在于，包括：
2.如权利要求1所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述进行特征提取包括识别文本数据的识别语言复杂度、文本长度、关键话题或情感倾向，使用NLP技术提取语义特征和情感分析结果；
3.如权利要求2所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述标准化处理表示为，
4.如权利要求3所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述最大化捕捉数据中变异的主成分包括若前三个主成分解释了超过75％的总变异，且成分由数值特征主导，选择K-means算法进行聚类；
5.如权利要求4所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述生成标识符集合包括对每个数据片段进行属性分析，评估在网络环境中的敏感性级别和数据通信的预期频率；
6.如权利要求5所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述对每个数据片段进行加密包括分析每个数据片段的标识符，根据标识符提供的敏感性级别选择加密算法；应用所选的加密算法对数据片段进行加密，每个数据片段独立加密；
7.如权利要求6所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述将加密后的数据片段分布式存储包括对每个加密后的数据片段进行属性分析，通过分析数据片段中的数据点数量来确定数据体积，并根据与数据片段关联的标识符中所包含的敏感性级别来设定存储策略；
8.一种采用如权利要求1～7任一所述的分布式数据要素集群的标识加密存储方法的系统，其特征在于，包括：数据分割模块、数据标识模块、数据校验模块、数据加密模块、数据存储模块以及数据解密模块；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的分布式数据要素集群的标识加密存储方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的分布式数据要素集群的标识加密存储方法的步骤。
...
【技术特征摘要】
1.一种分布式数据要素集群的标识加密存储方法，其特征在于，包括：
2.如权利要求1所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述进行特征提取包括识别文本数据的识别语言复杂度、文本长度、关键话题或情感倾向，使用nlp技术提取语义特征和情感分析结果；
3.如权利要求2所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述标准化处理表示为，
4.如权利要求3所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述最大化捕捉数据中变异的主成分包括若前三个主成分解释了超过75％的总变异，且成分由数值特征主导，选择k-means算法进行聚类；
5.如权利要求4所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述生成标识符集合包括对每个数据片段进行属性分析，评估在网络环境中的敏感性级别和数据通信的预期频率；
6.如权利要求5所述的分布式数据要素集群的标识加密存储方法，其特征在于：所述对每个数据片段进行加密包括分析每个数据片段的标识符，根据标识符提供...
【专利技术属性】
技术研发人员：刘兴梦，刘永生，赵云丽，
申请(专利权)人：贯文信息技术苏州有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。