System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种用于数据存储的大数据管理优化方法及系统技术方案_技高网

一种用于数据存储的大数据管理优化方法及系统技术方案

技术编号:42817147 阅读:2 留言:0更新日期:2024-09-24 20:56
本发明专利技术公开了一种用于数据存储的大数据管理优化方法及系统,方法包括数据系统构建、用户信息验证、输入数据识别、数据加密存储和大数据管理优化。本发明专利技术涉及大数据存储管理技术领域,具体是指一种用于数据存储的大数据管理优化方法及系统,本发明专利技术采用双路径紧缩双向长短期神经网络进行输入数据识别,节省了数据存储过程中的算力资源;将数据分类为五种加密优先级,提升了识别分类的深度和维度;通过建构双路径的紧缩双向长短期神经网络,从模型训练阶段分化了数据识别的具体对象,并采用元启发式优化算法优化模型参数,提高了模型的整体性能;采用采用对称密钥分组密码加密算法进行数据存储加密,提高了数据加密的安全性。

【技术实现步骤摘要】

本专利技术涉及大数据存储管理,具体是指一种用于数据存储的大数据管理优化方法及系统


技术介绍

1、一种用于数据存储的大数据管理优化方法是指针对大规模数据存储、处理和查询等方面的挑战,通过采用一系列技术手段和策略来提高数据管理的效率、可靠性和可扩展性的方法。其主要目的是优化大数据处理过程中的性能、资源利用率和成本效益,可以帮助组织更有效地管理大规模数据,提高数据处理和分析的效率,从而为企业和组织提供更好的决策支持和业务价值。

2、但是,在已有的大数据管理优化方法中,存在着现有的大数据存储管理优化方法往往采取传统的统一加密方案进行安全性保护,但这种方法容易产生不必要的公开信息加密进而导致算力资源和云空间资源的浪费,进而导致面向数据存储的大数据管理方法有待提升精确程度的技术问题;在已有的大数据管理优化方法中,存在着现有的针对数据存储的大数据输入识别方法常进行简单的二分类,分类的维度不够多样导致了识别分类的准确性和可靠性降低,进而导致了人工智能方法进行数据识别的人工可用性和管理参考性下降的技术问题;在已有的大数据管理优化方法中,存在着传统的结合紧缩卷积网络和双向长短期记忆模型的方法模型复杂度较高,而数据存储管理中存在着多种发杂维度、类型和结构的数据,因为简单的模型构建无法满足大数据管理的需要,且模型性能有待提高的技术问题;在已有的大数据管理优化方法中,存在着针对隐私数据保护的数据存储,在单独采用异或加密时容易受到频谱分析攻击,安全性较低,而单独使用取模加密法也容易受到频率分析攻击,使用简单的加密算法不能满足数据存储的需要的技术问题。


技术实现思路

1、针对上述情况,为克服现有技术的缺陷,本专利技术提供了一种用于数据存储的大数据管理优化方法及系统,针对在已有的大数据管理优化方法中,存在着现有的大数据存储管理优化方法往往采取传统的统一加密方案进行安全性保护,但这种方法容易产生不必要的公开信息加密进而导致算力资源和云空间资源的浪费,进而导致面向数据存储的大数据管理方法有待提升精确程度的技术问题,本方案创造性地采用双路径紧缩双向长短期神经网络进行输入数据识别,区分了哪些数据更具加密的优先级,从而节省了数据存储过程中的算力资源,提升了数据存储管理的效率和精度;针对在已有的大数据管理优化方法中,存在着现有的针对数据存储的大数据输入识别方法常进行简单的二分类,分类的维度不够多样导致了识别分类的准确性和可靠性降低,进而导致了人工智能方法进行数据识别的人工可用性和管理参考性下降的技术问题,本方案创造性地采用神经网络方法将数据分类为五种加密优先级,提升了识别分类的深度和维度,提高了识别结果的可解读性和方法整体的可用性;针对在已有的大数据管理优化方法中,存在着传统的结合紧缩卷积网络和双向长短期记忆模型的方法模型复杂度较高,而数据存储管理中存在着多种发杂维度、类型和结构的数据,因为简单的模型构建无法满足大数据管理的需要,且模型性能有待提高的技术问题,本方案创造性地采用结合元启发式优化算法的双路径紧缩双向长短期神经网络,通过建构双路径的紧缩双向长短期神经网络,从模型训练阶段分化了数据识别的具体对象,并采用元启发式优化算法优化模型参数,提高了模型的整体性能,并整体提高了数据存储管理的整体优化效果;针对在已有的大数据管理优化方法中,存在着针对隐私数据保护的数据存储,在单独采用异或加密时容易受到频谱分析攻击,安全性较低,而单独使用取模加密法也容易受到频率分析攻击,使用简单的加密算法不能满足数据存储的需要的技术问题,本方案创造性地采用对称密钥分组密码加密算法,结合异或加密、取模加法加密和左按位循环加密方法进行数据存储加密,提高了数据加密的安全性,并通过预先的数据分类解决加密算法复杂度较高带来的资源消耗,优化了大数据存储管理的整体流程。

2、本专利技术采取的技术方案如下:本专利技术提供的一种用于数据存储的大数据管理优化方法,该方法包括以下步骤:

3、步骤s1:数据系统构建;

4、步骤s2:用户信息验证;

5、步骤s3:输入数据识别;

6、步骤s4:数据加密存储;

7、步骤s5:大数据管理优化。

8、进一步地,在步骤s1中,所述数据系统构建,用于构建进行大数据管理优化的基本数据存储系统,具体为通过构建面向云环境数据存储的大数据管理系统,得到数据管理基本子系统;

9、所述数据管理基本子系统,用于进行数据存储和大数据管理优化,具体包括用户注册和认证单元、存储数据识别单元和数据加密单元。

10、进一步地,在步骤s2中,所述用户信息验证,用于验证登录系统的用户基本信息并激活数据识别和数据加密存储功能,具体为通过构建用户注册和认证单元,进行用户信息验证,得到用户信息验证反馈信息和待存储数据。

11、进一步地,在步骤s3中,所述输入数据识别,用于通过人工智能方法识别并判断用户数据的数据是否包含需要加密的敏感数据,具体为依据所述待存储数据,采用结合元启发式优化算法的双路径紧缩双向长短期神经网络,进行输入数据识别,得到数据识别数据信息,所述数据识别数据信息,具体包括需加密敏感数据和无需加密通常数据;

12、所述结合元启发式优化算法的双路径紧缩双向长短期神经网络,具体包括紧缩卷积子块、双向长短期子块、致密子块、注意力子块、分类器子块和元启发式超参数优化算子;

13、所述紧缩卷积子块,用于构建紧缩卷积神经网络作为编码器并提取特征;

14、所述双向长短期子块,用于构建双向长短期记忆网络作为解码器并优化模型对于时序数据的处理能力;

15、所述致密子块,用于整合双路径网络子块的输出并用于最终的分类预测;

16、所述注意力子块,用于引入注意力机制优化模型的特征提取能力;

17、所述分类器子块,用于进行数据类型分类并进行输入数据识别;

18、所述元启发式超参数优化算法,用于优化紧缩卷积子块的模型超参数;

19、所述采用结合元启发式优化算法的双路径紧缩双向长短期神经网络,进行输入数据识别,得到数据识别数据信息的步骤,包括:

20、步骤s31:训练数据收集与预处理,具体为从公开数据集中,收集用于输入数据识别的统计训练样例数据,并对所述统计训练数据进行数据预处理操作,得到优化训练样例数据;

21、所述统计训练样例数据,具体包括指信息敏感度分级数据;

22、所述信息敏感度分级数据,具体包括零级敏感数据、第一级敏感数据、第二级敏感数据、第三级敏感数据和第四级敏感数据;

23、步骤s32:构建双路径紧缩双向长短期子网,包括构建紧缩卷积子块和构建双向长短期子块,具体包括以下步骤:

24、步骤s321:构建紧缩卷积子块,具体为构建包括火焰模块、非线性激活函数、卷积模块和最大池化模块的紧缩卷积子块;

25、所述紧缩卷积子块的具体构建步骤,包括:

26、步骤s3211:构建第一卷积模块,用于处理并提取输入数据样本本文档来自技高网...

【技术保护点】

1.一种用于数据存储的大数据管理优化方法,其特征在于:该方法包括以下步骤:

2.根据权利要求1所述的一种用于数据存储的大数据管理优化方法,其特征在于:在步骤S3中,所述结合元启发式优化算法的双路径紧缩双向长短期神经网络,具体包括紧缩卷积子块、双向长短期子块、致密子块、注意力子块、分类器子块和元启发式超参数优化算子;

3.根据权利要求2所述的一种用于数据存储的大数据管理优化方法,其特征在于:所述采用结合元启发式优化算法的双路径紧缩双向长短期神经网络,进行输入数据识别,得到数据识别数据信息的步骤,包括:

4.根据权利要求3所述的一种用于数据存储的大数据管理优化方法,其特征在于:在步骤S32中,所述构建双路径紧缩双向长短期子网,包括构建紧缩卷积子块和构建双向长短期子块,具体包括以下步骤:

5.根据权利要求4所述的一种用于数据存储的大数据管理优化方法,其特征在于:在步骤S37中,所述构建元启发式超参数优化算法,具体指通过老鼠群体优化算法进行超参数更新,包括以下步骤:

6.根据权利要求5所述的一种用于数据存储的大数据管理优化方法,其特征在于:,在步骤S4中,所述存储反馈信息,具体包括加密存储反馈和未加密存储反馈;

7.根据权利要求6所述的一种用于数据存储的大数据管理优化方法,其特征在于:在步骤S5中,所述大数据管理优化,用于通过数据识别和加密存储进行数据存储的大数据管理优化,具体为通过得到所述用户信息验证反馈信息,结合所述数据识别数据信息中的识别摘要,依据所述存储反馈信息,进行大数据管理优化,得到数据存储管理反馈信息。

8.一种用于数据存储的大数据管理优化系统,用于实现如权利要求1-7中任一项所述的一种用于数据存储的大数据管理优化方法,其特征在于:包括数据系统构建模块、用户信息验证模块、输入数据识别模块、数据加密存储模块和大数据管理优化模块。

9.根据权利要求8所述的一种用于数据存储的大数据管理优化系统,其特征在于:所述数据系统构建模块,用于数据系统构建,通过数据系统构建,得到数据管理基本子系统,并将所述数据管理基本子系统用于用户信息验证、输入数据识别和数据加密存储;

...

【技术特征摘要】

1.一种用于数据存储的大数据管理优化方法,其特征在于:该方法包括以下步骤:

2.根据权利要求1所述的一种用于数据存储的大数据管理优化方法,其特征在于:在步骤s3中,所述结合元启发式优化算法的双路径紧缩双向长短期神经网络,具体包括紧缩卷积子块、双向长短期子块、致密子块、注意力子块、分类器子块和元启发式超参数优化算子;

3.根据权利要求2所述的一种用于数据存储的大数据管理优化方法,其特征在于:所述采用结合元启发式优化算法的双路径紧缩双向长短期神经网络,进行输入数据识别,得到数据识别数据信息的步骤,包括:

4.根据权利要求3所述的一种用于数据存储的大数据管理优化方法,其特征在于:在步骤s32中,所述构建双路径紧缩双向长短期子网,包括构建紧缩卷积子块和构建双向长短期子块,具体包括以下步骤:

5.根据权利要求4所述的一种用于数据存储的大数据管理优化方法,其特征在于:在步骤s37中,所述构建元启发式超参数优化算法,具体指通过老鼠群体优化算法进行超参数更新,包括以下步骤:

6.根据权...

【专利技术属性】
技术研发人员:武孜梦安鹏飞
申请(专利权)人:江苏君智信息服务有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1