【技术实现步骤摘要】
本专利技术涉及数据存储，更具体地说，本专利技术涉及基于闪存的存储数据管理系统及方法。
技术介绍
1、授权公告号为cn101645310b的中国专利公开了一种闪存设备、闪存管理方法及系统。所述方法包括以下步骤：a.根据闪存的物理块好坏记录和配置信息，建立物理块绑定表和零碎块记录表；b.基于所述物理块绑定表和零碎块记录表对闪存进行访问。本专利技术还提供了一种闪存管理系统，包括主机、控制单元和闪存，所述主机与所述控制单元相连并进行数据交互，所述控制单元用于访问和控制所述闪存，所述主机根据闪存的物理块好坏记录和配置信息，建立物理块绑定表和零碎块记录表；所述控制单元基于所述物理块绑定表和零碎块记录表对闪存进行访问。本专利技术还提供了一种闪存设备，采用本专利技术提供的闪存设备、闪存管理方法及系统，能提高闪存的可用容量。
2、现有的存储系统,其读写性能受限于机械运动,已难以满足对高速存储的需求；而现有存储系统采用的中心化数据库保存存储映射关系,其可靠性较低,对象位置变更时,映射关系的更新存在安全隐患；另外,由于现有存储系统无法智能感知数据内容特征和访问模式,无法进行智能化的数据布局优化,导致系统性能无法得到提升；同时,现有存储系统扩容和数据迁移较为复杂,无法灵活适应存储需求的变化。
3、鉴于此，本专利技术提出基于闪存的存储数据管理系统及方法以解决上述问题。
技术实现思路
1、为了克服现有技术的上述缺陷，为实现上述目的，本专利技术提供如下技术方案：基于闪存的存储数据管理方法
2、构建多层级对象存储结构,多层级对象存储结构的存储布局包括n个对象；n个对象包括m个根对象以及m个根对象对应的一个或x个子对象；根对象与子对象之间通过双向引用建立层级关系；
3、将n个对象生成对应的对象标识符；
4、在区块链上利用智能合约创建区块链数据库，区块链数据库用于记录对象映射表和存储映射表；
5、收集对象间交互行为数据，将对象间交互行为数据处理得到关系特征张量；根据关系特征张量训练用于预测对象间的关联程度分值的第一神经网络模型；
6、收集对象访问频率数据，根据对象访问频率数据训练用于预测访问频率分值的第二神经网络模型；
7、调用第一神经网络模型和第二神经网络模型,根据对象之间的关联程度分值和访问频率分值对同一根对象下的子对象进行排序,得到排序结果；根据排序结果优化多层级对象存储结构的存储布局，并更新记录对象映射表和存储映射表。
8、进一步地，所述存储布局包括根对象类和子对象类；所述根对象类包括一个根对象列表用于存储根对象对应的子对象；子对象类包括子对象对其父对象的引用；
9、创建m个对象作为根对象；对每个根对象新增子对象,形成根对象和子对象之间的关联；
10、进一步地，所述双向引用建立层级关系包括：
11、在根对象类中,定义一个属性子对象列表；在子对象类中,定义一个属性parent,用于存储子对象指向其父对象的引用；当创建子对象时,将新建子对象类添加到根对象类的属性子对象列表中；同时,设置子对象类的属性parent为其父对象类的引用。
12、进一步地，所述将n个对象生成对应的对象标识符的方法包括：
13、为n个对象定义对象标识符，对象标识符包括id字段和reference字段；其中，id字段是为对象随机生成的一个guid,guid为唯一标识符,用于唯一标识对应对象；reference字段用于存储从当前对象到其对应根对象的索引链路信息；
14、若对象为根对象时,则reference字段信息为空；
15、若对象为子对象时,遍历从当前子对象到根对象路径上的所有父对象；将每个父对象在其父对象的属性子对象列表中的索引存储在reference字段中。
16、进一步地，所述区块链数据库用于记录对象映射表和存储映射表的方法包括：
17、步骤s301、根据对象标识符定义对象类object,包括对象的guid、属性parent和属性子对象列表；
18、步骤s302、根据对象标识符定义对象标识类objectid,包括对象的guid和reference字段；
19、步骤s303、当创建新对象时，为新对象生成唯一的对象标识类objectid；将该对象存储到数据库中,获取该对象的存储地址；并在对象映射表中记录对象标识类objectid与对象类object的映射关系；在存储映射表中记录对象标识类objectid与该对象的存储地址的映射关系。
20、进一步地，所述收集对象间交互行为数据，将对象间交互行为数据处理得到关系特征张量的方法包括：
21、步骤s401、定义记录用户行为的第一接口；当用户在平台上进行对象间交互时,调用第一接口记录本次对象间交互行为数据,对象间交互行为数据包括用户行为发生的源对象id、用户行为指向的目标对象id和用户的交互行为类型；用户的交互行为类型包括浏览、点赞、收藏和评论；将用户的交互行为类型进行数值编号；
22、步骤s402、创建用户交互记录表,用户交互记录表用于保存第一接口记录的交互行为数据以及对应的时间戳；
23、步骤s403、从用户交互记录表中读取所有数据,根据源对象id和目标对象id构建有向图；每个源对象id和目标对象id均表示有向图中的节点；交互行为类型表示有向图节点之间的有向边；
24、步骤s404、在构建有向图中提取每个节点的属性特征数据,属性特征数据包括对象类型、标签和标题；
25、步骤s405、将属性特征数据编码成对应的属性向量；将各个属性向量拼接,构成源对象和目标对象各自对应的特征表示向量；
26、步骤s406、统计用户交互记录表中源对象和目标对象之间的交互次数；构建关系二维矩阵,关系二维矩阵的行列分别对应源对象和目标对象,关系二维矩阵的矩阵元素对应交互次数；
27、步骤s407、将特征表示向量和关系二维矩阵拼接起来；按照神经网络输入层张量的格式要求,进行维度排列与转换，得到关系特征张量。
28、进一步地，所述第一神经网络模型为使用pytorch深度学习框架的图卷积网络模型gcn，定义p层图卷积层,在p层图卷积层之间加入全连接层进行非线性变换，输出层输出关系特征张量的边的权重值；
29、将关系特征张量输入至图卷积网络模型gcn进行训练，通过优化算法逐步优化图卷积网络模型gcn的参数；以减小边的权重值与真实交互次数的差异作为优化目标；重复训练直到模型预测边的权重值能够准确反映真实交互次数；边的权重值即为对象间的关联程度分值。
30、进一步地，所述对象访问频率数据包括对象id和历史访问频率；定义记录对象访问的第二接口和数据库对象访问表；当对象被访问时调用第二接口；利用第二接口实现在数据库对象访问表中记录访问事件和对象id；定期统计数据库对象访问表中各个对象id的对应的访问数量,根据各个对象本文档来自技高网...
【技术保护点】
1.基于闪存的存储数据管理方法，其特征在于，包括：
2.根据权利要求1所述的基于闪存的存储数据管理方法，其特征在于，所述存储布局包括根对象类和子对象类；所述根对象类包括一个根对象列表用于存储根对象对应的子对象；子对象类包括子对象对其父对象的引用；
3.根据权利要求2所述的基于闪存的存储数据管理方法，其特征在于，所述双向引用建立层级关系包括：
4.根据权利要求3所述的基于闪存的存储数据管理方法，其特征在于，所述将n个对象生成对应的对象标识符的方法包括：
5.根据权利要求4所述的基于闪存的存储数据管理方法，其特征在于，所述区块链数据库用于记录对象映射表和存储映射表的方法包括：
6.根据权利要求5所述的基于闪存的存储数据管理方法，其特征在于，所述收集对象间交互行为数据，将对象间交互行为数据处理得到关系特征张量的方法包括：
7.根据权利要求6所述的基于闪存的存储数据管理方法，其特征在于，所述第一神经网络模型为使用PyTorch深度学习框架的图卷积网络模型GCN，定义p层图卷积层,在p层图卷积层之间加入全连接层进行非线
8.根据权利要求7所述的基于闪存的存储数据管理方法，其特征在于，所述对象访问频率数据包括对象ID和历史访问频率；定义记录对象访问的第二接口和数据库对象访问表；当对象被访问时调用第二接口；利用第二接口实现在数据库对象访问表中记录访问事件和对象ID；定期统计数据库对象访问表中各个对象ID的对应的访问数量,根据各个对象ID的对应的访问数量获得各个对象ID对应的历史访问频率；
9.根据权利要求8所述的基于闪存的存储数据管理方法，其特征在于，所述根据排序结果优化多层级对象存储结构的存储布局，并更新记录对象映射表和存储映射表的方法包括：
10.基于闪存的存储数据管理系统，其用于实现权利要求1-9中任一项所述的基于闪存的存储数据管理方法，其特征在于，包括：对象存储结构构建模块，用于构建多层级对象存储结构,多层级对象存储结构的存储布局包括n个对象；n个对象包括m个根对象以及m个根对象对应的一个或x个子对象；根对象与子对象之间通过双向引用建立层级关系；
...【技术特征摘要】
1.基于闪存的存储数据管理方法，其特征在于，包括：
2.根据权利要求1所述的基于闪存的存储数据管理方法，其特征在于，所述存储布局包括根对象类和子对象类；所述根对象类包括一个根对象列表用于存储根对象对应的子对象；子对象类包括子对象对其父对象的引用；
3.根据权利要求2所述的基于闪存的存储数据管理方法，其特征在于，所述双向引用建立层级关系包括：
4.根据权利要求3所述的基于闪存的存储数据管理方法，其特征在于，所述将n个对象生成对应的对象标识符的方法包括：
5.根据权利要求4所述的基于闪存的存储数据管理方法，其特征在于，所述区块链数据库用于记录对象映射表和存储映射表的方法包括：
6.根据权利要求5所述的基于闪存的存储数据管理方法，其特征在于，所述收集对象间交互行为数据，将对象间交互行为数据处理得到关系特征张量的方法包括：
7.根据权利要求6所述的基于闪存的存储数据管理方法，其特征在于，所述第一神经网络模型为使用pytorch深度学习框架的图卷积网络模型gcn，定义p层图卷积层,在p层...
【专利技术属性】
技术研发人员：孟坤，梁裕培，黄飞，王启源，
申请(专利权)人：广东省绿算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。