本发明专利技术公开了一种可视化区块链数据存储方法和系统，涉及数据存储处理领域，其技术方案要点包括：数据采集模块用于在每个区块链中部署轻量级代理节点，使用多线程并行采集不同节点上的原始数据；数据存储模块使用自动化存储扩容机制设计分层存储架构，建立抽象数据模型，将不同区块链的原始数据映射到统一的框架中，获取格式统一后的原始数据；数据集成处理模块对存储后的原始数据进行聚合处理，获取聚合组，并分析不同聚合组之间的关联性，构建数据关系三维图谱；可视化展示模块用于使用户与区块链中存储的数据进行交互，以数据关系三维图谱为底层架构，增加用户对数据的多层次可视化，提供用户友好型界面，实现区块链数据的可视化存储。
【技术实现步骤摘要】
本专利技术涉及数据存储处理领域，更具体地说，它涉及一种可视化区块链数据存储方法和系统。
技术介绍
1、区块链的数据存储具有不可篡改和长期保存的特点，随着区块链网络的不断增长，区块链的数据量会不断增加，进一步增加了链上的数据复杂性和存储需求，尤其是对于多区块链数据来说，每个区块链的设计和实现方式不同，区块链之间的数据格式、结构和协议可能不同，增加数据处理的难度，且区块链数据包含多种复杂的结构化信息，这些数据之间的关联性复杂，直接呈现可能会让用户感到困惑。可视化工具的设计复杂度提高。
2、随着区块链数据量的增加，尤其是对于全节点来说，存储成本会显著上升，导致节点去中心化程度下降。在可视化过程中，处理大规模数据需要高效的数据查询和检索技术。随着数据量的增加，数据访问和处理效率逐渐下降，导致响应速度变慢，影响用户体验。区块链的数据需要不断在网络节点之间同步，数据量的大幅增加会加重网络传输的负担，产生带宽瓶颈，增加延迟。海量数据的可视化需要考虑如何简化展示，避免信息过载。
3、因此，基于上述问题，需要对可视化区块链数据存储进行设计。
技术实现思路
1、针对现有技术存在的问题，本专利技术的目的在于提供一种可视化区块链数据存储方法和系统，实现区块链数据的可视化存储。
2、为实现上述目的，本专利技术提供了如下技术方案：所述可视化区块链数据存储系统包括：
3、数据采集模块：用于在每个区块链中部署轻量级代理节点，使用多线程并行采集不同节点上的原始数据；</p>4、数据存储模块：使用自动化存储扩容机制设计分层存储架构，建立抽象数据模型，将不同区块链的原始数据映射到统一的框架中，获取格式统一后的原始数据；
5、数据集成处理模块：对存储后的原始数据进行聚合处理，获取聚合组，并分析不同聚合组之间的关联性，构建数据关系三维图谱；
6、可视化展示模块：用于使用户与区块链中存储的数据进行交互，以数据关系三维图谱为底层架构，增加用户对数据的多层次可视化，提供用户友好型界面。
7、优选地，所述原始数据的类型包括交易记录、智能合约、区块头信息、节点状态；
8、使用多线程并行采集不同节点上的原始数据的方法包括：
9、选择轻量级代理节点并部署到区块链中；
10、选择多线程技术，每个线程负责从一个节点抓取最新的原始数据；
11、使用短期缓存机制进行原始数据的连续采集。
12、优选地，所述分层存储架构包括热存储层、冷存储层和归档存储层，热存储层用于存储活跃的数据，冷存储层用于存储访问频率较低的数据，归档存储层用于存储长期不再访问的数据。
13、优选地，所述使用自动化存储扩容机制设计分层存储架构的方法包括：
14、使用监控工具整合各个存储层的健康状态、容量使用率、吞吐量和延迟；
15、计算各个存储层的评估指数，以当前时间点t为时间基点，依次向前计算每个时间点上的评估指数，并获取每个时间点与当前时间点的评估指数绝对差值，直到评估指数绝对差值大于绝对阈值时停止，采集此时时间点与时间基点之间所有间隔时间点的评估指数，并结合时间基点的评估指数形成p阶数据组，其中，p表示从时间基点处向前提取的时间点数量；
16、其中，和表示权重系数；
17、根据当前时间t向前选择d个时间点分别作为时间基点，获取d个p阶数据组，并训练拟合模型，设定拟合模型的停止条件为连续o次迭代中相邻两次迭代输出值绝对差小于拟合阈值；
18、其中，表示上一时间点处的随机误差项，表示第个拟合系数，表示时间点处的评估指数，表示调整系数；
19、将当前时间点t处的评估指数输入到训练好拟合模型中，获取时间点t处的值，当值大于q1时，使用横向扩展增加热存储层的存储节点，当值大于q2时，采用自动化数据生命周期管理工具，将冷存储层中的数据迁移到热存储层或者归档存储层中，当值大于q3时，使用云服务增加归档存储层的存储节点；
20、其中，q1、q2和q3为预先设定的常数。
21、优选地，所述建立抽象数据模型，将不同区块链的原始数据映射到统一的框架中，具体的方法包括：
22、设定区块的属性包括区块哈希h_b、父区块哈希h_pb、区块高度q_h、时间戳t_b和交易记录t_b，使用智能合约z_h、区块头信息q_t、节点状态j_z作为抽象定义，其中，节点状态是区块中按照链接次序进行排列；
23、定义抽象数据模型包括两层映射，分别为属性映射和抽象定义映射，属性映射层为，抽象定义映射层为；
24、将不同区块链的原始数据映射到抽象数据模型形成的统一的框架中，使原始数据统一标准格式。
25、优选地，所述原始数据进行聚合处理的方法包括：
26、步骤a1：将采集的原始数据存储到分层存储架构中，其后，对原始数据进行无关字符去除和统一书写格式，根据原始数据中唯一词的集合构建词汇表，计算每个词的tf-idf值，将每个tf-idf值作为词的特征，构建一个空白向量，将空白向量中每个空白元素对应到词汇表中词的tf-idf值，进而将同一时间点上，原始数据中每个数据类型转换成特征向量表示；
27、步骤a2：采集每个区块链上节点处的特征向量，对于每一个数据类型，提取其中特征向量的最大和最小，预设将每个数据类型的特征向量分成k_q块，进行获取磁吸中心，其中，表示第块的磁吸中心，表示块的索引；
28、步骤a3：计算每个特征向量与磁吸中心的距离，其中，表示特征向量与磁吸中心的距离，表示第个特征向量，表示特征向量的数量；
29、步骤a4：将每个特征向量分配到最近磁吸中心所属的块中，提取每个块中特征向量的数量，若数量小于评定阈值，则将此块解散，解散后的特征向量重新填入到其他磁吸中心所属的块中，进而对预设的k_q块进行自适应调整；
30、步骤a5：在完成特征向量的分配后，更新每个磁吸中心为其块内所有特征向量的均值，重复步骤a3到a4，直到达到预设的分配次数时停止，将每一块作为一个聚合组。
31、优选地，所述数据关系三维图谱的构建方法包括：
32、构建一个空白的三维图层，将区块链的节点为横向标注，数据类型为纵向标注，且时间点为竖向标注；
33、提取每个聚合组的节点、数据类型和时间点，并将聚合组拟化为实心点填入到空白的三维图层，形成点状填充；
34、定义实心点之间通过有向边连接，在有向边上设置属性值，属性值根据公式，其中，和用于表示权重系数，表示同一时间点上聚合组和聚合组同时出现的次数，表示时间点上聚合组出现的次数，表示时间点上聚合组出现的次数，表示聚合组和聚合组的重叠内容，表示聚合组和聚合组的所有组合内容；
35、使用有向边将任意两个聚合组连接，并计算向边的属性值，将属性值添加到有向边上，形成完整的数据关系三维图谱。
36、优选地，所述用户与区块链中存本文档来自技高网
...
【技术保护点】
1.一种可视化区块链数据存储系统，其特征在于，所述可视化区块链数据存储系统包括：
2.根据权利要求1所述的可视化区块链数据存储系统，其特征在于，所述原始数据的类型包括交易记录、智能合约、区块头信息和节点状态；
3.根据权利要求2所述的可视化区块链数据存储系统，其特征在于，所述分层存储架构包括热存储层、冷存储层和归档存储层，热存储层用于存储活跃的数据，冷存储层用于存储访问频率较低的数据，归档存储层用于存储长期不再访问的数据。
4.根据权利要求3所述的可视化区块链数据存储系统，其特征在于，所述使用自动化存储扩容机制设计分层存储架构的方法包括：
5.根据权利要求4所述的可视化区块链数据存储系统，其特征在于，所述建立抽象数据模型，将不同区块链的原始数据映射到统一的框架中，具体的方法包括：
6.根据权利要求5所述的可视化区块链数据存储系统，其特征在于，所述原始数据进行聚合处理的方法包括：
7.根据权利要求6所述的可视化区块链数据存储系统，其特征在于，所述数据关系三维图谱的构建方法包括：
8.根据权利要求7所述的可视化区块链数据存储系统，其特征在于，所述用户与区块链中存储的数据进行交互的方法包括：
9.根据权利要求8所述的可视化区块链数据存储系统，其特征在于，所述以数据关系三维图谱为底层架构，增加用户对数据的多层次可视化，具体方法包括：
10.一种可视化区块链数据存储方法，应用于权利要求1-9任意一项所述的一种可视化区块链数据存储系统，其特征在于，所述可视化区块链数据存储方法包括：
...
【技术特征摘要】
1.一种可视化区块链数据存储系统，其特征在于，所述可视化区块链数据存储系统包括：
2.根据权利要求1所述的可视化区块链数据存储系统，其特征在于，所述原始数据的类型包括交易记录、智能合约、区块头信息和节点状态；
3.根据权利要求2所述的可视化区块链数据存储系统，其特征在于，所述分层存储架构包括热存储层、冷存储层和归档存储层，热存储层用于存储活跃的数据，冷存储层用于存储访问频率较低的数据，归档存储层用于存储长期不再访问的数据。
4.根据权利要求3所述的可视化区块链数据存储系统，其特征在于，所述使用自动化存储扩容机制设计分层存储架构的方法包括：
5.根据权利要求4所述的可视化区块链数据存储系统，其特征在于，所述建立抽象数据模型，将不同区块链的原始数据...
【专利技术属性】
技术研发人员：欧志，
申请(专利权)人：深圳市一航网络信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。