【技术实现步骤摘要】
本专利技术涉及分布式存储，尤其涉及一种基于再生码的分布式存储方法、装置和电子设备。
技术介绍
1、从计算机时代的开始，数据的存储就一直是最核心的需求。大数据、物联网等新兴产业在不断发展的过程对数据存储提出了更高的要求，传统存储系统无法满足海量数据在存储容量、性能、硬件成本以及数据安全方面的需求。因此实现针对海量数据存储特点及用户需求的存储系统正在成为各行业关注的热点。
2、分布式存储技术日趋成熟，为海量数据存储带来了新的发展方向。分布式存储系统作为代表性的云存储系统，因灵活性、可扩展性、成本低廉等特性成为应对企业数据中心数据存储的优选平台。分布式存储系统区别于传统存储系统将数据分散存储于多个节点；同时采用冗余策略保障各节点上存储数据的安全与完整。诸多优势使得分布式存储系统被广泛应用在工程计算、气象气候数据存储、教育科研数据存储等领域。
3、分布式存储技术被广泛应用的同时，所带来的一些问题也有待得到解决。由于一些存储系统大规模采用廉价商用硬件，系统运行过程中节点失效情况难以避免。如何保证在系统节点故障的情况下高效地恢复出故障节点上的数据是值得关注的问题。为了减少节点失效带来的业务故障和经济损失，分布式存储系统会采用一定的冗余机制使得在部分节点失效后能够及时恢复失效节点上的数据。常用的冗余技术有多副本策略和纠删码策略。多副本技术的思想在于将原数据复制为多份一样的副本，分别存放在不同的数据节点上，实现冗余备份，当某个存储节点上的数据丢失时，可以由任意一个副本恢复出丢失的数据；而纠删码是一种前向错误纠正技术，纠删
4、但是，在目前的基于再生码的分布式存储技术中，存储节点负责保存标量数据。在实际通信中，这些标量数据需要经过编码、调制后才能在信道中传输，最终在接收端进行解调、解码，恢复原始数据。在这种传统的存储技术中，需要逐个对数据中的各符号进行编解码，随后组合成符号流再在网络中（或信道中）传输。这一过程计算量庞大，消耗大量计算资源，导致传输效率较低。
技术实现思路
1、本专利技术提供一种基于再生码的分布式存储方法、装置和电子设备，用以解决现有技术实际通信过程中，标量数据编码计算量大，占用计算资源较多且传输效率低的问题。通过以向量为单位进行存储，通信过程中是对每个单位向量整体进行编解码，针对每个向量计算一次即可，节约了计算资源，提高了网络传输效率。
2、本专利技术提供一种基于再生码的分布式存储方法，包括：
3、获取待存储的原始数据，确定所述原始数据对应的原始数据向量；
4、确定分布式存储系统中各系统节点的编码矩阵以及所述分布式存储系统中各校验节点的编码矩阵；
5、基于各所述系统节点的编码矩阵和所述原始数据向量分别确定各所述系统节点存储的第一再生码数据向量；
6、基于各所述校验节点的编码矩阵和所述原始数据向量分别确定各所述校验节点存储的第二再生码数据向量。
7、将所述第一再生码数据向量发送至对应的所述系统节点进行存储，将所述第二再生码数据向量发送至对应的所述校验节点进行存储。
8、根据本专利技术提供的一种基于再生码的分布式存储方法，所述获取待存储的原始数据，确定所述原始数据对应的原始数据向量，包括：
9、获取待存储的原始数据，所述原始数据包括取值于扩域上的字符；
10、将所述原始数据中的各字符转换为所述扩域对应的有限域上的行向量；
11、基于各所述字符对应的行向量确定所述原始数据对应的原始数据向量。
12、根据本专利技术提供的一种基于再生码的分布式存储方法，所述确定分布式存储系统中各系统节点的编码矩阵，包括：
13、基于所述原始数据向量中所述行向量的个数确定各所述系统节点中存储的行向量的个数；
14、基于所述原始数据向量中所述行向量的个数和所述行向量的长度，确定所述原始数据向量对应的原始符号的个数；
15、针对各所述系统节点，基于所述系统节点中存储的行向量的个数，所述行向量的长度和所述原始符号的个数构建所述系统节点的编码矩阵。
16、根据本专利技术提供的一种基于再生码的分布式存储方法，所述基于所述系统节点中存储的行向量的个数，所述行向量的长度和所述原始符号的个数构建所述系统节点的编码矩阵，包括：
17、构建所述系统节点的编码矩阵：
18、
19、表示第个系统节点的编码矩阵中的个分块矩阵中第个分块矩阵，在等于的情况下，确定中的分块矩阵为，在不等于的情况下，确定中的分块矩阵为，，；
20、其中，是阶数为的矩阵，表示所述原始符号的个数，表示所述系统节点中存储的行向量的个数，表示所述行向量的长度，，表示所述系统节点的总个数，是阶数为的单位矩阵。
21、根据本专利技术提供的一种基于再生码的分布式存储方法，确定分布式存储系统中各校验节点的编码矩阵，包括：
22、基于标量再生码构造方式确定所有所述校验节点对应的标量形式柯西矩阵；
23、基于所述柯西矩阵确定各所述校验节点分别对应的标量形式的编码矩阵；
24、针对各所述校验节点，根据从扩域到有限域上的矩阵环的环同构映射，将所述标量形式的编码矩阵的元素同构映射到，得到所述校验节点的编码矩阵，表示经过环同构映射之后的上的元素的集合。
25、根据本专利技术提供的一种基于再生码的分布式存储方法，还包括：
26、接收数据读取请求，基于所述数据读取请求与所述分布式存储系统任意第一数量的存储节点建立连接，其中，所述第一数量与所述系统节点的个数相同，所述任意第一数量的存储节点包括所述系统节点和/或所述校验节点；
27、分别获取所述任意第一数量的存储节点中存储的数据向量；
28、基于所述任意第一数量的存储节点中存储的数据向量恢复出全部的所述原始数据。
29、根据本专利技术提供的一种基于再生码的分布式存储方法，还包括：
30、在确定存在失效节点的情况下，与所述分布式存储系统任意第二数量的存储节点建立连接，所述第二数量大于所述系统节点的个数，小于所述系统节点和所述校验节点的个数和，所述任意第二数量的存储节点包括所述系统节点和/或所述校验节点；
31、获取所述任意第二数量的存储节点分别发送的修复向量，基于各所述修复向量确定所述失效节点应该存储的信息，所述修复向量为各所述节点对存储的数据向量编码后发出的，所述修复向量的个数小于所述数据向量的个数。
32、本专利技术还提供一种基于再生码的分布式存储装置，包括：
33、获取模块，用于获取待存储的原本文档来自技高网...
【技术保护点】
1.一种基于再生码的分布式存储方法，其特征在于，包括：
2.根据权利要求1所述的基于再生码的分布式存储方法，其特征在于，所述获取待存储的原始数据，确定所述原始数据对应的原始数据向量，包括：
3.根据权利要求2所述的基于再生码的分布式存储方法，其特征在于，所述确定分布式存储系统中各系统节点的编码矩阵，包括：
4.根据权利要求3所述的基于再生码的分布式存储方法，其特征在于，所述基于所述系统节点中存储的行向量的个数，所述行向量的长度和所述原始符号的个数构建所述系统节点的编码矩阵，包括：
5.根据权利要求2所述的基于再生码的分布式存储方法，其特征在于，确定分布式存储系统中各校验节点的编码矩阵，包括：
6.根据权利要求1至5任一项所述的基于再生码的分布式存储方法，其特征在于，还包括：
7.根据权利要求1至5任一项所述的基于再生码的分布式存储方法，其特征在于，还包括：
8.一种基于再生码的分布式存储装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于再生码的分布式存储方法。
...【技术特征摘要】
1.一种基于再生码的分布式存储方法，其特征在于，包括：
2.根据权利要求1所述的基于再生码的分布式存储方法，其特征在于，所述获取待存储的原始数据，确定所述原始数据对应的原始数据向量，包括：
3.根据权利要求2所述的基于再生码的分布式存储方法，其特征在于，所述确定分布式存储系统中各系统节点的编码矩阵，包括：
4.根据权利要求3所述的基于再生码的分布式存储方法，其特征在于，所述基于所述系统节点中存储的行向量的个数，所述行向量的长度和所述原始符号的个数构建所述系统节点的编码矩阵，包括：
5.根据权利要求2所述的基于再生码的分布式存储方法，其特征在于，确定分布式存储系统中各校验节点的编码矩阵...
【专利技术属性】
技术研发人员：贾云刚，刘健，刘铭，许光全，闫莉莉，李鹏霄，光炫，贺欣，朱佳伟，李晓华，赵志云，井雅琪，吕东，马宏远，张震，段东圣，高一骄，刘秀龙，孙捷，孙海亮，
申请(专利权)人：国家计算机网络与信息安全管理中心天津分中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。