本发明专利技术公开一种数据处理方法，通过将原始数据均分成若干数据块并对所述数据块分组；采用Clay码对组内数据块编码，得到局部校验块；采用RS码对所有数据块编码，得到全局校验块；检测损毁数据块的数量；当检测到只有一个所述损毁数据块时，根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，修复所述损毁数据块；当检测到至少两个所述损毁数据块时，根据除损毁数据块所在组外的其他数据块及所述全局校验块，修复所述损毁数据块。本发明专利技术还公开了数据处理装置、设备及存储介质，能够通过设计新的编码，组内采用Clay码进行编码，组间采用RS码进行编码，以在修复一个数据块时降低下载的数据量，在修复多个数据块时降低计算开销。据块时降低计算开销。据块时降低计算开销。
【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
[0002]全球数据量的爆炸式增长，对存储系统的存储能力带来了极高的要求，因此，具有高存储性能、扩展性强的分布式存储系统被广泛应用。与传统的集中式存储而言，分布式存储集群多数采用大量的跨地域节点存储海量数据并提供数据访问服务，这些服务节点的失效率很高，为了提供容错能力，传统的存储集群普遍采用存储开销成倍增长的多副本技术，而纠删码能以极低的存储开销提供相同甚至更高的容错能力，因此目前大多数存储集群通过结合纠删码这种数据修复策略来保证数据的可靠性。
[0003]纠删码首先将原始数据划分成若干同等大小的数据块，然后在有限域(内对数据块进行编码运算得到若干校验块。目前存储集群常用的纠删码有RS码和Clay码。
[0004]在进行数据修复时，经典的RS码涉及的矩阵运算简单，但是需要下载的数据量巨大，Clay再生码通过划分子块的技术以及更为复杂的编码运算使得修复一个数据块不需要下载其他编码块的完整数据，然而当修复多个数据块时，Clay再生码需要下载更多的子块参与计算，计算开销远大于RS码的有限域运算，以上的编码方式在进行数据修复时并不能兼顾修复一个数据块下载的数据量和修复多个数据块的计算开销。
技术实现思路
[0005]本专利技术实施例的目的是提供一种数据处理方法、装置、设备及存储介质。通过设计新的编码，组内采用Clay码进行编码，组间采用RS码进行编码，以在修复一个数据块时降低下载的数据量，在修复多个数据块时降低计算开销。
[0006]为实现上述目的，本专利技术实施例提供了一种数据处理方法，包括：
[0007]将原始数据进行均等划分，得到若干数据块，并将所述数据块进行分组；
[0008]采用Clay码对组内数据块进行编码得到局部校验块；
[0009]采用RS码对所有数据块进行编码得到全局校验块；
[0010]检测所述数据块中的损毁数据块的数量；
[0011]当检测到只存在一个所述损毁数据块时，根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，修复所述损毁数据块；
[0012]当检测到存在至少两个所述损毁数据块时，根据除损毁数据块所在组外的其他数据块及所述全局校验块，修复所述损毁数据块。
[0013]作为上述方案的改进，所述采用Clay码对组内数据块进行编码得到局部校验块，具体包括：
[0014]对每一数据块进行划分，得到若干数据块子块；
[0015]采用Clay码对组内的数据块子块进行编码，得到局部校验块；其中，所述局部校验
块包括若干局部校验块子块。
[0016]作为上述方案的改进，所述当检测到只存在一个损毁数据块时，根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，修复所述损毁数据块，具体包括：
[0017]当检测到只存在一个所述损毁数据块时，从所述损毁数据块所在组的除损毁数据块外的其他数据块中，选出预设数量的数据块子块，从所述损毁数据块所在组的局部校验块中，选出所述预设数量的局部校验块子块，采用Clay解码操作以修复损毁数据块。
[0018]为实现上述目的，本专利技术实施例还提供了一种数据处理装置，包括：
[0019]数据划分模块，用于将原始数据进行均等划分，得到若干数据块，并将所述数据块进行分组；
[0020]局部编码模块，用于采用Clay码对组内数据块进行编码得到局部校验块；
[0021]全局编码模块，用于采用RS码对所有数据块进行编码得到全局校验块；
[0022]损毁数据块检测模块，用于检测所述数据块中的损毁数据块的数量；
[0023]第一数据修复模块，用于当检测到只存在一个所述损毁数据块时，根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，修复所述损毁数据块；
[0024]第二数据修复模块，用于当检测到存在至少两个所述损毁数据块时，根据除损毁数据块所在组外的其他数据块及所述全局校验块，修复所述损毁数据块。
[0025]作为上述方案的改进，所述局部编码模块，具体用于：
[0026]对每一数据块进行划分，得到若干数据块子块；
[0027]采用Clay码对组内的数据块子块进行编码，得到局部校验块；其中，所述局部校验块包括若干局部校验块子块。
[0028]作为上述方案的改进，所述第一数据修复模块，具体用于：
[0029]当检测到只存在一个所述损毁数据块时，从所述损毁数据块所在组的除损毁数据块外的其他数据块中，选出预设数量的数据块子块，从所述损毁数据块所在组的局部校验块中，选出所述预设数量的局部校验块子块，采用Clay解码操作以修复损毁数据块。
[0030]为实现上述目的，本专利技术实施例还提供了一种数据处理设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的数据处理方法。
[0031]为实现上述目的，本专利技术实施例还提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如上述任一实施例所述的数据处理方法。
[0032]与现有技术相比，本专利技术实施例公开的数据处理方法、装置、设备及存储介质，通过将原始数据进行均等划分，得到若干数据块；进一步对所述数据块进行分组；通过采用Clay码对组内数据块进行编码得到局部校验块，通过采用RS码对所有数据块进行编码得到全局校验块；当检测到只有一个数据块损毁时，根据损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，采用Clay解码操作以修复所述损毁数据块；当检测到至少两个所述数据块损毁时，根据除损毁数据块所在组外的其他数据块及所述全局校验块执行RS解码操作以修复所述损毁数据块。本专利技术实施例通过设计新的编码，组内采用Clay
码进行编码，组间采用RS码进行编码，以在修复一个数据块时降低下载的数据量，在修复多个数据块时降低计算开销。
附图说明
[0033]图1是本专利技术一实施例提供的一种数据处理方法的流程图；
[0034]图2是本专利技术一实施例提供的另一种数据处理方法的流程图；
[0035]图3是本专利技术一实施例提供的(6,4)
‑
RS纠删码的编码原理图；
[0036]图4是本专利技术一实施例提供的D1损毁后更新的矩阵运算等式变换图；
[0037]图5是本专利技术一实施例提供的数据修复计算公式展示图；
[0038]图6是本专利技术一实施例提供的(6,4)
‑
RS修复一个数据块的示例图；
[0039]图7是本专利技术一实施例提供的(6,4,5)
‑
Clay修复一个数据块的示例图；
[0040]图8是本专利技术一实施例提供的一种数据编码示例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：将原始数据进行均等划分，得到若干数据块，并将所述数据块进行分组；采用Clay码对组内数据块进行编码得到局部校验块；采用RS码对所有数据块进行编码得到全局校验块；检测所述数据块中的损毁数据块的数量；当检测到只存在一个所述损毁数据块时，根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，修复所述损毁数据块；当检测到存在至少两个所述损毁数据块时，根据除损毁数据块所在组外的其他数据块及所述全局校验块，修复所述损毁数据块。2.如权利要求1所述的数据处理方法，其特征在于，所述采用Clay码对组内数据块进行编码得到局部校验块，具体包括：对每一数据块进行划分，得到若干数据块子块；采用Clay码对组内的数据块子块进行编码，得到局部校验块；其中，所述局部校验块包括若干局部校验块子块。3.如权利要求2所述的数据处理方法，其特征在于，所述当检测到只存在一个损毁数据块时，根据所述损毁数据块所在组的其他数据块和所述损毁数据块所在组的局部校验块，修复所述损毁数据块，具体包括：当检测到只存在一个所述损毁数据块时，从所述损毁数据块所在组的除损毁数据块外的其他数据块中，选出预设数量的数据块子块，从所述损毁数据块所在组的局部校验块中，选出所述预设数量的局部校验块子块，采用Clay解码操作以修复损毁数据块。4.一种数据处理装置，其特征在于，包括：数据划分模块，用于将原始数据进行均等划分，得到若干数据块，并将所述数据块进行分组；局部编码模块，用于采用Clay码对组内数据块进行编码得到局部校...
【专利技术属性】
技术研发人员：刘铎，章紫琳，吴宇，谭玉娟，陈咸彰，梁靓，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。