一种网络链路处理方法及计算机可读存储介质技术

本发明专利技术提出一种网络链路处理方法及计算机可读存储介质，首先进行数据编码写入，生成编码数据块；将编码产生的所述编码数据块放置到物理存储节点组上；选择参与重构的供应节点；通过数据重构来还原丢失的数据；通过局部聚合解码进行数据解重构；与现有技术相比，能够在降低存储成本的同时，达到与副本冗余技术相同甚至更高的数据可用性及可靠性；局部聚合解码发掘和利用解码的信息聚合特性，将整个解码过程分解为多个局部聚合解码，每次局部聚合解码都是对源编码数据块进行信息聚合；局部聚合解码在数据传输的路程中进行，边传输边聚合，从而减少了总的带宽消耗量。从而减少了总的带宽消耗量。从而减少了总的带宽消耗量。

【技术实现步骤摘要】
一种网络链路处理方法及计算机可读存储介质


[0001]本专利技术涉及网络链路数据处理
，具体涉及一种网络链路处理方法及计算机可读存储介质。

技术介绍

[0002]随着信息化技术的高速发展，人类社会步人大数据时代，如何高效、可靠地处理网络链路中海量的数据信息成为当前十分紧迫的问题。大规模分布式网络链路处理系统以其巨大的处理空间、优越的访问性能、稳定的可靠性、灵活的可扩展性成为大数据应用中的重要一环。然而随着数据存储需求的进一步增大和商业化的驱动，更多的低成本高性价比部件应用于分布式网络链路处理系统中，对数据可靠性和容错提出更大的挑战。编码解码技术凭借其高效的存储空间利用率成为使用最为广泛的容错技术之一，因而分布式编码解码网络链路处理系统的研究受到业界广泛深人的关注，尤其是在保证可靠性前提下的系统存储空间利用率、数据重构开销和访问性能等问题上。针对这些问题的分析和研究对于学术界和工业界都有着重要的意义。
[0003]例如专利文献US2005254431A1，提出了一种用于监视电信网络链路的方法，将链路分界装置布置在网络链路上的点处，利用链路定界设备将所述网络链路划分为第一网络链路部分和第二网络链路部分，执行自监测以及对第一网络链路部分和第二网络链路部分的监测，操作LDD以基于特定的检测到的故障指示状况发送多个唯一故障指示信号，使用链路定界设备的监视功能的本方法和系统降低了与现有信令方法相关联的成本和复杂性。
[0004]再例如专利文献CN103188753A，提出了一种基于异构网络之间不同链路进行数据传输的方法、装置及系统，包括：接收终端基于虚拟网卡地址向网络侧发送的报文；在终端插入的至少两个网卡分别对应的通信网络链路中，选择一条通信网络链路，其中插入的至少两个网卡分别对应的通信网络链路为异构网络之间的不同链路；转换所述报文中作为源地址的虚拟网卡地址为选择的通信网络链路对应的网卡地址；并将转换源地址后的报文，通过选择的通信网络链路发送到网络侧。能够较好地提高异构网络之间不同通信网络链路切换的效率。
[0005]但这些现有技术中的网路链路处理技术仅考虑了网络的业务性能，没有考虑网络的可靠性问题。在网络若干部件失效时，网络的业务性能可能显著下降。

技术实现思路

[0006]为了解决上述技术问题，本专利技术提出一种网络链路处理方法，包括以下步骤：
[0007]步骤1，数据编码写入，生成编码数据块；
[0008]步骤2，将编码产生的所述编码数据块放置到物理存储节点组上；
[0009]步骤3，选择参与重构的供应节点；
[0010]步骤4，通过数据重构来还原丢失的数据；
[0011]步骤5，通过局部聚合解码进行数据解重构。
[0012]进一步地，所述步骤1中，指定网络链路中一个节点作为主持节点，所述主持节点将原始数据划分成k个原始数据块，系数矩阵B与原始数据块相乘，生成编码数据块，所述编码数据块包括n
‑
k个冗余数据块和k个原始数据块，n个编码数据块组成一个编码组，将n个编码数据块分别发送到所述网络链路内n个节点存储。
[0013]进一步地，所述步骤3中，获取网络链路中存活节点与新生节点间的可用带宽大小，依次选取与新生节点有最大可用带宽的存活节点作为供应节点，直到供应节点数量满足截止数量。
[0014]进一步地，各参与重构节点的数据传输量为d，所述重构阈值为r，r≤n－d，供应节点集合Cc及新生节点集合Cn用以存放参与失效数据重构的供应节点及新生节点。
[0015]进一步地，从空闲新生节点中选择路由节点Nc，放入新生节点集合Cn，引入边集Ec＝{e0，e1，
…
，e
n－r－1
}表示路由节点与候选供应节点间的链路，根据路由节点与候选供应节点的边集Ec依次选择具有链路带宽的节点，确定为供应节点，将所述供应节点存入供应节点集合Cc中并从边集中删去所述链路，选出截止数量为d个供应节点截止；在空闲节点中选择剩余r－1个新生节点，引入边集En＝{e0，e1，
…
，e
N－n－2
}表示路由节点与候选新生节点间的链路，根据路由节点与候选节点的边集En依次选择具有链路带宽的节点，确定为新生节点，将所述新生节点存入供应节点集合Cn中并从边集中删去该链路，根据此方法选出共r－1个新生节点截止，从而构成以路由节点为中心的网络链路拓扑。
[0016]进一步地，所述步骤5中，根据矩阵运算的基本规则，解码单个原始数据块的计算公式如下：
[0017][0018]其中O
r
为需要重构的原始数据块，A
ri
×
P
i
运算为一个聚合单元U
i
，则我们将任意个聚合单元的加运算定义为局部聚合解码运算ADj；
[0019]在源节点生成聚合单元Ui，向目标节点传输，当经过中继节点时，进行局部聚合解码，整个聚合解码T可由以下公式表示：
[0020]AD1＝U1+U2；
[0021]AD2＝AD1＝U3；
[0022]T＝AD2+U4；
[0023]进一步地，每次局部解码输出结果的数据量等于输入源编码数据块中单个数据块的数据量。局部聚合解码计算后的结果仍具有相同的大小，公式如下：
[0024]Size(ADj)＝Size(Ui)。
[0025]本专利技术还提出了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的网络链路处理方法的步骤。
[0026]本专利技术的网络链路处理技术，与现有技术相比，选择参与重构的供应节点进行数据重构来还原丢失的数据，并通过局部聚合解码进行数据解重构，能够在降低存储成本的同时，达到与副本冗余技术相同甚至更高的数据可用性及可靠性。局部聚合解码发掘和利用解码的信息聚合特性，将整个解码过程分解为多个局部聚合解码，每次局部聚合解码都是对源编码数据块进行信息聚合。局部聚合解码在数据传输的路程中进行，边传输边聚合，从而减少了总的带宽消耗量。
附图说明
[0027]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]附图1为本专利技术的网络链路处理方法的流程示意图；
[0029]附图2为本专利技术的编码数据块生成示意图；
[0030]附图3为本专利技术的聚合解码示意图；
[0031]附图4采用本专利技术和现有技术的网络链路处理方法处理数据的对比示意图。
具体实施方式
[0032]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络链路处理方法，其特征在于，包括以下步骤：步骤1，数据编码写入，生成编码数据块；步骤2，将编码产生的所述编码数据块放置到物理存储节点组上；步骤3，选择参与重构的供应节点；步骤4，通过数据重构来还原丢失的数据。2.根据权利要求1所述的网络链路处理方法，其特征在于，所述步骤1中，指定网络链路中一个节点作为主持节点，所述主持节点将原始数据划分成k个原始数据块，系数矩阵B与原始数据块相乘，生成n个编码数据块，所述n个编码数据块包括n
‑
k个冗余编码数据块和k个原始编码数据块，将所述n个编码数据块分别发送到所述网络链路内n个节点存储。3.根据权利要求1所述的网络链路处理方法，其特征在于，所述步骤3中，获取网络链路中的存活节点，依次选取与存活节点有最大可用带宽的节点作为供应节点，直到供应节点数量满足截止数量。4.根据权利要求3所述的网络链路处理方法，其特征在于，从m个存活节点中选出参与重构的候选供应节点，个数为d，其中能够参与重构的供应节点的个数为r，r≤d≤m，供应节点集合Cc及存活节点集合Cn分别用以存放参与数据重构的供应节点及存活节点。5.根据权利要求4所述的网络链路处理方法，其特征在于，从存活节点集合Cn中根据节点的数据传输性能选择候选供应节点，构成候选供应节点集Nc，引入链路集Ec＝{e0，e1，
…
，e
n
‑
r
‑1}表示存活节点与候选供应节点间的链路，根据存活节点与候选供应节点的链路集Ec依次选择具有最大可用带宽的节点，确定...

【专利技术属性】
技术研发人员：刘志国，
申请(专利权)人：刘志国，
类型：发明
国别省市：