一种通用型数据纠错方法及系统技术方案

本发明专利技术涉及一种通用型数据纠错方法，包括以下步骤：存储时主服务器将待存储的数据分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；计算各数据包内各数据单元的权重值，计算数据包的权重值；主服务器对所有数据包进行分布式存储，巡逻服务器依据存储地址逐一访问存储后的数据包，并根据数据权重算法重新计算存储后的数据包的权重值；若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换；应用本发明专利技术的方式方法，可以进行快速的存储以及自行纠错，纠错速度快，且纠错的准确率也较高。

【技术实现步骤摘要】
一种通用型数据纠错方法及系统
本专利技术涉及数据纠错
，更具体地说，涉及一种通用型数据纠错方法及系统。
技术介绍
数据分布式存储过程中需要对存储的数据进行纠错处理，目前采用的常规方式，大都需要大量数据进行一一比对纠错，或者是需要数据本身携带一定长度的纠错代码进行自行纠错，前者数据流较大且容易出错，后者虽然能够提高准确率，但是其会使得数据包变得较为臃肿，降低数据存储以及纠错速度。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种通用型数据纠错方法及系统。本专利技术解决其技术问题所采用的技术方案是：构造一种通用型数据纠错方法，其中，包括以下步骤：第一步：存储时主服务器将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；第二步：根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；第三步：主服务器对所有数据包进行分布式存储，将所有数据包、存储地址以及所有权重值发送至巡逻服务器；第四步：巡逻服务器依据存储地址逐一访问存储后的数据包，并根据所述数据权重算法重新计算存储后的数据包的权重值；第五步：若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换，重复上述动作至遍历所有数据包。本专利技术所述的通用型数据纠错方法，其中，所述第二步中，还包括方法：数据包的权重值为其内部包含的多个数据单元的权重值的乘积。本专利技术所述的通用型数据纠错方法，其中，所述第五步中还包括方法：巡逻服务器遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值。本专利技术所述的通用型数据纠错方法，其中，所述第一步中包括方法：所述主服务器接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行所述第四步以及所述第五步的相应代码发送至该被指定的存储器上。本专利技术所述的通用型数据纠错方法，其中，所述第五步中还包括方法：主服务器将巡逻服务器的类型还原为存储器。一种通用型数据纠错系统，根据上述的通用型数据纠错方法，其中，包括主服务器、存储服务器和巡逻服务器；所述主服务器，用于存储时将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；所述主服务器还用于对所有数据包在所述存储服务器上进行分布式存储，将所有数据包、存储地址以及所有权重值发送至所述巡逻服务器；所述巡逻服务器用于依据存储地址逐一访问存储后的数据包，并根据所述数据权重算法重新计算存储后的数据包的权重值；若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换，重复上述动作至遍历所有数据包。本专利技术所述的通用型数据纠错系统，其中，所述巡逻服务器还用于遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值。本专利技术所述的通用型数据纠错系统，其中，所述主服务器还用于接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行所述第四步以及所述第五步的相应代码发送至该被指定的存储器上。本专利技术的有益效果在于：应用本专利技术的方式方法，可以进行快速的存储以及自行纠错，纠错速度快，效率高，且纠错的准确率也较高。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将结合附图及实施例对本专利技术作进一步说明，下面描述中的附图仅仅是本专利技术的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图：图1是本专利技术较佳实施例的通用型数据纠错方法流程图；图2是本专利技术较佳实施例的通用型数据纠错系统原理框图。具体实施方式为了使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术的部分实施例，而不是全部实施例。基于本专利技术的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术较佳实施例的通用型数据纠错方法，如图1所示，包括以下步骤：S01：存储时主服务器将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；S02：根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；S03：主服务器对所有数据包进行分布式存储，将所有数据包、存储地址以及所有权重值发送至巡逻服务器；S04：巡逻服务器依据存储地址逐一访问存储后的数据包，并根据数据权重算法重新计算存储后的数据包的权重值；S05：若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换，重复上述动作至遍历所有数据包；应用本专利技术的方式方法，可以进行快速的存储以及自行纠错，纠错速度快，效率高，且纠错的准确率也较高。优选的，第二步中，还包括方法：数据包的权重值为其内部包含的多个数据单元的权重值的乘积；通过乘积的方式获取数据包的权重值，计算方便且能够使得数据包的权重值比对时的差值放大，以快速的进行区分是否有错误。优选的，第五步中还包括方法：巡逻服务器遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值；便于进行节省空间。优选的，第一步中包括方法：主服务器接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行第四步以及第五步的相应代码发送至该被指定的存储器上；无需额外的设置设备，直接进行控制存储器的类型转换并添加运行代码即可。优选的，第五步中还包括方法：主服务器将巡逻服务器的类型还原为存储器。一种通用型数据纠错系统，根据上述的通用型数据纠错方法，如图2所示，包括主服务器1、存储服务器2和巡逻服务器3；主服务器，用于存储时将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；主服务器还用于对所有数据包在存储服务器上进行分布式存储，将所有数据包、存储地址以及所有权重值发送至巡逻服务器；巡逻服务器用于依据存储地址逐一访问存储后的数据包，并根据数据权重算法重新本文档来自技高网...

【技术保护点】
1.一种通用型数据纠错方法，其特征在于，包括以下步骤：/n第一步：存储时主服务器将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；/n第二步：根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；/n第三步：主服务器对所有数据包进行分布式存储，将所有数据包、存储地址以及所有权重值发送至巡逻服务器；/n第四步：巡逻服务器依据存储地址逐一访问存储后的数据包，并根据所述数据权重算法重新计算存储后的数据包的权重值；/n第五步：若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换，重复上述动作至遍历所有数据包。/n

【技术特征摘要】
1.一种通用型数据纠错方法，其特征在于，包括以下步骤：
第一步：存储时主服务器将待存储的数据根据设定的数据分割算法分割成多个连续的数据单元，将连续的设定数量的数据单元设定为一数据包；
第二步：根据设定的数据权重算法计算各数据包内各数据单元的权重值，并根据多个数据单元的权重值计算数据包的权重值；
第三步：主服务器对所有数据包进行分布式存储，将所有数据包、存储地址以及所有权重值发送至巡逻服务器；
第四步：巡逻服务器依据存储地址逐一访问存储后的数据包，并根据所述数据权重算法重新计算存储后的数据包的权重值；
第五步：若重新计算的数据包的权重值与存储的权重值相符则查询下一地址的数据包，若重新计算的数据包的权重值与存储的权重值不相符则逐一比对并对数据单元的权重值并对不符的数据单元进行替换，重复上述动作至遍历所有数据包。


2.根据权利要求1所述的通用型数据纠错方法，其特征在于，所述第二步中，还包括方法：数据包的权重值为其内部包含的多个数据单元的权重值的乘积。


3.根据权利要求1或2所述的通用型数据纠错方法，其特征在于，所述第五步中还包括方法：巡逻服务器遍历所有数据包后将替换结果对外界反馈至主服务器并清除其上存储的数据包、存储地址以及权重值。


4.根据权利要求3所述的通用型数据纠错方法，其特征在于，所述第一步中包括方法：所述主服务器接收外部存储请求以及待存储的数据后，指定一存储器为巡逻服务器，并将执行所述第四步以及所述第五步的相应代码发送至该被指定的存储器上。

<...

【专利技术属性】
技术研发人员：张立旭，
申请(专利权)人：张立旭，
类型：发明
国别省市：江苏;32