The invention discloses a processing method, a copy of the data storage system based on CEPH storage system includes: when the client receives a copy of the written data, data check on every piece of data to calculate the checksum value when writing; a copy of the CEPH storage system the client receives a read request, for each block of data check the calculated data read request read checksum; write check will read the checksum and the corresponding values are compared; when the phase at the same time, all data will be returned to the client; when not at the same time, the wrong response back to the client. By comparing the check values written and read, we can achieve the purpose of data consistency check. When the data is inconsistent, we can respond in time, and prevent the serious consequences of data errors still being used. The application also discloses a data processing device, a server and a computer readable storage medium, which has the beneficial effect.
【技术实现步骤摘要】
一种基于副本存储系统的数据处理方法及相关装置
本申请涉及计算机
,特别涉及一种基于副本存储系统的数据处理方法、数据处理装置、服务器以及计算机可读存储介质。
技术介绍
随着信息技术的发展,在互联网中有大量的数据需要存储,单个的存储系统由于性能的限制没有办法存储更多的数据,所以厂商通常会使用分布式存储系统进行存储,具体的是一种将数据分散存储在多台独立的设备上的存储系统。在众多分布式存储系统中,CEPH(分布式文件系统)是一个为优秀的性能、可靠性和可扩展性而设计的统一的分布式文件系统,可以将存储的容量扩展到PB(数据存储单位)级别。并且CEPH系统能够在维护POSIX(可移植操作系统接口)兼容性的同时,加入了副本和容错功能,两个功能分别对应了副本存储系统和纠删码存储系统。当存储的数据到达PB级别时,大量数据的IO(输入输出)读写操作容易出现数据丢失、数据错误等情况。当出现读取错误情况时对于保护数据一致性的副本存储系统的损失无疑是巨大的,可以直接导致该数据无法进行挽回。但是目前对于CEPH的副本存储系统,没有数据写入和读出一致性校验的功能,当出现错误时无法得知,容易造成严重的后果。因此,如何针对CEPH副本存储系统进行数据一致性的检验,是本领域技术人员所关注的重点问题。
技术实现思路
本申请的目的是提供一种基于副本存储系统的数据处理方法、数据处理装置、服务器以及计算机可读存储介质,通过对写入的数据和读取数据进行校验值计算,得到写入和读取的校验值,将两者进行对比就可以达到数据一致性校验的目的,当出现数据不一致的情况可以及时响应,防止出现数据错误仍然使用的严重后果。 ...
【技术保护点】
一种基于副本存储系统的数据处理方法,其特征在于,包括:当CEPH副本存储系统接收到客户端写入的数据时,对每一块所述数据进行数据校验计算得到写入校验值;当所述CEPH副本存储系统接收到所述客户端的读取请求时,对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值;将所述读取校验值和对应的所述写入校验值进行比较,得到比较结果;当所述比较结果为相同时,将所有所述数据返回给所述客户端;当所述比较结果为不相同时,向所述客户端返回错误响应。
【技术特征摘要】
1.一种基于副本存储系统的数据处理方法,其特征在于,包括:当CEPH副本存储系统接收到客户端写入的数据时,对每一块所述数据进行数据校验计算得到写入校验值;当所述CEPH副本存储系统接收到所述客户端的读取请求时,对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值;将所述读取校验值和对应的所述写入校验值进行比较,得到比较结果;当所述比较结果为相同时,将所有所述数据返回给所述客户端;当所述比较结果为不相同时,向所述客户端返回错误响应。2.根据权利要求1所述的数据处理方法,其特征在于,所述当CEPH副本存储系统接收到客户端写入的数据时,对每一块所述数据进行数据校验计算得到写入校验值,包括:所述CEPH副本存储系统接收到所述客户端发送的数据写入请求;根据所述数据写入请求,对每一块所述数据进行数据校验计算得到所述写入校验值;将所述写入校验值存储在对应的元数据信息中。3.根据权利要求2所述的数据处理方法,其特征在于,所述当所述CEPH副本存储系统接收到所述客户端的读取请求时,对所述读取请求中的每一块所述数据进行数据校验计算得到读取校验值,包括:所述客户端向所述CEPH副本存储系统发送读取请求;所述CEPH副本存储系统根据所述读取请求读取相应的所述数据;对每一块所述数据进行数据校验计算得到所述读取校验值。4.一种基于副本存储系统的数据处理装置,其特征在于,包括:写入校验模块,用于当CEPH副本存储系统接收到客户端写入的数据时,对每一块...
【专利技术属性】
技术研发人员:任东旭,
申请(专利权)人:郑州云海信息技术有限公司,
类型:发明
国别省市:河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。