数据存储方法及设备技术

本发明专利技术实施例公开了数据存储方法及设备，应用于信息管理技术领域。本发明专利技术实施例中的数据存储方法包括：将写请求中请求储存的文件分割成对象数据；将所述对象数据分成两份以上片段数据；同时计算所述两份以上片段数据对应的片段数据内容标识；将所述两份以上片段数据对应的片段数据内容标识，拼接成新的标识作为所述对象数据的对象数据内容标识；根据所述对象数据内容标识，储存所述文件对应的对象数据。和现有技术中在对写请求中请求储存的数据储存的过程中，串行计算数据内容标识相比，本实施例的方法可以同时计算多个片段数据对应的片段数据内容标识，这样可以减少计算对象数据内容标识的消耗时间，加快计算速度，从而优化了系统性能。

【技术实现步骤摘要】

本专利技术涉及信息
，特别涉及数据存储方法及设备。
技术介绍
在如今的海量数据信息中，有超过75%的信息是属于固定内容(Fixed Content)的数据，而基于内容存储(Content Aware Storage, CAS)技术是近年来提出来的一种适合于固定内容存储的存储技术，这一技术越来越多的集成到现有的各种应用系统和网络存储系统中。一个典型的CAS系统包括客户端和服务器，客户端通过网络存储传输协议，如网络文件系统协议(NFS)，通用网络文件系统(CIFS)等，并以文件的方式访问服务器中的数据。在上述现有技术进行实践和研究的过程中，本专利技术的专利技术人发现当客户端发送写请求给服务器请求储存文件时，服务器会经过制造对象(Make_objeCt)子过程、制造对象标识(Make_object_ID)子过程、查找对象元数据(Search_object_metadata)子过程、输入输出(IO)子过程和写对象元数据(Write_object_metadata)子过程。当客户端发送读请求给服务器请求读取文件时，服务器会经过查找对象标识子过程和数据读取子过程。在上述系统对数据进行存储和读取的过程中，对多个请求的操作过程复杂，会消耗比较大的系统资源。
技术实现思路
本专利技术实施例提供数据存储及设备，优化了系统性能。本专利技术实施例提供一种数据存储方法，包括将写请求中请求储存的文件分割成对象数据；将所述对象数据分成两份以上片段数据；同时计算所述两份以上片段数据对应的片段数据内容标识；将所述两份以上片段数据对应的片段数据内容标识，拼接成新的标识作为所述对象数据的对象数据内容标识； 根据所述对象数据内容标识，储存所述文件对应的对象数据。本专利技术实施例提供一种数据存储设备，包括第二分割单元，用于将写请求中请求储存的文件分割成对象数据；第二片段划分单元，用于将所述第二分割单元分割的对象数据分成两份以上片段数据；第二片段标识计算单元，用于同时计算所述第二片段划分单元划分的两份以上片段数据对应的片段数据内容标识；第二拼接单元，用于将所述第二片段标识计算单元计算的两份以上片段数据对应的片段数据内容标识，拼接成新的标识作为所述对象数据的对象数据内容标识；第二存储单元，用于根据所述第二拼接单元得到的对象数据内容标识，储存所述文件对应的对象数据。本专利技术实施例中的数据存储方法包括将写请求中请求储存的文件分割成对象数据；将所述对象数据分成两份以上片段数据；同时计算所述两份以上片段数据对应的片段数据内容标识；将所述两份以上片段数据对应的片段数据内容标识，拼接成新的标识作为所述对象数据的对象数据内容标识；根据所述对象数据内容标识，储存所述文件对应的对象数据。和现有技术中在对写请求中请求储存的数据储存的过程中，串行计算数据内容标识相比，本实施例的方法可以同时计算多个片段数据对应的片段数据内容标识，这样可以减少计算对象数据内容标识的消耗时间，加快计算速度，从而优化了系统性能。附图说明 为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图I是方法实施例一提供的数据存储方法的流程图；图2是方法实施例二提供的数据存储方法的流程图；图3是方法实施例二提供的数据存储方法中根据数据内容标识储存写请求对应的对象数据的流程图；图4是方法实施例二提供的数据存储方法中计算写请求对应的对象数据的数据内容标识的流程图；图5是方法实施例三提供的数据存储方法的流程图；图6是方法实施例四提供的数据读取方法的流程图；图7是设备实施例一提供的数据存储设备的结构示意图；图8是设备实施例二提供的数据存储设备的结构示意图；图9是设备实施例二提供的数据存储设备中标识计算单元的结构示意图；图10是设备实施例三提供的数据存储设备的结构示意图；图11是设备实施例四提供的数据读取设备的结构示意图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。方法实施例一一种数据存储方法，且本实施例的方法可适用于数据处理系统，当服务器接收到客户端的写请求后，对数据的存储方法，流程图如图I所示，包括步骤101、第一线程池单元将第一写请求中请求储存的文件分割成对象数据；步骤102、第一线程池单元将第二写请求中请求储存的文件分割成对象数据，同时第二线程池单元对所述第一写请求对应的对象数据进行储存。本实施例中需要将文件分割成对象数据的过程，即制造对象子过程，与储存对象数据的过程，在不同的线程池单元中执行，分别用不同的中央处理单元(CPU)同时执行各自的步骤。且上述第一写请求和第二写请求并不是表示顺序关系，而是为了区别不同的写请求，以下文件中提到的第一、第二等也是为了区别不同的信息、数据、请求或消息等。可见，本专利技术实施例中的数据存储方法包括将第一写请求中请求储存的文件分割成对象数据，将第二写请求中，请求储存的文件分割成对象数据，同时对所述第一写请求对应的对象数据进行储存。和现有技术中需要将一个写请求中请求储存的数据进行储存后，再处理另一写请求中请求储存的数据相比，本实施例的数据存储方法可以同步对不同的写请求进行处理，可以降低系统的消耗资源，提升数据储存的速率，从而优化系统性能。方法实施例二 一种数据存储方法，且本实施例的方法可适用于数据处理系统，当服务器接收到客户端的写请求后，对数据的存储方法，流程图如图2所示，包括步骤201、第一线程池单元将第一写请求中请求储存的文件分割成对象数据，将第二写请求中请求储存的文件分割成对象数据；在第一线程池单元将第二写请求中，请求储存的文件分割成对象数据的同时，第二线程池单元对所述第一写请求对应的对象数据进行储存；本实施例中，第二线程池单元对所述第一写请求对应的对象数据进行储存是通过如下步骤来实现，主要是通过第一子单元和第二子单元来完成步骤202、第一子单元计算所述第一写请求对应的对象数据的第一数据内容标识；这里，第一数据内容标识是能唯一标识对象数据的，具体地，可以通过哈希(Hash)算法，如利用信息-摘要算法5 (MD5)和安全哈希算法(SHAl)计算，得到的Hash值即为对象数据对应的数据内容标识。步骤203、第二子单元根据所述第一数据内容标识储存所述第一写请求对应的对象数据；在本实施例中，第一子单元在执行步骤202所述的计算第一数据内容标识后，且在第二子单元执行步骤203所述的根据所述第一数据内容标识储存对象数据的同时，步骤202还包括第一子单元计算第二写请求对应的对象数据的第二数据内容标识；而步骤203中第二子单元在储存第一写请求对应的对象数据后，储存第二写请求对应的对象数据。上述步骤201通过第一线程池单元完成，步骤202和203通过第二线程池单元完成，比如，通过第一线程池单元中包括的第一子单元和第二子单元分别完成步骤202和203。这里的第一数据内容本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括 将写请求中请求储存的文件分割成对象数据； 将所述对象数据分成两份以上片段数据； 同时计算所述两份以上片段数据对应的片段数据内容标识； 将所述两份以上片段数据对应的片段数据内容标识，拼接成新的标识作为所述对象数据的对象数据内容标识； 根据所述对象数据内容标识，储存所述文件对应的对象数据。2.如权利要求I所述的方法，其特征在于，所述将所述对象数据分成两份以上片段数据具体包括按照数据大小，将一个写请求对应的对象数据平均分成两份以上片段数据； 或按照系统中预置的规则来划分片段数据。3.如权利要求I所述的方法，其特征在于，在所述将写请求中请求储存的文件分割成对象数据后，在对所述对象数据分成两份以上片段数据的同时，将另一写请求中请求储存的文件分割成对象数据。4.如权利要求I所述的方法，其特征在于，在不同的中央处理单元CPU上同步并行执行各自步骤，所述步骤为所述分割成对象数据、分成片段数据、计算片段数据内容标识、拼接或储存。5.如权利要求I至4任一项所述的方法，其特征在于，所述根据所述对象数据内容标识，储存所述文件对应的对象数据具体包括...

【专利技术属性】
技术研发人员：汪东升，刘川意，鞠大鹏，王奇，张巍，吕先红，曹振奇，
申请(专利权)人：华为数字技术成都有限公司，清华大学，
类型：发明
国别省市：