数据对象存储方法技术

本申请涉及一种数据对象存储方法

【技术实现步骤摘要】
数据对象存储方法、装置、计算机设备和存储介质


[0001]本申请涉及对象存储
，特别是涉及一种数据对象存储方法
、
装置
、
计算机设备
、
存储介质和计算机程序产品
。

技术介绍

[0002]在大数据的背景下，在进行数据存储时，若采用文件存储方式，由于数据量较大可能会出现上传下载速度较慢，从而影响数据的存储效率
。
因此出现了对象存储的方案，对象存储的方案主要是把数据和元数据进行拆分，以数据对象的形式进行存储，如将数据对象存储于存储桶内
。
然而，在数据对象存入到存储桶后，立即读到的数据未必是最新数据，可能会导致数据读取存在不完整或不准确的问题，这样无法满足写后读的应用场景
。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种数据对象存储方法
、
装置
、
计算机设备
、
计算机可读存储介质和计算机程序产品，能够确保存入的数据可以立即被读取，保证了数据强一致性
。
[0004]第一方面，本申请提供了一种数据对象存储方法
。
所述方法包括：
[0005]在临时目录下创建元数据级的临时文件；
[0006]将目标数据的数据块并发向存储容器上传，获得所述目标数据的索引信息；
[0007]将所述目标数据的索引信息与所述临时文件关联，得到临时数据文件；
[0008]依据所述目标数据对应的文件路径在对象目录下创建第一文件目录；
[0009]将所述临时数据文件移动至所述第一文件目录下，得到所述第一文件目录下的目标数据文件
。
[0010]第二方面，本申请还提供了一种数据对象存储装置
。
所述装置包括：
[0011]第一创建模块，用于在临时目录下创建元数据级的临时文件；
[0012]上传模块，用于将目标数据的数据块并发向存储容器上传，获得所述目标数据的索引信息；
[0013]关联模块，用于将所述目标数据的索引信息与所述临时文件关联，得到临时数据文件；
[0014]第二创建模块，用于依据所述目标数据对应的文件路径在对象目录下创建第一文件目录；
[0015]移动模块，用于将所述临时数据文件移动至所述第一文件目录下，得到所述第一文件目录下的目标数据文件
。
[0016]第三方面，本申请还提供了一种计算机设备
。
所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0017]在临时目录下创建元数据级的临时文件；
[0018]将目标数据的数据块并发向存储容器上传，获得所述目标数据的索引信息；
[0019]将所述目标数据的索引信息与所述临时文件关联，得到临时数据文件；
[0020]依据所述目标数据对应的文件路径在对象目录下创建第一文件目录；
[0021]将所述临时数据文件移动至所述第一文件目录下，得到所述第一文件目录下的目标数据文件
。
[0022]第四方面，本申请还提供了一种计算机可读存储介质
。
所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0023]在临时目录下创建元数据级的临时文件；
[0024]将目标数据的数据块并发向存储容器上传，获得所述目标数据的索引信息；
[0025]将所述目标数据的索引信息与所述临时文件关联，得到临时数据文件；
[0026]依据所述目标数据对应的文件路径在对象目录下创建第一文件目录；
[0027]将所述临时数据文件移动至所述第一文件目录下，得到所述第一文件目录下的目标数据文件
。
[0028]第五方面，本申请还提供了一种计算机程序产品
。
所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0029]在临时目录下创建元数据级的临时文件；
[0030]将目标数据的数据块并发向存储容器上传，获得所述目标数据的索引信息；
[0031]将所述目标数据的索引信息与所述临时文件关联，得到临时数据文件；
[0032]依据所述目标数据对应的文件路径在对象目录下创建第一文件目录；
[0033]将所述临时数据文件移动至所述第一文件目录下，得到所述第一文件目录下的目标数据文件
。
[0034]上述数据对象存储方法
、
装置
、
计算机设备
、
存储介质和计算机程序产品，在临时目录下创建元数据级的临时文件；将目标数据的数据块并发向存储容器上传，获得目标数据的索引信息；将目标数据的索引信息与临时文件关联，得到临时数据文件，因此若在上传过程中出现异常，数据均停留在临时目录下
。
此外，依据目标数据对应的文件路径在对象目录下创建第一文件目录；将临时数据文件移动至第一文件目录下，得到第一文件目录下的目标数据文件，因此即便在上传过程中出现异常，数据均停留在临时目录下，从而确保了在对象目录下的文件数据是完整的，而且满足数据强一致性的要求，在进行数据读取时，可以有效保证数据的完整性和准确性
。
附图说明
[0035]图1为一个实施例中数据对象存储方法的应用环境图；
[0036]图2为一个实施例中数据对象存储方法的流程示意图；
[0037]图3为一个实施例中目录树的结构示意图；
[0038]图4为另一个实施例中目录树的结构示意图；
[0039]图5为一个实施例中将临时数据文件从临时目录移至对象目录的示意图；
[0040]图6为另一个实施例中将临时数据文件从临时目录移至对象目录的示意图；
[0041]图7为一个实施例中依据索引信息读取目标数据文件的流程示意图；
[0042]图8为另一个实施例中数据对象存储方法的流程示意图；
[0043]图9为一个实施例中分块上传的流程示意图；
[0044]图
10
为一另个实施例中分块上传的流程示意图；
[0045]图
11
为一个实施例中对目标文件进行状态迁移的流程示意图；
[0046]图
12
为一个实施例中
MPU
文件
、Part
文件和
Block
之间的逻辑关系以及数据上传的示意图；
[0047]图
13
为一个实施例中数据对象存储装置的结构框图；
[0048]图
14
为一个实施例中计算机设备的内部结构图
。
具体实施方式
[0049]为了使本申请的目的
、
技术方案及优点更加清楚明白，以下结合附图及实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据对象存储方法，其特征在于，所述方法包括：在临时目录下创建元数据级的临时文件；将目标数据的数据块并发向存储容器上传，获得所述目标数据的索引信息；将所述目标数据的索引信息与所述临时文件关联，得到临时数据文件；依据所述目标数据对应的文件路径在对象目录下创建第一文件目录；将所述临时数据文件移动至所述第一文件目录下，得到所述第一文件目录下的目标数据文件
。2.
根据权利要求1所述的方法，其特征在于，所述在临时目录下创建元数据级的临时文件之前，所述方法还包括：在文件系统根目录下新建所述临时目录和所述对象目录；其中，所述临时目录配置为对上传所述目标数据的用户对象不可见，所述对象目录配置为对上传所述目标数据的用户对象可见
。3.
根据权利要求1所述的方法，其特征在于，所述将目标数据的数据块并发向存储容器上传，获得所述目标数据的索引信息包括：将目标数据进行切块处理，得到数据块；将各所述数据块并发向存储容器上传，并在上传过程中确定各所述数据块对应的块偏移值；基于所述块偏移值和块大小确定所述目标数据的索引信息
。4.
根据权利要求1所述的方法，其特征在于，所述将所述目标数据的索引信息与所述临时文件关联包括：当所述目标数据的各数据块均并发上传至所述存储容器时，将所述目标数据的索引信息与所述临时文件关联；所述方法还包括：当所述目标数据的至少一个数据块在上传过程中出现异常时，停止将所述目标数据的索引信息与所述临时文件关联；对在所述临时目录下创建的临时文件进行清理
。5.
根据权利要求1所述的方法，其特征在于，所述将所述临时数据文件移动至所述第一文件目录下，得到所述第一文件目录下的目标数据文件包括：当所述第一文件目录下不存在目标数据文件时，对所述临时数据文件进行重命名操作，得到目标数据文件；将所述目标数据文件移动至所述第一文件目录下，得到所述第一文件目录下的目标数据文件
。6.
根据权利要求5所述的方法，其特征在于，所述方法还包括：当所述第一文件目录下存在与所述临时数据文件对应的低于目标版本的数据文件时，基于所述临时数据文件对所述第一文件目录下的数据文件进行更新，得到所述第一文件目录下的目标数据文件；当所述第一文件目录下存在与所述目标数据文件对应的高于所述目标版本的数据文件时，拒绝将所述目标数据文件移动至所述第一文件目录下；其中，所述目标版本是所述临时数据文件对应的版本
。7.
根据权利要求1所述的方法，其特征在于，所述将所述临时数据文件移动至所述第一
文件目录下之后，所述方法还包括：接收针对所述目标数据文件的读取请求；响应于所述目标数据文件的读取请求，读取所述目标数据文件中数据块的块大小和块偏移值；根据所述数据块的块大小和块偏移值，确定所述目标数据文件的索引信息；依据所述目标数据文件的索引信息，读取所述存储容器中的目标数据文件
。8.
根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述临时目录下创建元数据级的临时分块文件；生成上传标识，并将所述上传标识和媒体数据的文件路径与所述临时分块文件进行关联，得到关联文件；当所述媒体数据以片段文件的方式并发向其它存储容器上传时，将各所述片段文件与所述关联文件进行关联，得到临时分块数据文件；依据所述临时分块数据文件对应的文件路径，在所述对象目录下创建第二文件目录；将所述临时分块数据文件移动至所述第二文件目录下，得到所述第二文件目录下的目标分块数据文件
。9.
根据权利要求8所述的方法，其特征在于，所述方法还包括：当所述媒体数据以片段文件的方式并发向其它存储容器上传时，确定各所述片段文件的第一文件偏移值；在文件系统根目录下新增用于存放各所述片段文件的片段目录；新增用于存放所述第一文件偏移值的片段文件表
。10.
根据权利要求9所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：张伟，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：