本发明专利技术公开了一种对象数据的存储方法、装置及介质，适用于数据存储技术领域。借助AEP文件低延时、非易失、寿命高的特点，将待聚合的对象数据写入AEP文件中，控制聚合线程遍历AEP文件内的对象数据；当对象数据满足聚合要求时，对满足聚合要求的对象数据聚合为rados对象，并下刷至HDD盘中以便完成对象数据的存储。将现有的离线聚合从NVME盘向HDD盘的数据写入调整为AEP文件到HDD盘，缓解了现有的离线聚合方式的写放大、下刷不及时的问题，提高对象的写入速度和聚合效率，通过对象聚合，减少rados对象的数量，提高重构速度和系统的性能，同时提高HDD盘的空间利用率和故障恢复速度。高HDD盘的空间利用率和故障恢复速度。高HDD盘的空间利用率和故障恢复速度。
【技术实现步骤摘要】
一种对象数据的存储方法、装置及介质
[0001]本专利技术涉及数据存储
，特别是涉及一种对象数据的存储方法、装置及介质。
技术介绍
[0002]随着互联网的发展，互联网数据量越来越大，分布式对象存储应运而生，该新兴的存储方式，适用于图片、视频等非结构化数据的存储，同时具有块存储高速直接访问磁盘以及文件存储分布式共享的特点，故得到广泛的发展与应用。
[0003]目前在分布式对象存储中，存在的海量小对象数据在存储故障发生时，以小对象数据为单位进行数据的恢复导致的时间较长影响用户业务。基于此，针对海量小对象实现小对象聚合，将多个小对象聚合为一个大对象，将对象写入以逻辑设备接口规范协议(Non
‑
Volatile Memory express，NVME)为介质的固态硬盘的缓存池中，再使用聚合线程离线扫描待聚合的小对象数据，聚合为大对象后下刷到以硬盘驱动器(Hard Disk Drive，HDD)为介质的机械硬盘的数据池中。与此同时，由于以NVME存在明显的擦写次数缺陷，频繁的写入存在聚合时写放大，对应删除NVME固态硬盘的数据影响其NVME固态硬盘的工作寿命；离线聚合的方式需要频繁扫描小对象，由于存在海量的小对象数据，在下刷过程中可能会占用其他工作业务的线程导致的下刷不及时的现象产生，导致存储的可靠性降低，影响用户的体验效果。
[0004]因此，寻求一种对象数据的存储方法是本领域技术人员亟需要解决的。
技术实现思路
[0005]本专利技术的目的是提供一种对象数据的存储方法、装置及介质，缓解了现有的离线聚合方式的写放大、下刷不及时的问题，提高对象的写入速度和聚合效率。
[0006]为解决上述技术问题，本专利技术提供一种对象数据的存储方法，包括：
[0007]获取前端业务写入本地系统的待聚合的对象数据；
[0008]将对象数据的数据部分保存至AEP文件中，其中，对象数据包括数据部分和元数据部分；
[0009]控制聚合线程遍历AEP文件内的对象数据；
[0010]当对象数据满足聚合要求时，对满足聚合要求的对象数据聚合为rados对象，并下刷至HDD盘中以便完成对象数据的存储。
[0011]优选地，在获取前端业务写入本地系统的待聚合的对象数据之前，还包括：
[0012]接收写入本地系统的初始对象数据以及对应的存储字节；
[0013]判断初始对象数据的存储字节是否小于或等于预设存储字节；
[0014]若是，则确定初始对象数据为待聚合的对象数据。
[0015]优选地，聚合要求为对象数据的存储字节等于存储阈值，其中存储阈值大于预设存储字节，确定对象数据满足聚合要求，包括：
[0016]获取AEP文件的对象数据对应的存储字节；
[0017]选取前N个对象数据并统计前N个对象数据的存储字节；
[0018]判断前N个对象数据的存储字节是否达到存储阈值；
[0019]若是，则确定前N个对象数据满足聚合要求；
[0020]若否，则选取第N+1个对象数据，并将前N+1个对象数据作为新的前N个对象数据，并返回至选取前N个对象数据并统计前N个对象数据的存储字节的步骤，直至将聚合任务内的对象数据的存储字节满足聚合要求。
[0021]优选地，还包括：
[0022]获取对象数据的数据部分在AEP文件的位置信息以及偏移量；
[0023]将位置信息、偏移量与对象数据的元数据部分存储至NVME盘；
[0024]其中，将元数据部分存储至NVME盘，包括：
[0025]根据桶ID与对象名的映射方式将元数据部分存储至NVME盘。
[0026]优选地，还包括：
[0027]获取待读取对象数据；
[0028]根据待读取对象数据的桶ID以及对象名在NVME盘中查找对应的radios对象；
[0029]根据待读取对象数据的radios对象的元数据部分查找待读取对象数据的数据部分的位置信息；
[0030]判断待读取对象数据的当前状态是否为聚合状态；
[0031]若是，则在HDD盘中根据位置信息读写待读取对象数据的数据部分；
[0032]若否，则在AEP文件中根据位置信息读写待读取对象数据的数据部分。
[0033]优选地，在将对象数据的数据部分保存至AEP文件中之后，还包括：
[0034]将对象数据对应的记录信息保存至AEP文件中，以便于对象数据的存储过程掉电重启，遍历AEP文件的记录信息并读取至内存。
[0035]优选地，在对满足聚合要求的对象数据聚合为rados对象，并下刷至HDD盘之后，还包括：
[0036]修改rados对象对应的对象数据的元数据部分、对应的位置信息和偏移量并存储至NVME盘；
[0037]删除AEP文件中rados对象的对象数据以及记录信息。
[0038]为解决上述技术问题，本专利技术还提供一种对象数据的存储装置，包括：
[0039]获取模块，用于获取前端业务写入本地系统的待聚合的对象数据；
[0040]保存模块，用于将对象数据的数据部分保存至AEP文件中，其中，对象数据包括数据部分和元数据部分；
[0041]遍历模块，用于控制聚合线程遍历AEP文件内的对象数据；
[0042]聚合模块，用于当对象数据满足聚合要求时，对满足聚合要求的对象数据聚合为rados对象，并下刷至HDD盘中以便完成对象数据的存储。
[0043]为解决上述技术问题，本专利技术还提供一种对象数据的存储装置，包括：
[0044]存储器，用于存储计算机程序；
[0045]处理器，用于执行计算机程序时实现如上述对象数据的存储方法的步骤。
[0046]为解决上述技术问题，本专利技术还提供一种计算机可读存储介质，计算机可读存储
介质上存储有计算机程序，计算机程序被处理器执行时实现如上述对象数据的存储方法的步骤。
[0047]本专利技术提供的一种对象数据的存储方法，包括：获取前端业务写入本地系统的待聚合的对象数据；将对象数据的数据部分保存至AEP文件中，其中，对象数据包括数据部分和元数据部分；控制聚合线程遍历AEP文件内的对象数据；当对象数据满足聚合要求时，对满足聚合要求的对象数据聚合为rados对象，并下刷至HDD盘中以便完成对象数据的存储。该方法借助AEP文件低延时、非易失、寿命高的特点，将待聚合的对象数据写入AEP文件中，将现有的离线聚合从NVME盘向HDD盘的数据写入调整为AEP文件到HDD盘，缓解了现有的离线聚合方式的写放大、下刷不及时的问题，提高对象的写入速度和聚合效率，通过对象聚合，减少rados对象的数量，提高重构速度和系统的性能，同时提高HDD盘的空间利用率和故障恢复速度。
[0048]另外，本专利技术还提供了一种对象数据的存储装置及介质，具有如上述对象数据的存储方法相同的有益效果。
附图说明
[0049]为了更清楚地说明本专利技术实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种对象数据的存储方法，其特征在于，包括：获取前端业务写入本地系统的待聚合的对象数据；将所述对象数据的数据部分保存至AEP文件中，其中，所述对象数据包括所述数据部分和元数据部分；控制聚合线程遍历所述AEP文件内的所述对象数据；当所述对象数据满足聚合要求时，对满足所述聚合要求的对象数据聚合为rados对象，并下刷至HDD盘中以便完成所述对象数据的存储。2.根据权利要求1所述的对象数据的存储方法，其特征在于，在所述获取前端业务写入本地系统的待聚合的对象数据之前，还包括：接收写入所述本地系统的初始对象数据以及对应的存储字节；判断所述初始对象数据的存储字节是否小于或等于预设存储字节；若是，则确定所述初始对象数据为所述待聚合的对象数据。3.根据权利要求2所述的对象数据的存储方法，其特征在于，所述聚合要求为所述对象数据的存储字节等于存储阈值，其中所述存储阈值大于所述预设存储字节，确定所述对象数据满足所述聚合要求，包括：获取所述AEP文件的所述对象数据对应的存储字节；选取前N个所述对象数据并统计所述前N个所述对象数据的存储字节；判断所述前N个所述对象数据的存储字节是否达到所述存储阈值；若是，则确定所述前N个所述对象数据满足所述聚合要求；若否，则选取第N+1个所述对象数据，并将前N+1个所述对象数据作为新的所述前N个所述对象数据，并返回至所述选取前N个所述对象数据并统计所述前N个所述对象数据的存储字节的步骤，直至将所述聚合任务内的所述对象数据的存储字节满足所述聚合要求。4.根据权利要求1至3任意一项所述的对象数据的存储方法，其特征在于，还包括：获取所述对象数据的所述数据部分在所述AEP文件的位置信息以及偏移量；将所述位置信息、所述偏移量与所述对象数据的所述元数据部分存储至NVME盘；其中，将所述元数据部分存储至所述NVME盘，包括：根据桶ID与对象名的映射方式将所述元数据部分存储至所述NVME盘。5.根据权利要求4所述的对象数据的存储方法，其特征在于，还包括：获取待读取对象数据；根据所述待读取对象数...
【专利技术属性】
技术研发人员：程晓煜，陶桐桐，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。