本公开涉及了一种数据存储方法、装置、设备及介质。由于任一存储层级对应的利用率是根据从属于该存储层级的叶子存储层级所包含的各存储节点的存储空间的利用率确定的，根据存储层级对应的利用率，可监控从属于该存储层级的叶子存储层级所包含的各存储节点的存储空间的使用情况，方便对各叶子存储层级下所包含的存储节点的存储空间进行管控。基于所确定的目标存储层级及其中的各个存储节点，实现从所有存储节点中快速确定比较适合存储目标数据的部分存储节点，再从位于目标存储层级下的各存储节点中快速确定目标存储节点，提高目标数据存储的效率。据存储的效率。据存储的效率。
【技术实现步骤摘要】
一种数据存储方法、装置、设备及介质
[0001]本公开涉及数据存储
，尤其涉及一种数据存储方法、装置、设备及介质。
技术介绍
[0002]在当前比较常见的分布式存储系统中，用于存储数据的存储节点通常会有很多，比如，分布式文件存储系统(Hadoop Distributed File System，HDFS)中可以有多个集群，任一集群可以包含有数百，甚至数千台用于存储数据的存储节点，使得在确定用于存储某一数据的存储节点时，可供选择的存储节点有很多。对于集群来讲，数据分布以及数据如何存储到各个存储节点至关重要，如果数据存储分布不均匀，这将不利于对数据的管理。因此，如何将数据均匀分配到各个存储节点进行存储，以便于数据管理是近几年来人们日益关注的问题。
技术实现思路
[0003]本公开提供了一种数据存储方法、装置、设备及介质，用以解决现有存储目标数据的效率低的技术问题。
[0004]本公开提供了一种数据存储方法，所述方法包括：
[0005]响应于目标数据的数据存储指令，根据每个存储层级分别对应的利用率以及所允许的预设存储范围，确定用于存储所述目标数据的目标存储层级；其中，任一存储层级对应的利用率是根据从属于该存储层级的叶子存储层级所包含的各存储节点的存储空间的利用率确定，所述叶子存储层级之下不包含有除所述叶子存储层级之外的其它的存储层级；
[0006]根据所述目标存储层级所包含的各存储节点的存储空间的利用率，确定用于存储所述目标数据的目标存储节点；
[0007]将所述目标数据存储至所述目标存储节点。
[0008]在某些可能的实施方式中，所述根据每个存储层级分别对应的利用率以及所允许的预设存储范围，确定用于存储所述目标数据的目标存储层级，包括：
[0009]A、根据参考存储层级对应的利用率及预设存储范围，确定所述参考存储层级的空闲率；其中，所述参考存储层级为预先配置的根存储层级，或，所述每个存储层级中除所述根存储层级之外的至少一个存储层级；所述根存储层级不从属于除所述根存储层级之外的其它的存储层级；
[0010]B、确定所述参考存储层级的数量是否大于1；
[0011]C、若确定所述数量不大于1，则判断所述参考存储层级之下是否包含有除所述参考存储层级之外的其它的存储层级，若包含，执行F，若不包含，执行H；
[0012]D、若确定所述数量大于1，则确定每个所述参考存储层级分别对应的空闲率中的最大值，获取所述最大值对应的参考存储层级，判断该参考存储层级是否包含有除该参考存储层级之外的其它的存储层级，若包含，执行E，若不包含，执行G；
[0013]E、根据该参考存储层级之下包含的除该参考存储层级之外的其它的存储层级，对
每个所述参考存储层级进行更新，执行步骤A；
[0014]F、根据所述参考存储层级之下包含的除所述参考存储层级之外的其它的存储层级，对所述参考存储层级进行更新，执行步骤A；
[0015]G、将该参考存储层级确定为所述目标存储层级；
[0016]H、将所述参考存储层级确定为所述目标存储层级。
[0017]在某些可能的实施方式中，所述方法还包括：
[0018]若确定所述参考存储层级的空闲率不大于预设的第一阈值，则按照预设的通知方式，将新增存储节点的提醒消息发送至预设管理设备。
[0019]在某些可能的实施方式中，确定所述叶子存储层级所包含的各存储节点，包括：
[0020]获取每个所述存储节点的存储空间分别对应的预设最大存储率；
[0021]将预设最大存储率在所述叶子存储层级对应的预设存储范围内的存储节点，确定为所述叶子存储层级所包含的各存储节点。
[0022]在某些可能的实施方式中，所述方法还包括：
[0023]接收所述存储节点在启动读写业务时发送的同步信息；
[0024]根据所述同步信息中携带的预设最大存储率，对所述存储节点对应的预设最大存储率进行更新。
[0025]在某些可能的实施方式中，所述存储节点对应的预设最大存储率是根据所述存储节点的读写速率确定的，读写速率越快的存储节点所对应的预设最大存储率越大。
[0026]在某些可能的实施方式中，所述存储节点包括固态硬盘SSD、混合硬盘HHD以及机械硬盘HDD中的至少一种。
[0027]在某些可能的实施方式中，所述SSD对应的预设最大存储率高于所述HHD对应的预设最大存储率；
[0028]所述HHD对应的预设最大存储率高于所述HDD对应的预设最大存储率。
[0029]在某些可能的实施方式中，所述根据所述目标存储层级所包含的各存储节点的存储空间的利用率，确定用于存储所述目标数据的目标存储节点，包括：
[0030]根据所述各存储节点分别对应的利用率和预设最大存储率，确定所述各存储节点分别对应的空闲率；
[0031]将所述各存储节点中，所述空闲率满足预设的存储条件的存储节点确定为所述目标存储节点。
[0032]在某些可能的实施方式中，确定所述空闲率满足预设的存储条件包括：
[0033]确定每个所述空闲率中的最大值满足预设的存储条件；和/或
[0034]确定每个所述空闲率中的任一目标空闲率满足预设的存储条件；其中，所述目标空闲率大于预设的第二阈值。
[0035]在某些可能的实施方式中，所述方法还包括：
[0036]若确定所述目标存储节点存在故障，则将所述目标存储节点在预设时间段内标记为不可用，并重新确定用于存储所述目标数据的目标存储节点。
[0037]本公开提供了一种数据处理装置，所述装置包括：
[0038]接收单元，用于接收目标数据的数据存储指令；
[0039]处理单元，用于响应于所述数据存储指令，根据每个存储层级分别对应的利用率
以及所允许的预设存储范围，确定用于存储所述目标数据的目标存储层级；其中，任一存储层级对应的利用率是根据从属于该存储层级的叶子存储层级所包含的各存储节点的存储空间的利用率确定，所述叶子存储层级之下不包含有除所述叶子存储层级之外的其它的存储层级；根据所述目标存储层级所包含的各存储节点的存储空间的利用率，确定用于存储所述目标数据的目标存储节点；
[0040]存储单元，用于将所述目标数据存储至所述目标存储节点。
[0041]在某些可能的实施方式中，所述处理单元，具体用于以下步骤：
[0042]A、根据参考存储层级对应的利用率及预设存储范围，确定所述参考存储层级的空闲率；其中，所述参考存储层级为预先配置的根存储层级，或，所述每个存储层级中除所述根存储层级之外的至少一个存储层级；所述根存储层级不从属于除所述根存储层级之外的其它的存储层级；
[0043]B、确定所述参考存储层级的数量是否大于1；
[0044]C、若确定所述数量不大于1，则判断所述参考存储层级之下是否包含有除所述参考存储层级之外的其它的存储层级，若包含，执行F，若不包含，执行H本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据存储方法，其特征在于，所述方法包括：响应于目标数据的数据存储指令，根据每个存储层级分别对应的利用率以及所允许的预设存储范围，确定用于存储所述目标数据的目标存储层级；其中，任一存储层级对应的利用率是根据从属于该存储层级的叶子存储层级所包含的各存储节点的存储空间的利用率确定，所述叶子存储层级之下不包含有除所述叶子存储层级之外的其它的存储层级；根据所述目标存储层级所包含的各存储节点的存储空间的利用率，确定用于存储所述目标数据的目标存储节点；将所述目标数据存储至所述目标存储节点。2.根据权利要求1所述的方法，其特征在于，所述根据每个存储层级分别对应的利用率以及所允许的预设存储范围，确定用于存储所述目标数据的目标存储层级，包括：A、根据参考存储层级对应的利用率及预设存储范围，确定所述参考存储层级的空闲率；其中，所述参考存储层级为预先配置的根存储层级，或，所述每个存储层级中除所述根存储层级之外的至少一个存储层级；所述根存储层级不从属于除所述根存储层级之外的其它的存储层级；B、确定所述参考存储层级的数量是否大于1；C、若确定所述数量不大于1，则判断所述参考存储层级之下是否包含有除所述参考存储层级之外的其它的存储层级，若包含，执行F，若不包含，执行H；D、若确定所述数量大于1，则确定每个所述参考存储层级分别对应的空闲率中的最大值，获取所述最大值对应的参考存储层级，判断该参考存储层级是否包含有除该参考存储层级之外的其它的存储层级，若包含，执行E，若不包含，执行G；E、根据该参考存储层级之下包含的除该参考存储层级之外的其它的存储层级，对每个所述参考存储层级进行更新，执行步骤A；F、根据所述参考存储层级之下包含的除所述参考存储层级之外的其它的存储层级，对所述参考存储层级进行更新，执行步骤A；G、将该参考存储层级确定为所述目标存储层级；H、将所述参考存储层级确定为所述目标存储层级。3.根据权利要求1所述的方法，其特征在于，确定所述叶子存储层级所包含的各存储节点，包括：获取每个所述存储节点的存储空间分别对应的预设最大存储率；将预设最大存储率在所述叶子存储层级对应的预设存储范围内的存储节点，确...
【专利技术属性】
技术研发人员：余利华，蒋鸿翔，范欣欣，祝江华，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。