本申请提供一种数据处理方法、装置、系统、电子设备及存储介质，该方法应用于分布式存储系统，分布式存储系统包括：若干个存储节点和若干个盘柜，各盘柜均包括若干个与各存储节点相对应的磁盘，该方法包括：获取待存储数据将任一存储节点作为目标存储节点，并将待存储数据，发送至目标存储节点；基于目标存储节点将待存储数据复制形成若干个副本数据，将若干个副本数据分散存储至不同盘柜中与目标存储节点相对应的目标磁盘。上述方案提供的方法，通过基于目标存储节点直接将副本数据存储至不同盘柜中的目标磁盘，避免了存储节点之间的数据交互，简化了数据存储流程，从而提高了分布式存储系统的数据存储效率。式存储系统的数据存储效率。式存储系统的数据存储效率。
【技术实现步骤摘要】
一种数据处理方法、装置、系统、电子设备及存储介质
[0001]本申请涉及分布式存储
，尤其涉及一种数据处理方法、装置、系统、电子设备及存储介质。
技术介绍
[0002]目前，随着存储领域对存储容量、数据容灾、可靠性等多个方面的需求变化，单台存储设备早已经显现出局限性，后来发展出可大规模扩展的，分布式的存储系统，例如基于Ceph的分布式存储系统。
[0003]在现有技术中，为了避免因分布式存储系统中某个存储节点发生而导致数据丢失，通常采用在分布式存储系统中进行数据备份存储，即将数据存储至任一存储节点后，基于该存储节点，将数据发送至其他存储节点进行备份存储。
[0004]但是，当任一存储节点向其他存储节点进行数据备份时，其他存储节点将数据成功保存到自己的非易失介质中后，回复数据已经保存成功的消息告知该存储节点。该存储节点确保所有数据副本都成功保存后，才能告知上层应用本次写入的数据保存成功，整个数据写入过程需要存储节点之间进行多次交互，且过程较为繁琐，降低了分布式存储系统的数据存储效率。
技术实现思路
[0005]本申请提供一种数据处理方法、装置、系统、电子设备及存储介质，以解决现有技术降低了分布式存储系统的数据存储效率等缺陷。
[0006]本申请第一个方面提供一种数据处理方法，应用于分布式存储系统，所述分布式存储系统包括：若干个存储节点和若干个盘柜，各所述盘柜均包括若干个与各所述存储节点相对应的磁盘，所述方法包括：
[0007]获取待存储数据；
[0008]将任一所述存储节点作为目标存储节点，并将所述待存储数据，发送至所述目标存储节点；
[0009]基于所述目标存储节点将所述待存储数据复制形成若干个副本数据，将所述若干个副本数据分散存储至不同盘柜中与所述目标存储节点相对应的目标磁盘。
[0010]可选的，所述基于所述目标存储节点将所述待存储数据复制形成若干个副本数据，将所述若干个副本数据分散存储至不同盘柜中与所述目标存储节点相对应的目标磁盘，包括：
[0011]获取所述目标存储节点的磁盘分配信息；
[0012]根据所述磁盘分配信息，确定所述目标存储节点在各所述盘柜中的目标磁盘；
[0013]根据所述副本数据的数量，在盘柜集群中随机选取相应数量的盘柜；
[0014]将所述若干个副本数据分散存储至所述盘柜中的目标磁盘。
[0015]可选的，所述方法还包括：
[0016]获取各所述存储节点的当前状态信息；
[0017]针对任一所述存储节点，根据该存储节点的当前状态信息，判断该存储节点是否为故障节点；
[0018]当任一所述存储节点为故障节点时，获取所述故障节点的磁盘分配信息；
[0019]根据所述故障节点的磁盘分配信息，在各所述盘柜中定位所述故障节点对应的故障磁盘；
[0020]获取各正常节点的负载信息；
[0021]根据各所述正常节点的负载信息，筛选目标正常节点；
[0022]将所述故障磁盘分配给所述目标正常节点，并修改所述目标正常节点的磁盘分配信息，以将所述故障磁盘信息添加至所述目标正常节点的磁盘分配信息；
[0023]其中，所述当前状态信息至少包括网络连接信息，若任一所述存储节点的网络连接信息表征该存储节点存在断网情况，则确定该存储节点为故障节点。
[0024]可选的，所述方法还包括：
[0025]获取所述分布式存储系统的用户请求数量；
[0026]当所述用户请求数量达到所述分布式存储系统的当前限值时，确定所述分布式存储系统的存储节点扩展策略，以增加新存储节点；
[0027]为所述新存储节点分配磁盘。
[0028]可选的，所述为所述新存储节点分配磁盘，包括：
[0029]在各所述盘柜中筛选空闲磁盘，将所述空闲磁盘分配至所述新存储节点，以建立所述空闲磁盘和所述新存储节点之间的对应关系。
[0030]可选的，所述为所述新存储节点分配磁盘，包括：
[0031]获取各所述存储节点的负载信息；
[0032]根据各所述存储节点的负载信息，确定待均衡分配磁盘；
[0033]将所述待均衡分配磁盘分配至所述新存储节点，以建立所述待均衡分配磁盘和所述新存储节点之间的对应关系。
[0034]本申请第二个方面提供一种数据处理装置，应用于分布式存储系统，所述分布式存储系统包括：若干个存储节点和若干个盘柜，各所述盘柜均包括若干个与各所述存储节点相对应的磁盘，所述装置包括：
[0035]获取模块，用于获取待存储数据；
[0036]发送模块，用于将任一所述存储节点作为目标存储节点，并将所述待存储数据，发送至所述目标存储节点；
[0037]存储模块，用于基于所述目标存储节点将所述待存储数据复制形成若干个副本数据，将所述若干个副本数据分散存储至不同盘柜中与所述目标存储节点相对应的目标磁盘。
[0038]可选的，所述存储模块，具体用于：
[0039]获取所述目标存储节点的磁盘分配信息；
[0040]根据所述磁盘分配信息，确定所述目标存储节点在各所述盘柜中的目标磁盘；
[0041]根据所述副本数据的数量，在盘柜集群中随机选取相应数量的盘柜；
[0042]将所述若干个副本数据分散存储至所述盘柜中的目标磁盘。
[0043]可选的，所述装置还包括：
[0044]检测模块，用于获取各所述存储节点的当前状态信息；针对任一所述存储节点，根据该存储节点的当前状态信息，判断该存储节点是否为故障节点；当任一所述存储节点为故障节点时，获取所述故障节点的磁盘分配信息；根据所述故障节点的磁盘分配信息，在各所述盘柜中定位所述故障节点对应的故障磁盘；获取各正常节点的负载信息；根据各所述正常节点的负载信息，筛选目标正常节点；将所述故障磁盘分配给所述目标正常节点，并修改所述目标正常节点的磁盘分配信息，以将所述故障磁盘信息添加至所述目标正常节点的磁盘分配信息；
[0045]其中，所述当前状态信息至少包括网络连接信息，若任一所述存储节点的网络连接信息表征该存储节点存在断网情况，则确定该存储节点为故障节点。
[0046]可选的，所述检测模块，还用于：
[0047]获取所述分布式存储系统的用户请求数量；
[0048]当所述用户请求数量达到所述分布式存储系统的当前限值时，确定所述分布式存储系统的存储节点扩展策略，以增加新存储节点；
[0049]为所述新存储节点分配磁盘。
[0050]可选的，所述检测模块，具体用于：
[0051]在各所述盘柜中筛选空闲磁盘，将所述空闲磁盘分配至所述新存储节点，以建立所述空闲磁盘和所述新存储节点之间的对应关系。
[0052]可选的，所述检测模块，具体用于：
[0053]获取各所述存储节点的负载信息；
[0054]根据各所述存储节点的负载信息，确定待均衡分配磁盘；
[0055本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，应用于分布式存储系统，所述分布式存储系统包括：若干个存储节点和若干个盘柜，各所述盘柜均包括若干个与各所述存储节点相对应的磁盘，其特征在于，所述方法包括：获取待存储数据；将任一所述存储节点作为目标存储节点，并将所述待存储数据，发送至所述目标存储节点；基于所述目标存储节点将所述待存储数据复制形成若干个副本数据，将所述若干个副本数据分散存储至不同盘柜中与所述目标存储节点相对应的目标磁盘。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标存储节点将所述待存储数据复制形成若干个副本数据，将所述若干个副本数据分散存储至不同盘柜中与所述目标存储节点相对应的目标磁盘，包括：获取所述目标存储节点的磁盘分配信息；根据所述磁盘分配信息，确定所述目标存储节点在各所述盘柜中的目标磁盘；根据所述副本数据的数量，在盘柜集群中随机选取相应数量的盘柜；将所述若干个副本数据分散存储至所述盘柜中的目标磁盘。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取各所述存储节点的当前状态信息；针对任一所述存储节点，根据该存储节点的当前状态信息，判断该存储节点是否为故障节点；当任一所述存储节点为故障节点时，获取所述故障节点的磁盘分配信息；根据所述故障节点的磁盘分配信息，在各所述盘柜中定位所述故障节点对应的故障磁盘；获取各正常节点的负载信息；根据各所述正常节点的负载信息，筛选目标正常节点；将所述故障磁盘分配给所述目标正常节点，并修改所述目标正常节点的磁盘分配信息，以将所述故障磁盘信息添加至所述目标正常节点的磁盘分配信息；其中，所述当前状态信息至少包括网络连接信息，若任一所述存储节点的网络连接信息表征该存储节点存在断网情况，则确定该存储节点为故障节点。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述分布式存储系统的用户请求数量；当所述用户请求数量达到所述分布式存储系统的当前限值时，确定所述分布式存储系...
【专利技术属性】
技术研发人员：李美欣，孟宪伟，张立强，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。