一种元数据负载均衡方法、装置及电子设备制造方法及图纸

本发明专利技术公开了一种元数据负载均衡方法、装置及电子设备，应用于由多个元数据服务器组成的服务器集群中，方法包括：在各个元数据服务器中创建共享目录，以通过共享目录存储元数据信息；统计各个共享目录对应的负载参数，并确定最大负载参数与最小负载参数之间的差值；若差值达到预设阈值，将最大负载参数对应的第一共享目录中的部分元数据信息迁移至最小负载参数对应的第二共享目录中。本发明专利技术提供的技术方案，以最大负载元数据服务器和最小负载元数据服务器之间的负载参数差值为衡量，只有在差值满足预设阈值的条件时才进行元数据信息迁移，降低了元数据管理过程中的迁移次数，从而降低了中断用户操作业务的影响。降低了中断用户操作业务的影响。降低了中断用户操作业务的影响。

【技术实现步骤摘要】
一种元数据负载均衡方法、装置及电子设备


[0001]本专利技术涉及分布式文件存储系统领域，具体涉及一种元数据负载均衡方法、装置及电子设备。

技术介绍

[0002]随高清视频、图像处理、视频监控等技术的发展，用户数据容量正变得越来越大，而且用户对存储数据的读写性能的要求也在同步增加，分布式文件存储系统应运而生。元数据管理，也就是对元数据信息进行管理，是分布式文件存储系统的一个重要环节，它掌管着分布式文件存储系统的所有数据分布信息，是分布式文件存储系统的核心组件，其管理的效率高低，直接决定了分布式文件存储系统的性能高低，因此高效的元数据管理是十分重要的，大量的共享目录文件使得元数据服务器负载过大，严重影响了元数据管理效率。
[0003]现有技术首先将一个目录结构的元数据信息全部存储于一个元数据服务器上，随着目录下的目录文件不断增多，通过实时计算负载的方式，判断多个元数据服务器之间的负载是否一致，若不一致则实时迁移目录中的元数据信息，来达到多个元数据服务器之间的负载一致。但是元数据迁移时，实际物理存储地址内的文件或目录是不能被写操作的，会导致用户操作中断，而实时迁移元数据信息会严重影响用户对目录或文件进行读写的效率。因此，如何降低元数据管理过程中用户操作中断的影响是亟待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术实施方式提供了一种元数据负载均衡方法、装置及电子设备，从而降低了元数据管理过程中用户操作中断的影响。
[0005]根据第一方面，本专利技术提供了一种元数据负载均衡方法，应用于由多个元数据服务器组成的服务器集群中，所述方法包括：在各个所述元数据服务器中创建共享目录，以通过所述共享目录存储元数据信息；统计各个所述共享目录对应的负载参数，并确定最大负载参数与最小负载参数之间的差值；若所述差值达到预设阈值，将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中。
[0006]可选地，所述负载参数为共享目录中元数据信息的文件数量，所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中，包括：将所述第一共享目录中的部分元数据信息迁移至所述第二共享目录，直至所述第一共享目录与所述第二共享目录中文件数量的差值小于第二预设阈值为止。
[0007]可选地，所述负载参数还包括共享目录中的元数据信息文件的调用次数，所述确定最大负载参数与最小负载参数之间的差值，包括：计算各个元数据服务器的所述文件数量和所述调用次数的加权结果；计算最大加权结果和最小加权结果之间的差值作为所述最大负载参数与所述最小负载参数之间的差值。
[0008]可选地，所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中，包括：将所述第一共享目录中的部分元数据
信息迁移至所述第二共享目录，直至所述第一共享目录与所述第二共享目录之间的加权结果的差值小于第第三预设阈值为止。
[0009]可选地，所述方法还包括：将每次新增的子目录对应的元数据信息以循环方式添加到各个元数据服务器的共享目录中。
[0010]可选地，在所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中之前，所述方法还包括：对全部共享目录中元数据信息的调用次数进行周期性检测，并获取所述调用次数低于第四预设阈值的时间段，作为迁移时间段；若当前时间点处于所述迁移时间段内，则返回所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中的步骤；若当前时间点不处于所述迁移时间段内，则将迁移任务挂起，直至时间到达所述迁移时间段时返回所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中的步骤。
[0011]根据第二方面，本专利技术提供了一种元数据负载均衡装置，应用于由多个元数据服务器组成的服务器集群中，所述装置包括：初始化模块，用于在各个所述元数据服务器中创建共享目录，以通过所述共享目录存储元数据信息；负载计算模块，用于统计各个所述共享目录对应的负载参数，并确定最大负载参数与最小负载参数之间的差值；负载均衡模块，若所述差值达到预设阈值，用于将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中。
[0012]可选地，在所述均衡模块之前，还包括：时间检测模块，用于对全部共享目录中元数据信息的调用次数进行周期性检测，并获取所述调用次数低于第四预设阈值的时间段，作为迁移时间段；迁移模块，若当前时间点处于所述迁移时间段内，则用于返回所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中的步骤；挂起模块，若当前时间点不处于所述迁移时间段内，则用于将迁移任务挂起，直至时间到达所述迁移时间段时返回所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中的步骤。
[0013]根据第三方面，本专利技术实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面，或者第一方面任意一种可选实施方式中所述的方法。
[0014]根据第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机从而执行第一方面，或者第一方面任意一种可选实施方式中所述的方法。
[0015]本申请提供的技术方案，具有如下优点：
[0016]本申请提供的技术方案，首先在各个元数据服务器内创建共享目录，用于存储外部数据存储空间内实际子目录或文件的元数据信息，以供多个元数据服务器分工对整体目录结构进行管理。实时计算各个元数据服务器中共享目录的负载参数，只有当最大负载参数和最小负载参数超过预设阈值时，才将对应的第一共享目录中的元数据信息迁移到第二共享目录中，完成负载最大的元数据服务器和负载最小的元数据服务器之间的负载均衡，从而避免了实时调整负载，在保证各个元数据服务器负载均衡的前提下减少了元数据迁移
次数，降低了中断用户使用的影响。
[0017]此外，综合共享目录内的元数据信息的文件数量和调用次数作为负载参数，进一步提高了负载均衡计算的准确度。并且，每当有新的子目录需要增加时，将新增的子目录文件循环存储于各个元数据服务器中，使得子目录的增加尽量按照平均分配的原则，以减少后续的元数据信息迁移次数。另一方面，将元数据信息的迁移时间设置在用户访问目录或者文件次数最少的时间段，进一步降低了元数据迁移对用户操作带来的中断影响。
附图说明
[0018]通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：
[0019]图1示出了本专利技术一个实施方式中一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据负载均衡方法，其特征在于，应用于由多个元数据服务器组成的服务器集群中，所述方法包括：在各个所述元数据服务器中创建共享目录，以通过所述共享目录存储元数据信息；统计各个所述共享目录对应的负载参数，并确定最大负载参数与最小负载参数之间的差值；若所述差值达到预设阈值，将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中。2.根据权利要求1所述的方法，其特征在于，所述负载参数为共享目录中元数据信息的文件数量，所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中，包括：将所述第一共享目录中的部分元数据信息迁移至所述第二共享目录，直至所述第一共享目录与所述第二共享目录中文件数量的差值小于第二预设阈值为止。3.根据权利要求2所述的方法，其特征在于，所述负载参数还包括共享目录中的元数据信息文件的调用次数，所述确定最大负载参数与最小负载参数之间的差值，包括：计算各个元数据服务器的所述文件数量和所述调用次数的加权结果；计算最大加权结果和最小加权结果之间的差值作为所述最大负载参数与所述最小负载参数之间的差值。4.根据权利要求3所述的方法，其特征在于，所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中，包括：将所述第一共享目录中的部分元数据信息迁移至所述第二共享目录，直至所述第一共享目录与所述第二共享目录之间的加权结果的差值小于第第三预设阈值为止。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将每次新增的子目录对应的元数据信息以循环方式添加到各个元数据服务器的共享目录中。6.根据权利要求1所述的方法，其特征在于，在所述将所述最大负载参数对应的第一共享目录中的部分元数据信息迁移至所述最小负载参数对应的第二共享目录中之前，所述方法还包括：对全部共享目录中元数据信息的调用次数进行周期性检测，并获取所述调用次数低于第四预设阈值的时间段，作为迁移时间段；若当前时间点处于所述迁移时间段...

【专利技术属性】
技术研发人员：刘浩，
申请(专利权)人：新华三信息技术有限公司，
类型：发明
国别省市：