一种基于分布式存储的管理调度系统及方法技术方案

本发明专利技术公开了一种基于分布式存储的管理调度系统及方法，包括：基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析，获得分析结果；根据分析结果进行动态业务模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型，开通最优业务组模型，实现存储性能及容量资源使用的最大化。本发明专利技术将用户业务空间调度开通到存储性能和存储可用容量综合配比最优的存储节点上，提高存储资源的利用率；另外，不仅对本区域的存储资源进行建模调度分配，还同时可对关联区域的存储节点进行动态建模管理调度，最大程度提高了平台动态建模的灵活性和存储资源利用率。平台动态建模的灵活性和存储资源利用率。平台动态建模的灵活性和存储资源利用率。

【技术实现步骤摘要】
一种基于分布式存储的管理调度系统及方法


[0001]本专利技术属于存储调度管理领域，特别是涉及一种基于分布式存储的管理调度系统及方法。

技术介绍

[0002]分布式存储在实际使用中，经常碰到存储接入数和容量资源使用不均衡的情况。主要是因为早期老旧存储节点的并发性能不足，在使用中，平台预先开通的业务模型，无法根据业务发展情况，结合存储性能、存储可用容量进行动态模型调整，导致大量存储时长较小的视频空间开通到了低性能的存储点位，使存储节点的并发性能过早到达瓶颈无法再开通空间，造成大量存储空间资源浪费。

技术实现思路

[0003]本专利技术的目的是在视频监控云平台和分布式存储技术的基础上，进行动态业务组模型变更，基于一定时间段内对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态的调整原有区域的业务组模型，形成最优业务组模型,以提高平台开通空间响应速度，并实现存储性能及容量资源使用的最大化。
[0004]为实现上述目的，本专利技术提供了如下方案：一种基于分布式存储的管理调度方法，包括：
[0005]系统在初始化期间会基于人工配置基础数据或基于导入的基础业务数据，每一条业务数据对应形成一个业务模型，业务模型中记录开通的业务类型及不同业务的预计或实际开通占比，多个业务模型形成业务组模型；
[0006]基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析，获得分析结果；
[0007]根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型，形成最优业务组模型；所述最优业务组为最符合业务实际开通情况的资源需求，实现存储性能及容量资源使用的最大化。
[0008]优选地，所述基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析的过程包括，
[0009]基于分布式存储管理平台，读取数据库数据获取客户的历史业务开通数据，统计各存储区域的各业务模型的开通数量，并根据区域、业务组类型，按照数量多少进行排序，获得排序结果；根据所述排序结果分别对各区域进行动态建模，查找各区域下的存储信息及已经开通的业务组模型。
[0010]优选地，根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型的过程包括，
[0011]基于目标区域下的存储信息及已经开通的业务组模型，判断上一周期开通数量最多的业务组模型是否存在，若已经存在，统计业务组类型的剩余数量；
[0012]若不存在，查找所述目标区域下是否有合适的存储开通此类型的业务组模型；若有，动态修改存储区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。
[0013]优选地，在所述统计业务组类型的剩余数量的过程中还包括，所述业务组类型的剩余数量小于历史类型业务组开通数时，从所述目标区域的其他业务组模型扣除资源补充给所述业务组模型。
[0014]优选地，查找所述目标区域下是否有合适的存储开通此类型的业务组模型的过程中，若没有，查找共享区域是否有合适的存储；若有，动态修改共享区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。
[0015]优选地，查找所述共享区域下是否有合适的存储开通此类型的业务组模型的过程中，若没有，查找上级区域是否有合适的存储；若有，动态修改共享区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。
[0016]一种基于分布式存储的管理调度系统，包括，
[0017]外部平台及与所述外部平台对应的外部接口、内部系统及与所述内部系统对应的对外接口、应用层、服务网关、能力层、数据层、资源层；
[0018]其中，所述内部系统、外部平台分别通过对外接口、外部接口实现管理调度系统与外部的信息交互；
[0019]所述应用层用于通过划分区域实现数据信息的存储、管理与调度。
[0020]优选地，所述外部平台至少包括存储厂商平台，所述外部接口至少包括流媒体存储管理接口；
[0021]所述内部系统至少包括流媒体存储系统、视频接入云平台、统一运维、业务管理平台；
[0022]所述对外接口至少包括流媒体存储管理接口、流媒体存储业务接口、存储故障申告接口、存储业务受理接口；
[0023]其中，所述存储厂商平台与所述流媒体存储管理接口对应连接；
[0024]所述流媒体存储系统、视频接入云平台、统一运维、业务管理平台分别与所述流媒体存储管理接口、流媒体存储业务接口、存储故障申告接口、存储业务受理接口对应连接。
[0025]优选地，所述应用层包括用户管理单元、存储管理单元、日志管理单元、报表统计单元、资源调度单元、监控告警单元；
[0026]所述用户管理单元用于实现客户管理、管理员管理以及操作员管理；
[0027]所述存储管理单元用于实现存储告警、本地存储管理、数据节点管理、本地节点管理、磁盘管理、本地空间管理、空间管理、流媒体存储管理、白名单管理、信源管理；
[0028]所述日志管理单元用于管理系统日志、管理员操作日志、客户操作日志；
[0029]所述报表统计单元用于实现存储数据统计、客户数据统计、业务数据统计以及预定单管理；
[0030]所述资源调度单元用于实现共享配置、就近存储、优先配置、业务资源受理以及存储建模；
[0031]所述监控告警单元用于数据节点监控、流媒体存储监控、存储设备告警、流媒体存储告警、智慧运维、智慧存储、业务故障受理。
[0032]优选地，所述资源层用于进行边缘存储、云端存储、云存储、软件定义存储、天翼云存储以及块数据对接。
[0033]本专利技术公开了以下技术效果：
[0034]本专利技术提供的一种基于分布式存储的管理调度系统及方法，基于分布式存储管理平台进行动态业务组建模，实现存储资源动态分配，提高存储资源利用率，首先基于分布式存储管理平台对下属的存储进行性能、容量资源、已开通的业务组模型的管理，统计相应时间段内的各区域业务开通情况并进行分析，根据分析结果动态的调整原有区域的业务组模型，开通常用业务组类型，避免因为平台预先开通的业务组类型不适配实际空间业务开通情况，造成平台响应效率降低，程序临时拆分生成业务组也无法充分考虑存储性能、存储可用容量的总和配比，容易造成存储的资源浪费现象，动态建模充分实现了存储性能及容量资源使用的最大化。
[0035]本专利技术将用户业务空间调度开通到存储性能和存储可用容量综合配比最优的存储节点上，提高存储资源的利用率；另外，不仅对本区域的存储资源进行建模调度分配，还同时可对关联区域的存储节点进行动态建模管理调度，最大程度提高了平台动态建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式存储的管理调度方法，其特征在于，包括：系统在初始化期间会基于人工配置基础数据或基于导入的基础业务数据，每一条业务数据对应形成一个业务模型，业务模型中记录开通的业务类型及不同业务的预计或实际开通占比，多个业务模型形成业务组模型；基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析，获得分析结果；根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型，形成最优业务组模型；所述最优业务组为最符合业务实际开通情况的资源需求，实现存储性能及容量资源使用的最大化。2.根据权利要求1所述的基于分布式存储的管理调度方法，其特征在于，所述基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析的过程包括，基于分布式存储管理平台，读取数据库数据获取客户的历史业务开通数据，统计各存储区域的各业务模型的开通数量，并根据区域、业务组类型，按照数量多少进行排序，获得排序结果；根据所述排序结果分别对各区域进行动态建模，查找各区域下的存储信息及已经开通的业务组模型。3.根据权利要求1所述的基于分布式存储的管理调度方法，其特征在于，根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型的过程包括，基于目标区域下的存储信息及已经开通的业务组模型，判断上一周期开通数量最多的业务组模型是否存在，若已经存在，统计业务组类型的剩余数量；若不存在，查找所述目标区域下是否有合适的存储开通此类型的业务组模型；若有，动态修改存储区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。4.根据权利要求3所述的基于分布式存储的管理调度方法，其特征在于，在所述统计业务组类型的剩余数量的过程中还包括，所述业务组类型的剩余数量小于历史类型业务组开通数时，从所述目标区域的其他业务组模型扣除资源补充给所述业务组模型。5.根据权利要求3所述的基于分布式存储的管理调度方法，其特征在于，查找所述目标区域下是否有合适的存储开通此类型的业务组模型的过程中，若没有，查找共享区域是否有合适的存储；若有，动态修改共享区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果...

【专利技术属性】
技术研发人员：翁龙荣，黄定江，蒋洪月，江芸，陈峰，
申请(专利权)人：中电信数智科技有限公司，
类型：发明
国别省市：