本发明专利技术公开了异构存储全局管理调度方法和系统、电子设备及存储介质，包括：获取待存储文件；获取服务器资源信息、平台能力信息以及存储资源信息，根据服务器资源信息、平台能力信息以及存储资源信息确定各待存储文件的目标存储类型和目标存储位置；根据目标存储类型确定各待存储文件对应的目标存储协议，并根据目标存储位置调用对应的存储资源接入服务；根据目标存储协议，利用存储资源接入服务对各待存储文件进行文件上传存储。本发明专利技术在保障存储资源高可用性的前提下实现了存储资源自动异地调度，增强了数据存储的灾备能力，提高了数据异构存储的效率和可靠性，可应用于数据存储技术领域。技术领域。技术领域。
【技术实现步骤摘要】
异构存储全局管理调度方法和系统、电子设备及存储介质
[0001]本专利技术涉及数据存储
，尤其是一种异构存储全局管理调度方法和系统、电子设备及存储介质。
技术介绍
[0002]在视频监控领域中存在大量视频存储的场景，随着技术迭代及云技术的发展，关于视频存储的存储介质从原始磁盘阵列发展到对象存储，但磁盘阵列与对象存储也都存在存储资源跨网络的瓶颈。
[0003]针对多种异构存储，以往的存储管理系统无法做到集中化纳管、统一化调度，往往需要部署不同系统甚至集成不同厂家的系统，尤其是涉及到天翼云及云专网的对象存储与本地存储资源的跨网调度的存储场景，传统存储管理系统无法实现有效兼容，影响了数据异构存储的效率和可靠性。此外，多类存储资源跨网络的异构管理为运维人员针对问题的排查增加了不确定性，影响了存储资源的高可用性。
技术实现思路
[0004]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0005]为此，本专利技术实施例的一个目的在于提供一种异构存储全局管理调度方法，该方法提高了数据异构存储的效率和可靠性，保障了存储资源的高可用性。
[0006]本专利技术实施例的另一个目的在于提供一种异构存储全局管理调度系统。
[0007]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0008]第一方面，本专利技术实施例提供了一种异构存储全局管理调度方法，包括以下步骤：
[0009]获取待存储文件；
[0010]获取服务器资源信息、平台能力信息以及存储资源信息，根据所述服务器资源信息、所述平台能力信息以及所述存储资源信息确定各所述待存储文件的目标存储类型和目标存储位置；
[0011]根据所述目标存储类型确定各所述待存储文件对应的目标存储协议，并根据所述目标存储位置调用对应的存储资源接入服务；
[0012]根据所述目标存储协议，利用所述存储资源接入服务对各所述待存储文件进行文件上传存储。
[0013]进一步地，在本专利技术的一个实施例中，所述获取待存储文件这一步骤，其具体包括：
[0014]根据数据流地址获取待存储数据流；
[0015]对所述待存储数据流进行解析处理得到多个数据帧，并确定各所述数据帧的编码格式；
[0016]根据所述编码格式对所述数据帧进行分类，并对同一编码格式的所述数据帧进行封装处理，得到多个所述待存储文件。
[0017]进一步地，在本专利技术的一个实施例中，所述获取服务器资源信息、平台能力信息以及存储资源信息这一步骤，其具体包括：
[0018]通过服务器资源API获取所述服务器资源信息，所述服务器资源信息包括各服务器的服务器配置和服务器使用状态；
[0019]通过平台能力API获取所述平台能力信息，所述平台能力信息包括各平台能力的实时服务状态、归属服务器、实时网络环境以及实时网络带宽；
[0020]通过存储资源API获取所述存储资源信息，所述存储资源信息包括各存储资源的存储资源类型、存储空间大小、当前存储状态、存储流化实时速度以及IPOS指标；
[0021]其中，所述服务器资源API、所述平台能力API以及所述存储资源API均与前端页面进行对接，所述前端页面用于展示与配置所述服务器资源信息、所述平台能力信息以及所述存储资源信息。
[0022]进一步地，在本专利技术的一个实施例中，所述根据所述服务器资源信息、所述平台能力信息以及所述存储资源信息确定各所述待存储文件的目标存储类型和目标存储位置这一步骤，其具体包括：
[0023]根据所述存储流化实时速度和所述IPOS指标确定各所述存储资源的可用存储流化速度，并根据所述存储空间大小和所述当前存储状态确定各所述存储资源的可用存储空间；
[0024]根据所述可用存储流化速度和所述可用存储空间对各所述待存储文件进行存储资源分配，确定各所述待存储文件对应的第一存储资源；
[0025]根据所述第一存储资源对应的所述存储资源类型确定所述目标存储类型；
[0026]根据所述实时服务状态、所述实时网络环境以及所述实时网络带宽确定所述第一存储资源对应的若干个第一平台能力；
[0027]根据所述服务器配置、所述服务器使用状态以及所述第一平台能力对应的所述归属服务器，确定所述第一存储资源对应的若干个第一服务器，并根据所述第一服务器确定所述目标存储位置。
[0028]进一步地，在本专利技术的一个实施例中，所述根据所述目标存储类型确定各所述待存储文件对应的目标存储协议，并根据所述目标存储位置调用对应的存储资源接入服务这一步骤，其具体包括：
[0029]根据所述目标存储类型从预设的存储协议库中选取对应的若干个所述目标存储协议；
[0030]根据所述目标存储位置确定所述待存储文件的存储路径信息，根据所述存储路径信息从预设的存储资源接入服务库中选取对应的若干个所述存储资源接入服务。
[0031]进一步地，在本专利技术的一个实施例中，所述根据所述目标存储协议，利用所述存储资源接入服务对各所述待存储文件进行文件上传存储这一步骤，其具体包括：
[0032]根据所述目标存储协议建立所述待存储文件的数据传输通道；
[0033]根据所述目标存储位置确定用于存储所述待存储文件的第一服务器，利用所述存储资源接入服务建立所述数据传输通道与所述第一服务器的连接关系，并在所述第一服务器上配置若干个对应的存储分区；
[0034]通过所述数据传输通道将所述待存储文件上传至所述存储分区进行文件存储。
[0035]进一步地，在本专利技术的一个实施例中，所述异构存储全局管理调度方法还包括以下步骤：
[0036]获取所述待存储文件的上传延迟和/或流文件写入误码率；
[0037]当所述上传延迟大于等于预设的第一阈值，和/或，所述流文件写入误码率大于等于预设的第二阈值，确定所述待存储文件的重传存储类型和重传存储位置；
[0038]根据所述重传存储类型和所述重传存储位置将所述待存储文件切换至对应的服务器进行文件上传存储。
[0039]第二方面，本专利技术实施例提供了一种异构存储全局管理调度系统，包括：
[0040]文件获取模块，用于获取待存储文件；
[0041]存储类型和存储位置确定模块，用于获取服务器资源信息、平台能力信息以及存储资源信息，根据所述服务器资源信息、所述平台能力信息以及所述存储资源信息确定各所述待存储文件的目标存储类型和目标存储位置；
[0042]存储资源接入服务调用模块，用于根据所述目标存储类型确定各所述待存储文件对应的目标存储协议，并根据所述目标存储位置调用对应的存储资源接入服务；
[0043]文件存储模块，用于根据所述目标存储协议，利用所述存储资源接入服务对各所述待存储文件进行文件上传存储。
[0044]第三方面，本专利技术实施例提供了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异构存储全局管理调度方法，其特征在于，包括以下步骤：获取待存储文件；获取服务器资源信息、平台能力信息以及存储资源信息，根据所述服务器资源信息、所述平台能力信息以及所述存储资源信息确定各所述待存储文件的目标存储类型和目标存储位置；根据所述目标存储类型确定各所述待存储文件对应的目标存储协议，并根据所述目标存储位置调用对应的存储资源接入服务；根据所述目标存储协议，利用所述存储资源接入服务对各所述待存储文件进行文件上传存储。2.根据权利要求1所述的一种异构存储全局管理调度方法，其特征在于，所述获取待存储文件这一步骤，其具体包括：根据数据流地址获取待存储数据流；对所述待存储数据流进行解析处理得到多个数据帧，并确定各所述数据帧的编码格式；根据所述编码格式对所述数据帧进行分类，并对同一编码格式的所述数据帧进行封装处理，得到多个所述待存储文件。3.根据权利要求1所述的一种异构存储全局管理调度方法，其特征在于，所述获取服务器资源信息、平台能力信息以及存储资源信息这一步骤，其具体包括：通过服务器资源API获取所述服务器资源信息，所述服务器资源信息包括各服务器的服务器配置和服务器使用状态；通过平台能力API获取所述平台能力信息，所述平台能力信息包括各平台能力的实时服务状态、归属服务器、实时网络环境以及实时网络带宽；通过存储资源API获取所述存储资源信息，所述存储资源信息包括各存储资源的存储资源类型、存储空间大小、当前存储状态、存储流化实时速度以及IPOS指标；其中，所述服务器资源API、所述平台能力API以及所述存储资源API均与前端页面进行对接，所述前端页面用于展示与配置所述服务器资源信息、所述平台能力信息以及所述存储资源信息。4.根据权利要求3所述的一种异构存储全局管理调度方法，其特征在于，所述根据所述服务器资源信息、所述平台能力信息以及所述存储资源信息确定各所述待存储文件的目标存储类型和目标存储位置这一步骤，其具体包括：根据所述存储流化实时速度和所述IPOS指标确定各所述存储资源的可用存储流化速度，并根据所述存储空间大小和所述当前存储状态确定各所述存储资源的可用存储空间；根据所述可用存储流化速度和所述可用存储空间对各所述待存储文件进行存储资源分配，确定各所述待存储文件对应的第一存储资源；根据所述第一存储资源对应的所述存储资源类型确定所述目标存储类型；根据所述实时服务状态、所述实时网络环境以及所述实时网络带宽确定所述第一存储资源对应的若干个第一平台能力；根据所述服务器配置、所述服务器使用状态以及所述第一平台能力对应的所述归属服务器，确定所述第一存储资源对应的若干个第一服务器，并根据所述第一服务器确定所述
目标存储位置。5.根据权利要求1所述的一种...
【专利技术属性】
技术研发人员：吴姗，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。