视频文件存储注入方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种视频文件存储注入方法、装置、计算机设备和存储介质。所述方法包括：接收视频源发送的待存储视频文件的注入请求，将注入请求推送至各个存储集群的集群消息队列中，从集群消息队列中获取下载任务，根据存储集群中各个存储节点的可用状态信息，将下载任务分配至对应的存储节点对应的下载队列中，根据下载队列中的下载任务，将待存储视频文件下载至存储节点中。采用本方法能在存储中心损坏时减少数据恢复时的传输带宽。

Video File Storage Injection Method, Device, Computer Equipment and Storage Media

【技术实现步骤摘要】
视频文件存储注入方法、装置、计算机设备和存储介质
本申请涉及云存储
，特别是涉及一种视频文件存储注入方法、装置、计算机设备和存储介质。
技术介绍
随着云存储技术的发展，企业往往将数据存储在云服务器上，在实际应用中，云厂商需要接收客户的文件存储需求，特别是视频文件的存储，目前视频网站的存储空间需求达到了PB级别，因此，开发出一个合适于视频存储的云产品存在一定的困难。传统的视频存储云产品，存储数据保存在存储中心，一旦存储中心损坏，由于视频数据量大，数据恢复上需要巨大的传输带宽支出。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够解决存储中心损坏时减少数据恢复时传输带宽的视频文件存储注入方法、装置、计算机设备和存储介质。一种视频文件存储注入方法，所述方法包括：接收视频源发送的待存储视频文件的注入请求；将所述注入请求推送至各个存储集群的集群消息队列中；从所述集群消息队列中获取下载任务，根据所述存储集群中各个存储节点的可用状态信息，将所述下载任务分配至对应的所述存储节点对应的下载队列中；根据所述下载队列中的下载任务，将所述待存储视频文件下载至所述存储节点中。在其中一个实施例中，还包括：请求获取集群消息队列中的下载任务，将获取到的下载任务存储在所述存储集群的存储集群中心；根据所述存储集群中心对各个存储节点的可用状态信息的检测结果，将所述下载任务分配至对应的所述存储节点的下载队列中。在其中一个实施例中，所述可用状态信息包括：存活状态信息、存储空间信息和下载队列繁忙信息；还包括：根据所述存储集群中心对存储集群中各个存储节点的存活状态信息、存储空间信息和下载队列繁忙信息进行检测；若所述存活状态信息、所述存储空间信息和所述下载队列繁忙信息均达到预先设置的阈值条件，则将该存储节点加入预先设置的白名单；将所述下载任务分配至所述白名单中的存储节点的下载队列中。在其中一个实施例中，还包括：接收存储节点发送的客户端请求；根据所述存储节点对应的互联网协议地址，检测所述存储节点是否在所述白名单中；若是，则将所述下载任务分配至所述存储节点的下载队列中。在其中一个实施例中，所述可用状态信息包括：最小使用存储，所述最小使用存储包括：所述下载队列最小、I/O读写最小以及存储空间使用最小；还包括：对所述白名单中各个存储节点计算最小使用储存；根据所述最小使用存储，将所述存储集群中心中的下载任务通过预先设置的分布式算法分配至各个存储节点中。在其中一个实施例中，还包括：根据所述下载任务，向所述集群消息队列发送客户端下载请求；根据所述客户端下载请求，下载所述待存储视频文件；对所述待存储视频文件进行文件校验，并将校验通过的待存储视频文件存储至存储节点的物理磁盘；检测所述存储节点的物理磁盘是否异常，若是，将异常信息上传至所述存储集群中心，以使所述存储集群中心将所述下载任务分配至其他存储节点。在其中一个实施例中，还包括：记录所述存储节点中视频文件的访问频率；若所述访问频率小于阈值，则将所述存储节点中的视频文件删除。一种视频文件存储注入装置，所述装置包括：请求接收模块，用于接收视频源发送的待存储视频文件的注入请求；推送模块，用于将所述注入请求推送至各个存储集群的集群消息队列中；分配模块，用于从所述集群消息队列中获取下载任务，根据所述存储集群中各个存储节点的可用状态信息，将所述下载任务分配至对应的所述存储节点对应的下载队列中存储模块，用于根据所述下载队列中的下载任务，将所述待存储视频文件下载至所述存储节点中。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：接收视频源发送的待存储视频文件的注入请求；将所述注入请求推送至各个存储集群的集群消息队列中；从所述集群消息队列中获取下载任务，根据所述存储集群中各个存储节点的可用状态信息，将所述下载任务分配至对应的所述存储节点对应的下载队列中；根据所述下载队列中的下载任务，将所述待存储视频文件下载至所述存储节点中。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：接收视频源发送的待存储视频文件的注入请求；将所述注入请求推送至各个存储集群的集群消息队列中；从所述集群消息队列中获取下载任务，根据所述存储集群中各个存储节点的可用状态信息，将所述下载任务分配至对应的所述存储节点对应的下载队列中；根据所述下载队列中的下载任务，将所述待存储视频文件下载至所述存储节点中。上述视频文件存储注入方法、装置、计算机设备和存储介质，在视频源注入视频文件时，将注入请求推送至各个存储集群的集群消息队列，此处，分布式存储系统中包括多个存储集群，存储集群中又包括多个存储节点。然后从集群消息队列中获取下载任务，然后将下载任务分配至各个存储节点的下载队列，将视频文件存储在存储节点中。因此，在进行视频文件存储时，可能存储在任一个存储集群中的存储节点，存储中心只保留一份副本，因此在其中一个存储集群的存储中心损坏时，只需要从其他集群进行数据传输就可以恢复数据，节约了数据恢复的带宽成本。附图说明图1为一个实施例中视频文件存储注入方法的应用场景图；图2为一个实施例中视频文件存储注入方法的流程示意图；图3为一个实施例中分配下载任务步骤的流程示意图；图4为另一个实施例中分配下载任务步骤的流程示意图；图5为一个实施例中视频文件存储注入装置的结构框图；图6为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的视频文件存储注入方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与云平台服务器104进行通信。终端102为视频源，终端102可以向云平台服务器104发送注入请求，以将终端102中的视频文件存储至云平台服务器104。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，云平台服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一个实施例中，如图2所示，提供了一种视频文件存储注入方法，以该方法应用于图1中的云平台服务器为例进行说明，包括以下步骤：步骤202，接收视频源发送的待存储视频文件的注入请求。视频源可以是个人计算机、笔记本电脑等，视频源可以主动向云平台服务器发送注入请求。值得说明的是，视频源在一个注入请求中，可以向云平台服务器请求注入多个视频文件，因此，云平台服务器需要处理多个视频文件的存储。步骤204，将注入请求推送至各个存储集群的集群消息队列中。云平台服务器由多个存储集群组成，每个存储集群由存储集群中心进行控制，存储集群中还分布有多个存储节点，存储节点负责对待存储视频文件进行存储，存储集群中心负责对存储节点的存储任务进行分配。具体的，每个存储集群均对应了一个集群消息队列，存储集群中心可以从集群消息队列中获取到注入请求的对应的视频文件的数据。集群消息队列是通过缓存机制构建，遵循先进先出的原则，即可以保证集群消息队列中的数据有序被存储集群中心获取。步骤206，从集群消息队列中获取下载任务，根据存储集本文档来自技高网...

【技术保护点】
1.一种视频文件存储注入方法，所述方法包括：接收视频源发送的待存储视频文件的注入请求；将所述注入请求推送至各个存储集群的集群消息队列中；从所述集群消息队列中获取下载任务，根据所述存储集群中各个存储节点的可用状态信息，将所述下载任务分配至对应的所述存储节点对应的下载队列中；根据所述下载队列中的下载任务，将所述待存储视频文件下载至所述存储节点中。

【技术特征摘要】
1.一种视频文件存储注入方法，所述方法包括：接收视频源发送的待存储视频文件的注入请求；将所述注入请求推送至各个存储集群的集群消息队列中；从所述集群消息队列中获取下载任务，根据所述存储集群中各个存储节点的可用状态信息，将所述下载任务分配至对应的所述存储节点对应的下载队列中；根据所述下载队列中的下载任务，将所述待存储视频文件下载至所述存储节点中。2.根据权利要求1所述的方法，其特征在于，从所述集群消息队列中获取下载任务，根据所述存储集群中各个存储节点的可用状态信息，将所述下载任务分配至对应的所述存储节点的下载队列中，包括：请求获取集群消息队列中的下载任务，将获取到的下载任务存储在所述存储集群的存储集群中心；根据所述存储集群中心对各个存储节点的可用状态信息的检测结果，将所述下载任务分配至对应的所述存储节点的下载队列中。3.根据权利要求2所述的方法，其特征在于，所述可用状态信息包括：存活状态信息、存储空间信息和下载队列繁忙信息；根据所述存储集群中心对各个存储节点的可用状态信息的检测结果，将所述下载任务分配至对应的所述存储节点的下载队列中，包括：根据所述存储集群中心对存储集群中各个存储节点的存活状态信息、存储空间信息和下载队列繁忙信息进行检测；若所述存活状态信息、所述存储空间信息和所述下载队列繁忙信息均达到预先设置的阈值条件，则将该存储节点加入预先设置的白名单；将所述下载任务分配至所述白名单中的存储节点的下载队列中。4.根据权利要求3所述的方法，其特征在于，所述将所述下载任务分配至所述白名单中的存储节点的下载队列中，包括：接收存储节点发送的客户端请求；根据所述存储节点对应的互联网协议地址，检测所述存储节点是否在所述白名单中；若是，则将所述下载任务分配至所述存储节点的下载队列中。5.根据权利要求3或4所述的方法，其特征在于，所述可用状态信息包括：最小使用存储，所述最小使用存储包括：所述下载队列最小...

【专利技术属性】
技术研发人员：施宋杰，徐永丰，
申请(专利权)人：北京视界云天科技有限公司，
类型：发明
国别省市：北京,11