一种分布式数字资源存储处理与管理的方法及系统技术方案

本发明专利技术公开了一种分布式数字资源存储处理与管理的系统，包括客户端、文件调配中心以及资源存储与服务系统。其中客户端负责资源的上传及存储决策；文件调配中心负责消息控制与任务调度；资源存储与服务系统负责资源存储与处理；并公布了资源的处理方式即将不同类型和规格的资源，采用相应的转码技术，转换为适用于HTML5标准的资源；同时针对不同类型资源，使用时间戳和水印保护技术进行统一保护；分布式数字资源管理系统采用任务计划和任务队列方式，合理调配服务器资源，有效的避开正常业务运行高峰，实现资源服务与资源处理的错峰运行。

【技术实现步骤摘要】
一种分布式数字资源存储处理与管理的方法及系统
本专利技术涉及管理系统，具体是一种分布式数字资源存储处理与管理的方法及系统。
技术介绍
随着社会的发展，越来越多的信息被数据化，互联网中的数据呈爆炸式增长，如何存储和管理这些数据化的信息就成为人们关注的焦点。七、八十年代，这些数据都被存放在昂贵的中小型机中，由管理员定期维护，但这样开销较大，又容易出错。近年来，随着硬件技术的迅猛发展、宽带网络的逐渐成熟、开放源码的广泛兴起、以及对分布式系统的深入研究，出现了分布式文件系统的概念，并以此来存储和管理这些数据；这些系统可以由多台普通的PC服务器通过网络的方式连接而成，在分布式系统的统一管理下运行，以支持高可靠、高性能、以及大并发流的应用需求。人们在日常办公中产生了大量的图片、照片、视频等非结构化的数据，这类数据以对象的形式组织，对象之间没有关联，这样的数据一般称为Blob(BinaryLargeObject，二进制大对象)数据。数字资源处理系统可用于存储和处理Blob数据，建立企业公共资源中心，实现各类数字资源的数据存储、管理与处理。分布式文件系统是新型的文件存储方式，它将大量普通的PC服务器通过Internet互联，对外作为一个整体提供存储服务。典型的系统有FacebookHaystack以及TaobaoFileSystem(TFS)。传统的数字资源处理系统的技术方案如下：1)首选用户将需要存储的资源上传至数据加工与处理服务器，数据加工与处理服务器对图片、视频、音频、文档等数据进行处理，如转码、添加备注信息，添加索引等形成标准化数据。2)最后将已经处理的标准化数据存储至分布式文件系统中。上述的数字资源处理系统的缺点主要有：1)将数字资源的处理集中到一个服务器上，对数据加工与处理服务器的性能要求比较高，容灾性也不好，数字加工与处理服务器宕机后，整个系统将不能提供服务。2)一般数字资源处理系统中的存储部分仅仅做资源存储的工作，不能进行数字资源的处理。
技术实现思路
本专利技术的目的在于提供一种分布式数字资源存储处理与管理的方法及系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种分布式数字资源存储处理与管理的系统，包括客户端、文件调配中心和资源存储与服务系统；所述客户端连接至文件调配中心，文件调配中心连接至存储于资源存储与服务系统，资源存储与服务系统负责资源存储与处理；所述文件调配中心对资源存储与服务系统、任务计划、资源上载进行调度，它负责整个系统的全局控制；同时文件调配中心内的服务监控日志模块连接至资源存储与服务系统内的心跳服务模块，文件调配中心持续的接收资源存储与服务系统内心跳服务模块提供的数据，实现对资源存储与服务系统实时监控；资源存储与服务系统为分布式数字资源管理系统的存储单元与任务执行单元，实现数据的本地化存储、资源镜像更新、文件资源保护、文件转码服务、文件动态回收，同时，实时监控本机状态，并周期性的推送至文件调配中心，完成对本机状态的维护；所述资源存储与服务系统数量设置在一个以上。一种分布式数字资源存储处理与管理的方法，其主要步骤如下：1)用户在客户端选择多个资源存储与服务系统，请求写操作；2)文件调配中心接受操作请求并基于资源存储与服务系统本身记录的负载排行，获取负载最低的资源存储与服务系统；3)客户端向步骤2获取的负载最低的资源存储与服务系统提交写入数据；4)写入成功后，提交更新申请到文件调配中心，文件调配中心写入文件上传信息；5)文件调配中心基于用户选择形成镜像更新的任务队列；6)资源存储与服务系统基于文件更新队列进行文件镜像更新；7)更新完成后，将更新结果反馈至文件调配中心，文件调配中心做出更新记录，镜像更新完成。作为本专利技术再进一步的方案：所述获取负载最低的资源存储与服务系统的主要步骤如下：1)选取代表服务器性能水平的指标，包括CPU平均使用率、物理内存使用率、磁盘读写速率使用率和网络带宽使用率；2)分别取资源存储与服务系统中四个性能指标的最大值；3)将资源存储与服务系统中，每个资源存储与服务系统相应的性能指标除以性能指标最大值，得到一个介于0到1之间的性能比值；4)根据资源存储与服务系统四个性能对服务器整体数据处理性能的影响程度，为每个资源存储与服务系统性能比值赋予一个用户进行加权平均的系数Q1、Q2、Q3、Q4；5)计算每个资源存储与服务系统的节点物理负载；6)计算每个资源存储与服务系统权重值；7)计算每个资源存储与服务系统的节点业务负载；8)根据每个资源存储与服务系统的节点物理负载和业务负载计算出资源存储与服务系统的综合负载信息。一种分布式数字资源存储处理与管理的系统的任务计划的执行步骤，其主要步骤如下：1)生成任务队列文件，文件调配中心基于数据库数据生成需要执行的任务队列并保存为XML文件；2)通知资源存储与服务系统执行相关任务操作，资源存储与服务系统下载与本机相关任务的XML文件，并依据XML文件进行资源处理，每个资源处理开始之前和处理之后均标记状态；3)任务执行结束或者执行时间结束，提交更新后的XML文件到文件调配中心，文件调配中心分析XML文件，更新数据库记录。与现有技术相比，本专利技术的有益效果是：1)本专利技术可基于用户设置进行资源弹性镜像，使有限的硬件资源更好的服务于繁忙的业务。2)本专利技术提供了完整的数字资源处理与存储的流程，可以轻松的实现数字资源的传输、存储、保护、转码、镜像、回收、删除等。3)本专利技术包含多种资源存储与处理，可自行扩展资源类型，满足不同的资源存储需求。4)本专利技术对资源处理的性能进行优化，将转码、保护、镜像更新等任务分散至多个资源存储与服务系统中，提高整个系统的应用性能，降低单个资源存储与服务系统的负载，确保系统稳定可靠。5)本专利技术基于任务调度实现资源的存储与处理，所有资源可实现无值守处理，简化资源处理流程。附图说明图1为一种分布式数字资源存储处理与管理的系统的结构示意图。具体实施方式下面结合具体实施方式对本专利技术的技术方案作进一步详细地说明。请参阅图1，一种分布式数字资源存储处理与管理的系统，包括客户端、文件调配中心和资源存储与服务系统；所述客户端负责资源的上传及存储决策，主要用于上传Blob文件，客户端连接至文件调配中心，文件调配中心负责消息控制与任务调度，文件调配中心连接至存储于资源存储与服务系统，资源存储与服务系统负责资源存储与处理；经客户端上传到的Blob文件经文件调配中心调度后存储于资源存储与服务系统中；所述客户端连接至资源存储与服务系统；Blob文件的个数由上传的用户决定，每个原始资源(包括转码任务生成的转码资源、资源保护任务生成的已保护资源)仅能存储于一个资源存储与服务系统上(该系统为此资源的主备服务器)，其他文件副本由镜像任务进行分发。所述文件调配中心对资源存储与服务系统、任务计划、资源上载进行调度，它负责整个系统的全局控制。同时文件调配中心内的服务监控日志模块连接至资源存储与服务系统内的心跳服务模块，文件调配中心持续的接收资源存储与服务系统内心跳服务模块提供的数据，实现对资源存储与服务系统实时监控。所述资源存储与服务系统为该专利技术的存储单元与任务执行单元，实现数据的本地化存储、资源镜像更新、文件资源保护、文件转码服务、本文档来自技高网...

【技术保护点】
一种分布式数字资源存储处理与管理的系统，其特征在于，包括客户端、文件调配中心和资源存储与服务系统；所述客户端连接至文件调配中心，文件调配中心连接至存储于资源存储与服务系统，资源存储与服务系统负责资源存储与处理；所述文件调配中心对资源存储与服务系统、任务计划、资源上载进行调度，它负责整个系统的全局控制；同时文件调配中心内的服务监控日志模块连接至资源存储与服务系统内的心跳服务模块，文件调配中心持续的接收资源存储与服务系统内心跳服务模块提供的数据，实现对资源存储与服务系统实时监控；资源存储与服务系统为分布式数字资源管理系统的存储单元与任务执行单元，实现数据的本地化存储、资源镜像更新、文件资源保护、文件转码服务、文件动态回收，同时，实时监控本机状态，并周期性的推送至文件调配中心，完成对本机状态的维护；所述资源存储与服务系统数量设置在一个以上。

【技术特征摘要】
1.一种分布式数字资源存储处理与管理的系统，其特征在于，包括客户端、文件调配中心和资源存储与服务系统；所述客户端连接至文件调配中心，文件调配中心连接至存储于资源存储与服务系统，资源存储与服务系统负责资源存储与处理；所述文件调配中心对资源存储与服务系统、任务计划、资源上载进行调度，它负责整个系统的全局控制；同时文件调配中心内的服务监控日志模块连接至资源存储与服务系统内的心跳服务模块，文件调配中心持续的接收资源存储与服务系统内心跳服务模块提供的数据，实现对资源存储与服务系统实时监控；资源存储与服务系统为分布式数字资源管理系统的存储单元与任务执行单元，实现数据的本地化存储、资源镜像更新、文件资源保护、文件转码服务、文件动态回收，同时，实时监控本机状态，并周期性的推送至文件调配中心，完成对本机状态的维护；所述资源存储与服务系统数量设置在一个以上。2.一种分布式数字资源存储处理与管理的方法，其特征在于，其主要步骤如下：1)用户在客户端选择多个资源存储与服务系统，请求写操作；2)文件调配中心接受操作请求并基于资源存储与服务系统本身记录的负载排行，获取负载最低的资源存储与服务系统；3)客户端向步骤2获取的负载最低的资源存储与服务系统提交写入数据；4)写入成功后，提交更新申请到文件调配中心，文件调配中心写入文件上传信息；5)文件调配中心基于用户选择形成镜像更新的任务队列；6)资源存储与服务系统基于文件更新队列进行文件镜像更新；7)更新完成后，将更新结果反馈至文件调配中心，文件调...

【专利技术属性】
技术研发人员：阮晓龙，冯顺磊，于冠军，李朋楠，
申请(专利权)人：郑州祺石信息技术有限公司，
类型：发明
国别省市：河南,41