基于视频云存储系统的存储与提取性能平衡的方法与装置制造方法及图纸

本发明专利技术涉及视频云存储，公开了一种基于视频云存储的存储与提取性能平衡的方法与装置。本发明专利技术包括以下步骤：将获取的数据按容量分为数据块并分散存储到至少一个存储服务器的不同存储设备中；提取数据时，获取待提取数据所在的存储服务器信息，该信息包括数据块大小和系统负载高低；保证分散存储优先的前提下，根据存储服务器信息以用户定义的优先级，制定提取策略；根据提取策略向存储服务器并发地提取数据。本发明专利技术中，数据分散存储到不同存储服务器，有效利用了系统资源；在保证分散存储优先的前提下，根据提取策略并发地向不同的存储服务器提取数据，保证数据安全性的同时能够高效提取数据，减少了存储和提取数据对于系统资源抢占的冲突。

【技术实现步骤摘要】

本专利技术涉及视频云存储领域，特别涉及基于视频云存储系统的存储与提取性能平衡的方法与装置。
技术介绍
视频云存储是在云计算概念上延伸和发展出来的一种通过集群应用、网格技术或分式文件系统等功能，通过应用软件集合起来协同工作，共同对外提供高效视频数据存储和业务访问功能的一个系统。随着科技的发展，视频云部署的规模越来越大，数据量正在以千万数量级增长，同时用户对视频云存储性能和应用体验的要求也越来越高。在性能方面的要求主要包括：存储速度快、数据高安全性和系统整体性能实用率高等。在用户体验方面的要求主要包括：各项功能的反应时间短，效率高等特点。这种现状下在视频云存储高速写数据和用户的体验间产生了不可避免的冲突，为了解决这个问题亟需设计从视频云存储系统提取（一种基于视频云存储系统特性读取视频数据的方法）数据的解决方案，有效的解决视频云存储高速存储和用户体验间的冲突。目前很多系统在存储和提取数据时大多采用顺序存储顺序提取的方式和分块存储顺序提取的方式，这两种方式不但效率低而且用户体验效果差，当整个系统在执行大数据量存储和大并发量提取时，常常会导致数据丢失等异常发生，实际场景描述如图1和图2所示。其中，图1为视频云存储系统正常环境应用场景，在正常使用环境中视频云存储系统首先需要满足对大数据的存储，并保证数据安全可靠，但这种使用场景往往只是一种理想环境，视频云存储可以存储海量数据，同时也会有大量的用户需要同时提取数据，这样不但会对网络造成压力也会严重影响视频云存储系统的系统，如图2视频云存储系统真实运行环境所示。在异常环境中由于视频云存储的存储服务器负载过高，不但影响提取效率更重要的是会影响正常的数据存储功能，很可能会导致数据丢失等问题，还可能会造成更严重的后果。
技术实现思路
本专利技术的目的在于提供一种基于视频云存储系统的存储与提取性能平衡的方法与装置，将数据分散存储到不同的存储服务器中，有效利用了视频云存储系统资源，提升了整体效率；在分散存储数据的基础上，提取数据时在保证视频云存储的分散存储功能优先进行的前提下，根据提取策略并发地向不同的存储服务器提取数据，既在一定程度上保证了数据的安全性，又能够高效提取数据，减少了视频云存储系统中存储和提取数据对于系统资源抢占的冲突。为解决上述技术问题，本专利技术的实施方式公开了一种基于视频云存储系统的存储与提取性能平衡的方法，包括以下步骤：当从前端设备获取到数据时，对数据按容量进行分块得到数据块，并将数据块分散存储到至少一个存储服务器的不同存储设备中；当用户欲从视频云存储系统中提取数据时，从管理服务器中获取需要提取的数据所在的存储服务器信息，存储服务器信息包括存储服务器所存储的数据块大小和系统负载高低的信息；在保证视频云存储的分散存储功能优先进行的前提下，根据数据的存储服务器信息以及用户定义的数据优先级，制定提取策略，提取策略用于控制并发提取数据的线程数、各线程提取数据的速度以及数据提取的优先级；根据制定的提取策略，向存储服务器并发地提取数据。本专利技术的实施方式还公开了一种基于视频云存储系统的存储与提取性能平衡的装置，包括：分散存储模块，用于当从前端设备获取到数据时，对数据按容量进行分块得到数据块，并将数据块分散存储到至少一个存储服务器的不同存储设备中；存储服务器信息获取模块，用于当用户欲从视频云存储系统中提取数据时，从管理服务器中获取需要提取的数据所在的存储服务器信息，存储服务器信息包括存储服务器所存储的数据块大小和系统负载高低的信息；提取策略制定模块，用于在保证视频云存储的分散存储功能优先进行的前提下，根据数据的存储服务器信息以及用户定义的数据优先级，制定提取策略，提取策略用于控制并发提取数据的线程数、各线程提取数据的速度以及数据提取的优先级；提取模块，用于根据制定的提取策略，向存储服务器并发地提取数据。本专利技术实施方式与现有技术相比，主要区别及其效果在于：本专利技术将数据分散存储到不同的存储服务器中，有效利用了视频云存储系统资源，提升了整体效率；在分散存储数据的基础上，提取数据时在保证视频云存储的分散存储功能优先进行的前提下，根据提取策略并发地向不同的存储服务器提取数据，既在一定程度上保证了数据的安全性，又能够高效提取数据，减少了视频云存储系统中存储和提取数据对于系统资源抢占的冲突，保证在海量数据存储和大量数据提取时，视频云存储系统能够正常高效地运行。进一步地，存储策略可以保证数据按照用户的要求进行存储，同时保证各个存储设备平摊整个系统的压力。进一步地，根据数据容量大小决定分散粒度，取代现有技术中按照时间等因素决定分散粒度，能够精确控制分散粒度，从而使数据存储均匀，充分利用存储资源。进一步地，通过实时获取存储服务器的分块数据信息，能够及时更新在提取数据的过程中存储服务器的压力，从而对提取速度进行动态控制。附图说明图1是视频云存储系统正常环境应用场景示意图；图2是视频云存储系统异常环境应用场景示意图；图3是本专利技术第一实施方式中一种基于视频云存储系统的存储与提取性能平衡的方法的流程示意图；图4是本专利技术第一实施方式中一种基于视频云存储系统的存储与提取性能平衡的方法的数据提取的核心原理图；图5是本专利技术第一实施方式中一种基于视频云存储系统的存储与提取性能平衡的方法的时序图；图6是本专利技术第一实施方式中一种基于视频云存储系统的存储与提取性能平衡的方法的流程图；图7是本专利技术第二实施方式中一种基于视频云存储系统的存储与提取性能平衡的装置的结构示意图。具体实施方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。本专利技术第一实施方式涉及一种基于视频云存储系统的存储与提取性能平衡的方法，图3是该基于视频云存储系统的存储与提取性能平衡的方法的流程示意图。具体地说，如图3所示，该基于视频云存储系统的存储与提取性能平衡的方法包括以下步骤：在步骤301中，当从前端设备获取到数据时，对数据按容量进行分块得到数据块，并将数据块分散存储到至少一个存储服务器的不同存储设备中。...

【技术保护点】
一种基于视频云存储系统的存储与提取性能平衡的方法，其特征在于，包括以下步骤：当从前端设备获取到数据时，对数据按容量进行分块得到数据块，并将数据块分散存储到至少一个存储服务器的不同存储设备中；当用户欲从视频云存储系统中提取数据时，从管理服务器中获取需要提取的数据所在的存储服务器信息，所述存储服务器信息包括存储服务器所存储的数据块大小和系统负载高低的信息；在保证视频云存储的分散存储功能优先进行的前提下，根据数据的存储服务器信息以及用户定义的数据优先级，制定提取策略，所述提取策略用于控制并发提取数据的线程数、各线程提取数据的速度以及数据提取的优先级；根据所述制定的提取策略，向存储服务器并发地提取数据。

【技术特征摘要】
1.一种基于视频云存储系统的存储与提取性能平衡的方法，其特征在
于，包括以下步骤：
当从前端设备获取到数据时，对数据按容量进行分块得到数据块，并将
数据块分散存储到至少一个存储服务器的不同存储设备中；
当用户欲从视频云存储系统中提取数据时，从管理服务器中获取需要提
取的数据所在的存储服务器信息，所述存储服务器信息包括存储服务器所存
储的数据块大小和系统负载高低的信息；
在保证视频云存储的分散存储功能优先进行的前提下，根据数据的存储
服务器信息以及用户定义的数据优先级，制定提取策略，所述提取策略用于
控制并发提取数据的线程数、各线程提取数据的速度以及数据提取的优先
级；
根据所述制定的提取策略，向存储服务器并发地提取数据。
2.根据权利要求1所述的基于视频云存储系统的存储与提取性能平衡
的方法，其特征在于，在所述将数据块分散存储到至少一个存储服务器的不
同存储设备中的步骤之前，还包括步骤：
设定存储策略，为数据块的分散存储预分配至少一个存储服务器的不同
存储设备，所述存储策略包括：
前端设备向管理服务器申请存储服务器时，如果用户选择对数据进行分
散存储，则根据各存储服务器的系统性能，为前端设备分配相应的存储服务
器；如果用户选择对数据进行集中存储，则为前端设备分配集中存储所指定
范围内的存储服务器；
前端设备向存储服务器申请存储设备时，挑选存储压力最小的存储设备
分配给前端设备。
3.根据权利要求1所述的基于视频云存储系统的存储与提取性能平衡
的方法，其特征在于，在所述将数据块分散存储到至少一个存储服务器的不
同存储设备中的步骤中，包括以下子步骤：
按设定的存储策略为前端设备预分配至少一个存储服务器，前端设备将
数据块发送给所述分配到的存储服务器；
按设定的存储策略为前端设备预分配挂接在所述存储服务器上的存储
设备，存储服务器将数据块存储到所述分配到的存储设备中。
4.根据权利要求1所述的基于视频云存储系统的存储与提取性能平衡
的方法，其特征在于，在所述当从前端设备获取到数据时，对数据按容量进
行分块得到数据块的步骤中，所述数据块的大小小于存储设备容量大小的千
分之一。
5.根据权利要求1所述的基于视频云存储系统的存储与提取性能平衡
的方法，其特征在于，在所述根据制定的提取策略，向存储服务器并发地提
取数据的步骤之后，还包括步骤：
实时更新所获取的存储服务器信息并根据更新后的存储服务器信息得
到新的提取策略。
6.一种...

【专利技术属性】
技术研发人员：刘锋，葛发松，张传庆，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33