一种数据存储规划方法及装置制造方法及图纸

本发明专利技术提供一种数据存储规划处理装置及对应方法，该装置包括格式化处理单元以及空间分配单元，其中：格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。本发明专利技术通过格式化处理，允许用户在不同的物理存储资源上创建索引区和数据区，支持数据区和索引区的分离，允许用户根据需要使用不同存储资源来保存索引区数据。

【技术实现步骤摘要】
一种数据存储规划方法及装置
本专利技术涉及网络存储
，尤其涉及一种网络存储设备上数据存储规划方法及装置。
技术介绍
在视频监控存储领域中，有很多业务都需要文件系统来支撑。文件系统可以简单的实现资源的共享存储，以提高存储空间的利用率。在文件系统之上发展而来的NAS技术，可以很好地满足当前监控业务中多个设备之间的文件共享需求。但是NAS并非十全十美，在监控行业高清摄像机的发展，存储压力不断提高的背景下，NAS存储性能瓶颈和不稳定性暴露无遗。NAS技术的实现成本较低，但无法适用于海量的数据存储。无论是使用SAN还是NAS，现有的解决方案大多基于文件系统实现，由于文件系统考虑的是满足通用的存储需求，所以结构复杂。对于监控业务中的大量长时间满覆盖写，容易造成系统的不稳定，且存储性能也会随时间变化而下降。尤其是索引区发生问题时，将会引发业务中断，即便有备份机制，业务恢复也需要一定时间。在视频监控这种海量数据存储的应用中，如何提高整个存储结构的可靠性是目前迫切需要解决的问题。
技术实现思路
有鉴于此，本专利技术提供一种数据存储规划处理装置，应用于网络存储设备上，该装置包括格式化处理单元以及空间分配单元，其中：格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。本专利技术还提供一种数据存储规划处理方法，应用于网络存储设备上，该方法包括如下步骤：步骤A、创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；步骤B、在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。本专利技术通过格式化处理，允许用户在不同的物理存储资源上创建索引区和数据区，支持数据区和索引区的分离，允许用户根据需要使用不同存储资源来保存索引区数据。比如说用户可以很好地利用速度更快的物理存储资源（比如本地SSD硬盘）存放索引区，使得索引区的访问速度更快。附图说明图1是本专利技术一种数据存储规划装置的逻辑结构图。图2是本专利技术一种实施方式中存储结构图。具体实施方式本专利技术提供更适合一种SAN技术的数据存储处理技术。以计算机实现为例，本专利技术提供一种数据存储规划装置，该规划装置应用于网络存储设备上。该网络存储设备包括本地物理存储资源（比如本地磁盘）以及下挂的一个或多个物理存储资源（比如各种级别的RAID阵列）。其中本地物理存储资源主要用于保存网络存储设备的操作系统以及存储软件，而下挂的物理存储资源主要用于存储来自用户主机的海量业务数据。网络存储设备通常包括控制主机（也称为存储控制器），存储控制器通常包括CPU以及内存等基本硬件，本地物理存储资源通常是位于存储控制器内部的本地磁盘甚至是磁盘阵列。而所谓下挂物理存储资源主要是通过各种扩展连接技术（比如SAS等）与存储控制器的后端接口相连的。请参考图1，该数据存储装置包括格式化处理单元以及空间分配单元。该装置在网络存储设备上运行过程中涉及如下的处理流程。步骤101，在初始化时，格式化处理单元创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，在用户指定的物理存储资源上创建数据区，其中该索引区的大小与所述数据区具有对应关系，所述数据区包括若干大小相同的数据块；步骤102，空间分配单元在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。在初始化的时候，格式化处理单元将提供用户管理交互界面，允许用户指定格式化过程的参数以及如何利用物理存储资源。格式化过程的参数将决定索引区的大小、数据区的大小以及可分配数据块的大小等重要运行参数。索引区的大小与数据区的大小相关，比如说索引区大小为数据区的3%。在本专利技术中，用户在格式化过程中可以指定索引区的存储位置，也就是索引区存储在哪个物理存储资源上，用户也可以指定数据区存储在哪个物理存储资源上，这与现有技术有本质的区别，现有技术中索引区与数据区天然地固定在一个物理存储资源上。用户可以充分利用本专利技术提供的灵活性来合理为索引区分配物理存储资源实现各种性能上的提升。用户可以选择不同的物理存储资源来存放索引区和数据区。索引区与数据区在物理上分离可以允许用户选择更加可靠的物理存储资源（比如可靠性很高的RAID1阵列）来存储索引区，确保索引数据这种关键数据存储的可靠性。其次，对于索引区来说，物理存储资源还可以选择网络存储设备本地的物理磁盘或者本地RAID阵列，选择本地的物理存储资源可以保证索引区的访问更加快速；现有技术中索引区与数据区通常都是在网络存储设备下挂的物理存储资源上，这些物理存储资源与网络存储设备的交互是经过一些通用/专用连接技术（比如SAS等）实现的，其数据访问的速率并不如本地物理存储资源高。另外，由于索引区的访问具有很大的随机性，因此访问索引区时使用缓存的意义并不大，因此可以配置更少的缓存资源，比如使用本地磁盘时，可以减少使用网络存储设备上的缓存资源。现有技术中由于索引数据与业务数据均放在一起，无法做到只为业务数据访问提供更多缓存资源，为索引数据访问提供更少缓存。在本专利技术中，由于索引区与数据区可以分别设置在不同的物理存储资源上，这样网络存储设备就可以将有限的业务缓存更多地分配对访问数据区。请参考图2，格式化信息区主要从整体上描述图2的存储结构，其内的信息主要包括索引区的大小、数据区的大小以及数据块的大小等等。在优选的实施方式中，索引区包括若干大小相同的子索引区，其中当前有一个子索引区投入使用，其他子索引区作为副本，这样的处理可以大大提高索引区数据的可靠性，避免索引区损坏而无法复原，更为具体的技术实现可以参考本申请人提出的相关专利申请。需要注意的是：在本专利技术中，子索引区的副本并不一定要存在，索引区也可以只包括一个子索引区。每个子索引区包括卷索引区、索引日志、若干组索引区以及卷索引区备份区区。卷索引区描述的是整个子索引区，比如说组索引区的数量以及存储的地址空间等信息，相当于一级索引区。索引日志主要用来记录索引区的操作记录。所述组索引区描述一个预定大小的数据区，包括目录索引和文件索引，相当于一个二级索引区。假设一个子索引区描述30G的数据区，子索引区包括15个组索引区，那么一个组索引区描述2G的数据区。卷索引区备份区主要是为了防止作为一级索引区的数据因磁道故障而无法访问所作的备份。在优选的方式中，卷索引区位于子索引区的开始位置，而卷索引区备份区则位于子索引区的结束位置。卷索引区与卷索引区备份区之间存储位置相距较远可以避免磁盘一个磁道损坏导致同时引发卷索引区与卷索引区备份区同时损坏的问题。当卷索引区所在磁道发生故障时，由于卷索引备份区中的备份卷索引数据可以继续使用，确保业务访问不会因此而中断。如前所述，本专利技术优选方式中采用两级索引的结构，这种两级索引结构可以提升访问效率。在优选的方式中，一个组索引区描述的数据区大小不小于2G，因为在当前文件系统中，文件大小通常会被限制在2G以下，这样一个组索引区的索引数据基本文档来自技高网...

【技术保护点】
一种数据存储规划处理装置，应用于网络存储设备上，该装置包括格式化处理单元以及空间分配单元，其特征在于：格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。

【技术特征摘要】
1.一种数据存储规划处理装置，应用于网络存储设备上，该装置包括格式化处理单元以及空间分配单元，其特征在于：格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中格式化信息用于描述索引区以及数据区的概况，所述索引区和所述数据区分别存放在不同的物理存储资源上；所述索引区包括子索引区以及至少一个子索引区副本；其中，所述子索引区包括卷索引区、若干组索引区以及卷索引备份区；空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。2.如权利要求1所述的装置，其特征在于：所述卷索引区位于子索引区开始位置，所述卷索引备份区位于子索引区结束位置。3.如权利要求1所述的装置，其特征在于：所述格式化处理单元进一步用于保存用户指定的数据块大小，其中该数据块大小不小于预定的最小数据块大小，其中该最小数据块大小大于网...

【专利技术属性】
技术研发人员：吕志明，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：