System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据管理领域,尤其涉及一种基于业务类型的数据存储方法及装置。
技术介绍
1、随着互联网各类网络应用的不断深入,互联网数据量增长迅速,并且需要处理的互联网的数据结构以及数据类型也越来越多样。无论是企业内部的部门与部门之间,还是企业内部与企业外部之间,在通过信息技术交流记录的过程中都会产生大量的生产数据,这些生产数据中部分数据极为重要,需要经常使用并长期保存,有的数据是一般类型的数据,使用频率小,重要程度低,此类数据仅需进行存储,即使丢失也不会造成太大影响。
2、信息化时代的数据量是庞大的,如果不对这些生产数据进行分类存储,会导致数据运行混乱,存储系统工作负荷大,运行缓慢,同时对重要数据的保存会不当,容易造成重要数据的丢失。现有技术中往往是人为对这些生产数据进行分类存储,当面对大量的数据存储时,上述方式将会导致存储效率低,且容易出现分类错误,进一步使得数据存储区域选择出错,从而影响数据存储的安全性。
技术实现思路
1、本专利技术提供了一种基于业务类型的数据存储方法及装置,以解决面对大量数据存储业务时,数据存储效率以及安全性低的技术问题。
2、为了解决上述技术问题,第一方面,本专利技术实施例提供了一种基于业务类型的数据存储方法,包括:
3、根据存储区域的数据访问频率,更新若干存储子区域的容量,并获取各所述存储子区域的数据属性;
4、根据各所述存储子区域间的访问规律,将所有所述存储子区域归类为若干存储集,并获取各所述存储集的区域
5、从数据流中读取拟分类数据,并根据各所述存储子区域的所述数据属性以及各所述存储集的所述区域属性,将所述拟分类数据存储至相应的所述存储子区域中。
6、相比现有技术,上述实施例具有以下有益效果:通过数据访问频率,对存储子区域的容量进行更新,保证高频访问数据存储时,具备足够的存储空间,提升存储数据的安全性;且对多个存储子区域进行管理,实现数据分类存储,提升数据存储效率;此外,通过存储集以及存储子区域,对存储数据的类型进行双层分类,可以提升后续对拟分类数据分类时的分类效率,进一步提高拟分类数据存储到对应存储子区域的准确性以及存储效率。
7、在第一方面的一个实施例中,所述根据存储区域的数据访问频率,更新若干存储子区域的容量,并获取各所述存储子区域的数据属性,包括:
8、获取在预设时间段内不同用户对各所述存储子区域已存储数据的数据访问频率;
9、根据所述已存储数据的数据访问频率,将所有所述存储子区域进行降序排序;
10、根据降序排序结果,依次调整对应所述存储子区域的容量。
11、相比现有技术,上述实施例具有以下有益效果:由于不同存储子区域中数据的访问频次不同,对于重要的数据,通常会有较高的访问频次,为了保证后续重要数据进行存储时,对应存储子区域具备足够的容量,通过统计不同存储子区域中数据的访问频次,从而根据访问频次的大小,对对应的存储子区域容量进行调整,提高了数据存储过程中数据的安全性。
12、在第一方面的一个实施例中,所述根据各所述存储子区域的访问规律,将所有所述存储子区域归类为若干存储集,并获取各所述存储集的区域属性,包括:
13、获取在预设时间段内不同用户对各所述存储子区域间的所述访问规律,根据所述访问规律获取各所述存储子区域之间的关联度;
14、根据各所述存储子区域之间的关联度,划分所有所述存储子区域,获取若干由若干所述存储子区域组成的所述存储集。
15、相比现有技术,上述实施例具有以下有益效果:由于存储数据量的庞大,因此存储子区域的数量也会对应提升,如果每次存储数据时,都将数据与各存储子区域的数据属性进行匹配,从而确定数据需要存储的存储子区域,将严重降低数据的存储效率;若取消存储子区域的划分,那么将无法明确评估数据重要性,且数据存储较为杂乱,不利于后续数据的查询。因此通过划分存储子区域,并通过统计同一用户对各存储子区域中数据的访问规律,从而获得各存储子区域之间的关联特征,根据该关联特征,可以快速锁定部分用于存储待分类数据的存储子空间,提高存储效率。
16、在第一方面的一个实施例中,所述根据所述访问规律获取各所述存储子区域之间的关联度,包括:
17、判断同一用户在访问第一存储子区域后的预设时间内是否访问第二存储子区域;
18、若是,将第一存储子区域和第二存储子区域进行关联;
19、若否,则对下一个用户的访问进行判断或对当前用户的下一次访问进行判断,直至达到预设的迭代判断次数。
20、相比现有技术,上述实施例具有以下有益效果:根据同一用户对存储子区域访问的先后顺序,可以快速准确地筛选出各存储子区域之间的关联特征,提高后续存储子区域归类的准确性。
21、在第一方面的一个实施例中,所述根据各所述存储子区域的所述数据属性以及各所述存储集的所述区域属性,将所述拟分类数据存储至相应的所述存储子区域中,包括:
22、依次将所述拟分类数据与各所述存储集的所述区域属性匹配后,将所述拟分类数据划分至对应存储集;
23、依次将划分至对应所述存储集的所述拟分类数据,与所述存储集中各所述存储子区域的所述数据属性匹配后,将所述拟分类数据存储至对应所述存储子区域。
24、相比现有技术,上述实施例具有以下有益效果:通过将拟分类数据依次与双层分类规则第一层中存储集的区域属性以及存储子区域的数据属性匹配,可以快速获取拟分类数据的类别,从而快速将拟分类数据存储至对应的存储子空间,不仅提高了数据分类的准确性和效率,还提高了数据的存储效率。
25、第二方面,本专利技术实施例还提供了一种基于业务类型的数据存储装置,其包括:存储子区域容量更新模块、存储子区域分类模块以及数据存储模块;
26、其中,所述存储子区域容量更新模块,用于根据存储区域的数据访问频率,更新若干存储子区域的容量,并获取各所述存储子区域的数据属性;
27、所述存储子区域分类模块,用于根据各所述存储子区域间的访问规律,将所有所述存储子区域归类为若干存储集,并获取各所述存储集的区域属性;
28、所述数据存储模块,用于从数据流中读取拟分类数据,并根据各所述存储子区域的所述数据属性以及各所述存储集的所述区域属性,将所述拟分类数据存储至相应的所述存储子区域中。
29、在第二方面的一个实施例中,所述存储子区域容量更新模块,用于根据存储区域的数据访问频率,更新若干存储子区域的容量,并获取各所述存储子区域的数据属性,包括:
30、获取在预设时间段内不同用户对各所述存储子区域已存储数据的数据访问频率;
31、根据所述已存储数据的数据访问频率,将所有所述存储子区域进行降序排序;
32、根据降序排序结果,依次调整对应所述存储子区域的容量。
33、在第二方面的一个实施例中,所述存储子区域分类模块,用于根本文档来自技高网...
【技术保护点】
1.一种基于业务类型的数据存储方法,其特征在于,包括:
2.如权利要求1所述的一种基于业务类型的数据存储方法,其特征在于,所述根据存储区域的数据访问频率,更新若干存储子区域的容量,并获取各所述存储子区域的数据属性,包括:
3.如权利要求1所述的一种基于业务类型的数据存储方法,其特征在于,所述根据各所述存储子区域的访问规律,将所有所述存储子区域归类为若干存储集,并获取各所述存储集的区域属性,包括:
4.如权利要求3所述的一种基于业务类型的数据存储方法,其特征在于,所述根据所述访问规律获取各所述存储子区域之间的关联度,包括:
5.如权利要求1所述的一种基于业务类型的数据存储方法,其特征在于,所述根据各所述存储子区域的所述数据属性以及各所述存储集的所述区域属性,将所述拟分类数据存储至相应的所述存储子区域中,包括:
6.一种基于业务类型的数据存储装置,其特征在于,包括:存储子区域容量更新模块、存储子区域分类模块以及数据存储模块;
7.如权利要求6所述的一种基于业务类型的数据存储装置,其特征在于,所述存储子区域容量更新
8.如权利要求6所述的一种基于业务类型的数据存储装置,其特征在于,所述存储子区域分类模块,用于根据各所述存储子区域间的访问规律,将所有所述存储子区域归类为若干存储集,并获取各所述存储集的区域属性,包括:
9.如权利要求8所述的一种基于业务类型的数据存储装置,其特征在于,所述根据所述访问规律获取各所述存储子区域之间的关联度,包括:
10.如权利要求6所述的一种基于业务类型的数据存储装置,其特征在于,所述数据存储模块,用于根据各所述存储子区域的所述数据属性以及各所述存储集的所述区域属性,将所述拟分类数据存储至相应的所述存储子区域中,包括:
...【技术特征摘要】
1.一种基于业务类型的数据存储方法,其特征在于,包括:
2.如权利要求1所述的一种基于业务类型的数据存储方法,其特征在于,所述根据存储区域的数据访问频率,更新若干存储子区域的容量,并获取各所述存储子区域的数据属性,包括:
3.如权利要求1所述的一种基于业务类型的数据存储方法,其特征在于,所述根据各所述存储子区域的访问规律,将所有所述存储子区域归类为若干存储集,并获取各所述存储集的区域属性,包括:
4.如权利要求3所述的一种基于业务类型的数据存储方法,其特征在于,所述根据所述访问规律获取各所述存储子区域之间的关联度,包括:
5.如权利要求1所述的一种基于业务类型的数据存储方法,其特征在于,所述根据各所述存储子区域的所述数据属性以及各所述存储集的所述区域属性,将所述拟分类数据存储至相应的所述存储子区域中,包括:
6.一种基于业务类型的数据存储装置,其特征在于,包括:存储子...
【专利技术属性】
技术研发人员:江泽涛,唐曦凌,赵炳辉,李立政,刘贤坚,曹苾玥,黄朝凯,
申请(专利权)人:广东电网有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。