数据存储装置和数据存储方法制造方法及图纸

技术编号:10681226 阅读:183 留言:0更新日期:2014-11-26 13:50
本发明专利技术提供了一种数据存储装置,包括:存储文件创建单元,用于根据多个预设时间范围分别创建相应的存储文件;实时数据获取单元,用于获取实时数据,并将所述实时数据存储至中转文件;数据存储单元,用于从所述中转文件中获取数据,并根据所述数据的时间所在的时间范围,将所述数据存储至与所述时间范围对应的存储文件。本发明专利技术还提出了一种数据存储方法。通过本发明专利技术的技术方案,能够在根据存储数据生成图表时,同时满足图表的数据精度和时间范围两项指标,便于用户进行查看。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种数据存储装置,包括:存储文件创建单元,用于根据多个预设时间范围分别创建相应的存储文件;实时数据获取单元,用于获取实时数据,并将所述实时数据存储至中转文件;数据存储单元,用于从所述中转文件中获取数据,并根据所述数据的时间所在的时间范围,将所述数据存储至与所述时间范围对应的存储文件。本专利技术还提出了一种数据存储方法。通过本专利技术的技术方案,能够在根据存储数据生成图表时,同时满足图表的数据精度和时间范围两项指标,便于用户进行查看。【专利说明】
本专利技术涉及数据处理
,具体而言,涉及一种数据存储装置和一种数据存储方法。
技术介绍
目前的网络流量监控系统通过SNMP服务获取数据,然后使用RRD环形数据库存储和更新数据,当用户需要查看数据时,可以调用RRDTool生成图进行查看。因此RRD环形数据库作为数据容器,其容量大小直接影响RRDTool生成图表的时间范围和数据精度两项重要性能指标。由于RRD文件使用固定大小的空间来存储数据,并有一个指针指向最新的数据的位置,当所有可用位置都被用过后,该循环过程会自动重新使用已使用过的位置,这导致已使用过的位置的数据被覆盖,无法实现在一个RRD文件内保存大量数据不丢失。 目前存在两种方案,可以分别解决大时间范围和数据高精度的问题,但无法有效平衡这两者的关系。 1.降低时间范围,利用不同的RRD文件存储数据。 由于RRD文件使用固定大小的空间来存储数据,不存在类似关系型数据库自动扩容的功能,所以根据实际需要,可以牺牲时间范围,保证精度,即将一个大数据分别存储在多个RRD文件内,以满足高精度的要求,但RRDTool无法解决针对多个RRD文件的生成图表的问题。 2.降低数据精度,利用相同的RRD文件存储数据。 由于RRD文件使用固定大小的空间来存储数据,不存在类似关系型数据库自动扩容的功能,所以根据实际需要,可以牺牲精度,保证时间范围,即将一个大数据进行均匀抽取后,将抽取出的数据存储在一个RRD文件内,以满足大时间范围的要求,但RRDTool生成图表的精度较低。 因此,需要一种新的数据存储技术,能够在根据存储数据生成图表时,同时满足图表的数据精度和时间范围两项指标,便于用户进行查看。
技术实现思路
本专利技术正是基于上述问题,提出了一种数据存储技术,能够在根据存储数据生成图表时,同时满足图表的数据精度和时间范围两项指标,便于用户进行查看。 有鉴于此,本专利技术提出了一种数据存储装置,包括:存储文件创建单元,用于根据多个预设时间范围分别创建相应的存储文件;实时数据获取单元,用于获取实时数据,并将所述实时数据存储至中转文件;数据存储单元,用于从所述中转文件中获取数据,并根据所述数据的时间所在的时间范围,将所述数据存储至与所述时间范围对应的存储文件。 在该技术方案中,存储文件可以是RRD文件,中转文件可以是.TXT格式的文件,在对系统进行监控时,可以通过SNMP(Simple Network Management Protocol,简单网络管理协议)实时获取系统数据,然后将获取到的数据以分布式存储的方式(比如以Key-Value的格式)存储至中转文件,由于存储文件根据预设时间范围创建,每一个预设时间范围可以对应一个存储文件,当从中转文件中读取数据存储至存储文件时,可以根据数据的时间所在的时间范围将该数据存储至相应的存储文件,避免了将所有数据存储在一个存储文件中而造成数据覆盖,或将数据均匀抽取再进行存储而导致精度降低,从而在根据这些存储文件查询数据绘制图表时,可以根据需要查询数据的时间范围从相应的存储文件中获取数据,而相应的存储文件中存储的数据可以包括用户所需查询的时间范围内的全部数据(一般为一年的数据或两年的数据),进而在调用RRDTool生成图表时,可以同时保证图表的数据精度和时间范围。 根据本专利技术的又一方面,还提出了一种数据存储方法,包括:步骤202,根据多个预设时间范围分别创建相应的存储文件;步骤204,获取实时数据,并将所述实时数据存储至中转文件;步骤206,从所述中转文件中获取数据,根据所述数据的时间所在的时间范围,将所述数据存储至与所述时间范围对应的存储文件。 在该技术方案中,存储文件可以是RRD文件,中转文件可以是.TXT格式的文件,在对系统进行监控时,可以通过SNMP实时获取系统数据,然后将获取到的数据以分布式存储的方式(比如以Key-Value的格式)存储至中转文件,由于存储文件根据预设时间范围创建,每一个预设时间范围可以对应一个存储文件,当从中转文件中读取数据存储至存储文件时,可以根据数据的时间所在的时间范围将该数据存储至相应的存储文件,避免了将所有数据存储在一个存储文件中而造成数据覆盖,或将数据均匀抽取再进行存储而导致精度降低,从而在根据这些存储文件查询数据绘制图表时,可以根据需要查询数据的时间范围从相应的存储文件中获取数据,而相应的存储文件中存储的数据可以包括用户所需查询的时间范围内的全部数据(一般为一年的数据或两年的数据),进而在调用RRDTool生成图表时,可以同时保证图表的数据精度和时间范围。 通过以上技术方案,在根据存储文件中的数据生成图表时,同时满足图表的数据精度和时间范围两项指标,便于用户进行查看。 【专利附图】【附图说明】 图1示出了根据本专利技术的实施例的数据存储装置的框图; 图2示出了根据本专利技术的实施例的数据存储方法的流程图; 图3示出了根据本专利技术的实施例的数据查询方法的流程图; 图4示出了根据本专利技术的实施例的数据更新方法的流程图。 【具体实施方式】 为了能够更清楚地理解本专利技术的上述目的、特征和优点,下面结合附图和【具体实施方式】对本专利技术进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。 在下面的描述中阐述了很多具体细节以便于充分理解本专利技术,但是,本专利技术还可以采用其他不同于在此描述的其他方式来实施,因此,本专利技术的保护范围并不受下面公开的具体实施例的限制。 图1示出了根据本专利技术的实施例的数据存储装置的框图。 如图1所示,根据本专利技术的实施例的数据存储装置100,包括:存储文件创建单元102,用于根据多个预设时间范围分别创建相应的存储文件;实时数据获取单元104,用于获取实时数据,并将实时数据存储至中转文件;数据存储单元106,用于从中转文件中获取数据,并根据数据的时间所在的时间范围,将数据存储至与时间范围对应的存储文件。 存储文件可以是RRD文件,中转文件可以是.TXT格式的文件,在对系统进行监控时,可以通过SNMP实时获取系统数据,然后将获取到的数据以分布式存储的方式(比如以Key-Value的格式)存储至中转文件,由于存储文件根据预设时间范围创建,每一个预设时间范围可以对应一个存储文件,当从中转文件中读取数据存储至存储文件时,可以根据数据的时间所在的时间范围将该数据存储至相应的存储文件,避免了将所有数据存储在一个存储文件中而造成数据覆盖,或将数据均匀抽取再进行存储而导致精度降低,从而在根据这些存储文件查询数据绘制图表时,可以根据需要查询数据的时间范围从相应的存储文件中获取数据,而相应的存本文档来自技高网
...
<a href="http://www.xjishu.com/zhuanli/55/201310182207.html" title="数据存储装置和数据存储方法原文来自X技术">数据存储装置和数据存储方法</a>

【技术保护点】
一种数据存储装置,其特征在于,包括:存储文件创建单元,用于根据多个预设时间范围分别创建相应的存储文件;实时数据获取单元,用于获取实时数据,并将所述实时数据存储至中转文件;数据存储单元,用于从所述中转文件中获取数据,并根据所述数据的时间所在的时间范围,将所述数据存储至与所述时间范围对应的存储文件。

【技术特征摘要】

【专利技术属性】
技术研发人员:刘元
申请(专利权)人:方正宽带网络服务股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1