一种应用于智能粮库的数据存储方法及装置制造方法及图纸

本申请公开了一种应用于智能粮库的数据存储方法及装置，方法包括：预先将存档按照页进行了划分，并在存档的根目录下存储了索引页分配策略和记录块分配策略，记录块由若干页组成，在收到携带有位号ID、历史数据和时间戳的位号的存储请求时，在存档的根目录下查询预置的索引页分配策略和记录块分配策略，按照记录块分配策略，从存档的空闲区查找与位号ID对应的目标记录块，将历史数据填充到目标记录块，按照索引页分配策略，查找与位号ID对应的目标索引页，将目标记录块的索引信息和时间戳记录在目标索引页。由于本申请不需要在存档中记录每个位号ID与记录块的索引信息间的对应关系，节省了存档的空间。

【技术实现步骤摘要】

本申请涉及流程工业实时数据库存档
，更具体地说，涉及一种应用于智能粮库的数据存储方法及装置。
技术介绍
随着流程工业的发展，实时数据库需要存储的数据量也越来越大。以智能粮库为例，针对智能粮库的多参数粮情监控数据、多参数粮情报警数据等均需要存储到实时数据库中。这里的数据量增大主要体现在：存储的位号的点数要求越来越来多，需要同时处理几十万个位号的历史数据存储；存储的数据时间跨度要求也越来越长，需要存储两年以上的历史数据。其中，位号为数据存储的最小单位实体，通常由q(质量码)、t(时间戳)、v(历史数据)组成。现有的数据库存档方式采用动态存储方式，也即针对某个位号的存储请求，随机选择空闲的存储区域来存储位号的历史数据，然后在存档的某个固定位置中记录位号ID与存储区域索引信息间的对应关系，以便后续查询。可以理解的是，在存储数量众多的位号时，需要在数据库的存档中记录各个位号ID与存储区域索引信息间的对应关系，这将会占用存档的很大一部分空间，降低了数据库存储能力。
技术实现思路
有鉴于此，本申请提供了一种应用于智能粮库的数据存储方法及装置，用于解决现有技术需要在存档内记录位号ID与存储该位号的历史数据的存储区域的索引信息间的对应关系，从而降低数据库存储能力的问题。为了实现上述目的，现提出的方案如下：一种应用于智能粮库的数据存储方法，包括：接收位号的存储请求，所述存储请求包括位号ID、历史数据和时间戳；在存档的根目录下查询预置的索引页分配策略、记录块分配策略，其中，所述索引页分配策略规定了位号ID及对应索引页位置，所述记录块分配策略规定了位号ID及对应记录块位置，所述存档预先按照页进行了划分，所述记录块由若干页组成；按照所述记录块分配策略，查找与所述位号ID对应的目标记录块；将所述历史数据填充到所述目标记录块；按照所述索引页分配策略，查找与所述位号ID对应的目标索引页；将所述目标记录块的索引信息和所述时间戳记录在所述目标索引页。优选地，所述将所述历史数据填充到所述目标记录块，包括：将所述历史数据进行实时无损压缩，得到实时压缩数据；将所述实时压缩数据填充到缓存的记录页中；判断所述记录页的填充状态是否达到预置填充状态，若是，则将所述记录页进行静态文本压缩，得到压缩块；将所述压缩块填充到所述目标记录块中。优选地，还包括：判断所述目标索引页是否已经存满；若是，按照所述索引页分配策略，为所述位号分配新的索引页，并将新的索引页的索引信息添加至上一索引页中。优选地，还包括：判断与所述位号对应的索引页的个数是否达到阈值，其中，与所述位号对应的索引页作为所述位号的一级索引页；若是，为所述位号创建二级索引页，所述二级索引页中记录有所述位号的一级索引页的索引信息。优选地，还包括：将所述位号的二级索引页与所述位号的首个一级索引页进行位置交换。一种应用于智能粮库的数据存储装置，包括：存储请求接收单元，用于接收位号的存储请求，所述存储请求包括位号ID、历史数据和时间戳；根目录查询单元，用于在存档的根目录下查询预置的索引页分配策略、记录块分配策略，其中，所述索引页分配策略规定了位号ID及对应索引页位置，所述记录块分配策略规定了位号ID及对应记录块位置，所述存档预先按照页进行了划分，所述记录块由若干页组成；目标记录块查找单元，用于按照所述记录块分配策略，查找与所述位号ID对应的目标记录块；历史数据填充单元，用于将所述历史数据填充到所述目标记录块；目标索引页查找单元，用于按照所述索引页分配策略，查找与所述位号ID对应的目标索引页；目标索引页记录单元，用于将所述目标记录块的索引信息和所述时间戳记录在所述目标索引页。优选地，所述历史数据填充单元包括：无损压缩单元，用于将所述历史数据进行实时无损压缩，得到实时压缩数据；实时压缩数据填充单元，用于将所述实时压缩数据填充到缓存的记录页中；记录页状态判断单元，用于判断所述记录页的填充状态是否达到预置填充状态；静态压缩单元，用于在所述记录页状态判断单元的判断结果为是时，将所述记录页进行静态文本压缩，得到压缩块；压缩块填充单元，用于将所述压缩块填充到所述目标记录块中。优选地，还包括：目标索引页判断单元，用于判断所述目标索引页是否已经存满；新索引页分配单元，用于在所述目标索引页判断单元的判断结果为是时，按照所述索引页分配策略，为所述位号分配新的索引页，并将新的索引页的索引信息添加至上一索引页中。优选地，还包括：索引页个数判断单元，用于判断与所述位号对应的索引页的个数是否达到阈值，其中，与所述位号对应的索引页作为所述位号的一级索引页；二级索引页创建单元，用于在所述索引页个数判断单元的判断结果为是时，为所述位号创建二级索引页，所述二级索引页中记录有所述位号的一级索引页的索引信息。优选地，还包括：索引页位置交换单元，用于将所述位号的二级索引页与所述位号的首个一级索引页进行位置交换。从上述的技术方案可以看出，本申请实施例提供的应用于智能粮库的数据存储方法，预先将存档按照页进行了划分，并在存档的根目录下预先存储了索引页分配策略和记录块分配策略，其中，索引页分配策略规定了位号ID及对应索引页位置，记录块分配策略规定了位号ID及对应记录块位置，记录块由若干页组成。在收到携带有位号ID、历史数据和时间戳的位号的存储请求时，在存档的根目录下查询预置的索引页分配策略和记录块分配策略，按照记录块分配策略，从存档的空闲区查找与位号ID对应的目标记录块，将历史数据填充到目标记录块，按照索引页分配策略，查找与位号ID对应的目标索引页，将目标记录块的索引信息和时间戳记录在目标索引页。本申请的数据存储方法，预先规定了索引页分配策略和记录块分配策略，存储位号时按照上述两个策略确定记录块和索引页，在记录块中存储历史数据，在索引页中存储记录块的索引信息和时间戳，后续查询位号历史数据时可以按照位号ID以及索引页分配策略和记录块分配策略，查询位号ID对应的历史数据。由于本申请不需要在存档中记录每个位号ID与记录块的索引信息间的对应关系，节省了存档的空间，提升了数据库的存储能力。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中本文档来自技高网...

【技术保护点】
一种应用于智能粮库的数据存储方法，其特征在于，包括：接收位号的存储请求，所述存储请求包括位号ID、历史数据和时间戳；在存档的根目录下查询预置的索引页分配策略、记录块分配策略，其中，所述索引页分配策略规定了位号ID及对应索引页位置，所述记录块分配策略规定了位号ID及对应记录块位置，所述存档预先按照页进行了划分，所述记录块由若干页组成；按照所述记录块分配策略，查找与所述位号ID对应的目标记录块；将所述历史数据填充到所述目标记录块；按照所述索引页分配策略，查找与所述位号ID对应的目标索引页；将所述目标记录块的索引信息和所述时间戳记录在所述目标索引页。

【技术特征摘要】
1.一种应用于智能粮库的数据存储方法，其特征在于，包括：
接收位号的存储请求，所述存储请求包括位号ID、历史数据和时间戳；
在存档的根目录下查询预置的索引页分配策略、记录块分配策略，其中，
所述索引页分配策略规定了位号ID及对应索引页位置，所述记录块分配策略
规定了位号ID及对应记录块位置，所述存档预先按照页进行了划分，所述记
录块由若干页组成；
按照所述记录块分配策略，查找与所述位号ID对应的目标记录块；
将所述历史数据填充到所述目标记录块；
按照所述索引页分配策略，查找与所述位号ID对应的目标索引页；
将所述目标记录块的索引信息和所述时间戳记录在所述目标索引页。
2.根据权利要求1所述的方法，其特征在于，所述将所述历史数据填充
到所述目标记录块，包括：
将所述历史数据进行实时无损压缩，得到实时压缩数据；
将所述实时压缩数据填充到缓存的记录页中；
判断所述记录页的填充状态是否达到预置填充状态，若是，则将所述记
录页进行静态文本压缩，得到压缩块；
将所述压缩块填充到所述目标记录块中。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
判断所述目标索引页是否已经存满；
若是，按照所述索引页分配策略，为所述位号分配新的索引页，并将新
的索引页的索引信息添加至上一索引页中。
4.根据权利要求3所述的方法，其特征在于，还包括：
判断与所述位号对应的索引页的个数是否达到阈值，其中，与所述位号
对应的索引页作为所述位号的一级索引页；
若是，为所述位号创建二级索引页，所述二级索引页中记录有所述位号
的一级索引页的索引信息。
5.根据权利要求4所述的方法，其特征在于，还包括：
将所述位号的二级索引页与所述位号的首个一级索引页进行位置交换。
6.一种应用于智能粮库的数据存储装置，其特征在于，包括：
存储请求接收单元，用于接收位号的存储请求，所述存储请求包括位号
ID、历史数据和时间戳；
根目录查询单元，用于在存档的根目录下查询预置的索引页分配策略、
记录块分配策略，其中，所述索引页...

【专利技术属性】
技术研发人员：陈挺，郑磊落，阮志坚，李德文，
申请(专利权)人：浙江中控技术股份有限公司，
类型：发明
国别省市：浙江;33