【技术实现步骤摘要】
本申请涉及数据处理分析，特别是涉及一种基于列式数据库的大气海洋数据检索优化方法和装置。
技术介绍
1、随着大气海洋环境预报技术快速发展及大气海洋数据采集日益频繁，大气海洋历史数据呈爆发式增长。大气海洋历史数据是数值预报业务化应用的重要资源与技术基石，对于大气海洋环境预报、气候研究等领域有重大意义。然而传统大气海洋数据库主要面向数据归档，在海量历史大气海洋数据高效检索方面面临巨大挑战。
技术实现思路
1、基于此，为快速、精确地从海量历史大气海洋数据中提取特定区域、满足特定条件的数据，支撑精细化大气海洋环境预报及辅助决策，有必要针对上述海量历史大气海洋数据检索访问效率低的问题，提供一种基于列式数据库的大气海洋数据检索优化方法和装置。
2、一种基于列式数据库的大气海洋数据检索优化方法，所述方法包括：
3、根据大气海洋环境预报分析需求，分别按照要素维度、空间维度以及时间维度对历史大气海洋数据进行裁剪提取，得到多维度的大气海洋格点数据，并通过对多维度的大气海洋格点数据进行数据解码，得到大气海洋格点数据中各要素的数据值；
4、针对要素维度的大气海洋格点数据，依据要素类型切分形成单要素数据，以单要素数据表的形式将对应类型的大气海洋格点数据与要素数据值存储于列式数据库中，并基于单要素数据表进行要素维度的大气海洋数据检索优化；
5、针对空间维度的大气海洋格点数据，提取元数据信息存储于列式数据库中，依据元数据信息中的经度、纬度以及高度数据构建空间编码，并
6、针对时间维度的大气海洋格点数据，基于时间剖分层级将时间离散化剖分为不同长度的时间段，将大气海洋格点数据对应的时间段进行时间离散编码，得到时间编码，存储于列式数据库中，并基于时间编码进行时间维度的大气海洋数据检索优化；
7、在进行要素维度、空间维度以及时间维度的大气海洋数据检索优化的基础上，通过分层读取大气海洋格点数据中的元数据信息，形成一维数据，并根据预设的空间分辨率将一维数据切分为固定大小的数据块，将每个数据块对应区域范围内的大气海洋格点数据与要素数据值存储为列式数据库的行元素，并在列式数据库中基于数据块的全局位置信息构建数据块索引，基于数据块索引进行大气海洋数据检索优化。
8、在其中一个实施例中，根据大气海洋环境预报分析需求，分别按照要素维度、空间维度以及时间维度对历史大气海洋数据进行裁剪提取，得到多维度的大气海洋格点数据，包括：
9、根据大气海洋环境预报分析需求，分别采用要素维度、空间维度以及时间维度的cdo裁剪提取算子对历史大气海洋数据进行裁剪提取，得到多维度谱模式的大气海洋数据，并采用cdo数据转换算子将多维度谱模式的大气海洋数据转换为格点模式，得到多维度的大气海洋格点数据。
10、在其中一个实施例中，采用空间维度的cdo裁剪提取算子对历史大气海洋数据进行裁剪提取包括：规则裁剪和不规则裁剪；其中，规则裁剪通过指定经纬度区域的最大经纬度值与最小经纬度值，进行特定经纬度区域的数据裁剪提取；不规则裁剪通过设定特定经纬度区域的矢量边界，并通过生成与历史大气海洋数据相同分辨率的栅格化文件作为掩码，在特定经纬度区域内，将除所需区域之外的其他区域设置为无数据，进行大气海洋数据的非规则裁剪。
11、在其中一个实施例中，通过对多维度的大气海洋格点数据进行数据解码，得到大气海洋格点数据中各要素的数据值，包括：
12、针对grib码格式的多维度的大气海洋格点数据，依次进行grib消息获取和grib要素解码，得到大气海洋格点数据中各要素的数据值；其中，grib消息获取用于获取大气海洋格点数据的数据结构信息，包括grib编码版本号和grib消息正文；grib要素解码用于对grib消息正文进行逐段格式检查、逐段解码以及逐要素解码，得到大气海洋格点数据中各要素的数据值。
13、在其中一个实施例中，针对要素维度的大气海洋格点数据，依据要素类型切分形成单要素数据，以单要素数据表的形式将对应类型的大气海洋格点数据与要素数据值存储于列式数据库中，并基于单要素数据表进行要素维度的大气海洋数据检索优化，包括：
14、针对要素维度的大气海洋格点数据，依据要素类型切分形成单要素数据，并构建表格名称与要素名称一致的单要素数据表，以单要素数据表的形式将对应类型的大气海洋格点数据与要素数据值存储于列式数据库中；
15、当基于大气海洋要素进行数据检索时，通过定位列式数据库中与待检索的大气海洋要素名称一致的单要素数据表进行数据检索查询，实现要素维度的大气海洋数据检索优化。
16、在其中一个实施例中，当大气海洋格点数据更新时，对于同一类大气海洋要素，在列式数据库中已存储的单要素数据表的基础上进行更新数据的插入合并；对于新增类别的大气海洋要素，在列式数据库中新构建单要素数据表进行数据写入。
17、在其中一个实施例中，针对空间维度的大气海洋格点数据，提取元数据信息存储于列式数据库中，依据元数据信息中的经度、纬度以及高度数据构建空间编码，并基于空间编码进行空间维度的大气海洋数据检索优化，包括：
18、针对空间维度的大气海洋格点数据，提取其元数据信息；其中，元数据信息包括大气海洋格点数据的经度、纬度、高度、要素名称以及资料时间；
19、基于经纬度数据以及地理空间网格二分编码原理，对大气海洋格点数据所在的经纬度区域范围进行二维平面多层级网格剖分，并在每一级网格中，采用反z序对称规则进行二进制编码，得到基于经纬度的二维平面网格编码；
20、根据大气海洋垂直分层特性，对大气海洋格点数据所在的海拔高度或深度范围进行非均匀划分，并在划分得到的每一垂直分层中，采用预设的剖分层级进行垂直剖分，并根据每一垂直分层的类型、层级、高度基准以及垂直分层内剖分的网格序号进行垂直编码，在二维平面网格编码的基础上进一步结合垂直编码，得到基于经纬高的三维空间网格编码；其中，经纬二维平面的剖分层数与垂直分层的剖分层数一致，均为32层；其中，垂直分层包括大气层面的热层、中间层、平流层和对流层，以及海洋层面的海水上层、海洋中层、海洋深层、海洋深渊层和海洋超深渊层；垂直编码共32bit，分为4段，第一段表示大气或海洋，占1bit；第二段表示垂直分层的层级，占5bit；第三段表示垂直分层的高度基准，占18bit，具体可扩展支持260km高度基准；第四段表示垂直分层内剖分的网格序号，占8bit，具体可扩展表示垂直分层内的256个垂直网格单元；
21、当基于空间范围进行数据检索时，通过对空间范围内的起止经纬度坐标与垂直分层进行空间编码，并将空间编码结果与列式数据库中二维平面网格编码或三维空间网格编码比对进行数据检索查询，实现空间维度的大气海洋数据检索优化。
22、在其中一个实施例中，针对时间维度的大气本文档来自技高网...
【技术保护点】
1.一种基于列式数据库的大气海洋数据检索优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据大气海洋环境预报分析需求，分别按照要素维度、空间维度以及时间维度对历史大气海洋数据进行裁剪提取，得到多维度的大气海洋格点数据，包括：
3.根据权利要求2所述的方法，其特征在于，采用空间维度的CDO裁剪提取算子对历史大气海洋数据进行裁剪提取包括：规则裁剪和不规则裁剪；其中，所述规则裁剪通过指定经纬度区域的最大经纬度值与最小经纬度值，进行特定经纬度区域的数据裁剪提取；所述不规则裁剪通过设定特定经纬度区域的矢量边界，并通过生成与历史大气海洋数据相同分辨率的栅格化文件作为掩码，在特定经纬度区域内，将除所需区域之外的其他区域设置为无数据，进行大气海洋数据的非规则裁剪。
4.根据权利要求3所述的方法，其特征在于，通过对所述多维度的大气海洋格点数据进行数据解码，得到大气海洋格点数据中各要素的数据值，包括：
5.根据权利要求1所述的方法，其特征在于，针对要素维度的大气海洋格点数据，依据要素类型切分形成单要素数据，以单要素数据表
6.根据权利要求5所述的方法，其特征在于，当大气海洋格点数据更新时，对于同一类大气海洋要素，在列式数据库中已存储的单要素数据表的基础上进行更新数据的插入合并；对于新增类别的大气海洋要素，在列式数据库中新构建单要素数据表进行数据写入。
7.根据权利要求1所述的方法，其特征在于，针对空间维度的大气海洋格点数据，提取元数据信息存储于列式数据库中，依据所述元数据信息中的经度、纬度以及高度数据构建空间编码，并基于所述空间编码进行空间维度的大气海洋数据检索优化，包括：
8.根据权利要求1所述的方法，其特征在于，针对时间维度的大气海洋格点数据，基于时间剖分层级将时间离散化剖分为不同长度的时间段，将大气海洋格点数据对应的时间段进行时间离散编码，得到时间编码，存储于列式数据库中，并基于所述时间编码进行时间维度的大气海洋数据检索优化，包括：
9.根据权利要求1所述的方法，其特征在于，通过分层读取大气海洋格点数据中的元数据信息，形成一维数据，并根据预设的空间分辨率将所述一维数据切分为固定大小的数据块，将每个数据块对应区域范围内的大气海洋格点数据与要素数据值存储为列式数据库的行元素，并在列式数据库中基于数据块的全局位置信息构建数据块索引，基于所述数据块索引进行数据块维度的大气海洋数据检索优化，包括：
10.一种基于列式数据库的大气海洋数据检索优化装置，其特征在于，所述装置包括：
...【技术特征摘要】
1.一种基于列式数据库的大气海洋数据检索优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据大气海洋环境预报分析需求，分别按照要素维度、空间维度以及时间维度对历史大气海洋数据进行裁剪提取，得到多维度的大气海洋格点数据，包括：
3.根据权利要求2所述的方法，其特征在于，采用空间维度的cdo裁剪提取算子对历史大气海洋数据进行裁剪提取包括：规则裁剪和不规则裁剪；其中，所述规则裁剪通过指定经纬度区域的最大经纬度值与最小经纬度值，进行特定经纬度区域的数据裁剪提取；所述不规则裁剪通过设定特定经纬度区域的矢量边界，并通过生成与历史大气海洋数据相同分辨率的栅格化文件作为掩码，在特定经纬度区域内，将除所需区域之外的其他区域设置为无数据，进行大气海洋数据的非规则裁剪。
4.根据权利要求3所述的方法，其特征在于，通过对所述多维度的大气海洋格点数据进行数据解码，得到大气海洋格点数据中各要素的数据值，包括：
5.根据权利要求1所述的方法，其特征在于，针对要素维度的大气海洋格点数据，依据要素类型切分形成单要素数据，以单要素数据表的形式将对应类型的大气海洋格点数据与要素数据值存储于列式数据库中，并基于单要素数据表进行要素维度的大气海洋数据检索优化，包括：
6.根据权利要求5所述的方法，其特征在于，当...
【专利技术属性】
技术研发人员：任小丽，邵成成，任开军，邓科峰，李小勇，朱志昂，高铂洋，李卓然，杨绍辉，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。