【技术实现步骤摘要】
本专利技术涉及海洋环境数据处理技术与数据库存储，特别是涉及一种基于国产化平台的netcdf海洋数据解析存储方法及系统。
技术介绍
1、随着海洋观测手段的不断发展，从观测平台到数值模拟，海洋环境数据呈现出明显的多源异构特征。其中，netcdf(network common data form，简称nc文件)作为一种常见的科学数据格式被广泛应用。然而这些格式文件数据需要先进行解析处理才能被有效利用，同时高效存储和管理大量解析后的海洋数据也成为当前亟需解决的问题。与此同时，国家正在大力推进信息系统国产化进程，迫切需要在全国产化平台上建立高效、可靠的技术方案。当前数据处理和存储技术大多部署在商用操作系统和非国产数据库平台之上。在推进国家信息系统国产化的大背景下，基于全国产化环境实现的netcdf海洋数据解析和存储一体化解决方案还相对匮乏。
2、当前针对nc文件格式数据的解析方法主要包括：利用netcdf标准库进行编程解析、使用第三方中间件可视化工具。但这些方法使用上存在一定不足，缺乏足够灵活性，尤其在编码解析之前往往需要先查看文件元数据信息(如变量、属性、维度等)。
3、在数据存储方面，目前针对这种nc数据解析结果的数据库存储技术方案不是很多。大多数技术人员在气象、海洋等领域的业务应用开发中，仍普遍采用直接读取格点化netcdf数据文件的传统方式，缺乏对原始观测数据进行深度加工和高效存储管理的手段。
4、在海洋领域的业务应用开发中，从多源nc文件数据解析处理到高效存储入库的一体化应用系统或解决方案少之
技术实现思路
1、针对当前nc文件数据解析方法灵活性不足、数据存储技术方案相对匮乏，以及在国产化平台下缺少一体化系统应用的问题，本专利技术设计了一套在全国产化平台下高效解析处理多源nc文件，并将解析结果快速存储至国产数据库的一体化技术方案，以满足海洋环境数据集成、质量控制和应用开发的实际业务需求，以支撑海洋相关领域的数据应用,助力国产化进程。为实现上述目的，本专利技术采用如下技术方案实现：
2、第一方面，本专利技术提供了一种基于国产化平台的netcdf海洋数据解析和存储的方法，具体包括：
3、1.根据netcdf文件的数据特征，设计达梦数据库的存储结构，包括构建数据表、创建表关联关系、创建存储过程。
4、(1)创建数据表，数据集表(dataset)的结构设计：datasetid、格网起始经纬度、格网经纬度增量、经纬数量即格网宽度高度数量、格网值分块儿数量；格网表(grid)的结构设计：gridid、所属数据集id(datasetid)、测量物理量、时间、高度(不仅限于高度也可是深度、压力、层级等)；格点数据表(data)的结构设计：所属格网id(gridid)、格网分块序号、格网分块数据。
5、其中格点数据表(data)中的格网分块数据即格点数组数据。将每个格网下组成的大数组拆分成连续的小数组存储。比如：100*100的格网，共计10000个格点值，按照2500一组拆分，实际数据表就会存四行数据，每行记录所属格网id，分组序号，分组数组即可。
6、(2)创建表关联关系，一个数据集对应多个格网平面数据，每个格网平面数据标记所属数据集id，每个格网平面数据对应多个格点数组。
7、(3)创建存储过程，数据集id、格网id作为存储过程输入参数，过程方法通过数据集id检索数据集表元数据信息、通过元数据信息的经纬度范围、增量数据、计数计算每个格点经纬度并插入临时表；过程方法通过格网id检索格点数据表格点数组值；通过临时表中经纬度数据与格点数据表处理后的结果数据进行联接生成包含经度、纬度以及对应数据值的动态视图。
8、其中所述创建临时表(temp_ncplace)，记录id、经度、纬度。id取值通过调用序列生成器获取。经纬度通过双层循环遍历经纬度的索引值获取。
9、纬度＝纬度增量×i+纬度最小值(i纬度索引，范围从0到纬度数量-1)
10、经度＝经度增量×j+经度最小值(j经度索引，范围从0到经度数量-1)
11、其中所述动态视图，根据输入参数格网id从格点数据表(data)中提取格点数组数据(datas)，并通过数据处理、层级序列构建lvl、字符串分割、层级匹配一系列操作，最终生成用于匹配的临时数据列temp_val，同时记录每个数据分割的行号rownum和其所属的层级lvl；将生成的临时数据列temp_val与包含经纬度数据的临时表temp_ncplace进行关联操作，通过行号rownum实现数据的逐条匹配，确保每条经纬度记录与对应的分割数据值相对应；动态视图包含每条记录的唯一标识id、经纬度信息、以及通过数据处理计算得到的数据值val。
12、2.根据达梦数据库存储结构设计，自定义编程对netcdf文件的数据解析。主要包括：
13、(1)解析数据集信息：打开netcdf文件，构造数据集对象。提取坐标维度变量，包括经度、纬度、时间、高度等(不局限于高度)，并根据坐标维度的经纬度信息计算数据边界范围。
14、最小值计算：coordinate_min＝起始值-(增量/2)
15、最大值计算：coordinate_max＝coordinate_min+增量*(坐标轴大小)
16、将以上数据信息依照数据集表(dataset)属性整合为结构化数据集格式。
17、(2)解析格网信息：提取数据维度变量，即物理量(如温度、盐度、降雨量等)。遍历数据变量，根据其对应的维度(dimension)进行提取，包括物理量、时间、高度(不局限于高度)将以上数据信息依照格网表(grid)属性整合为结构化数据集格式。
18、(3)解析格点数据信息：提取数据维度变量，即物理量(如温度、盐度、降雨量等)。遍历数据变量，根据其对应的维度(dimension)进行提取。对于包含时间或者高度(不局限于高度)维度的三、四维数据使用切片方法提取，不包含时间、高度的维度数据直接全部读取。所述切片方法：
19、getdataofslice(variable variable,integer positionof0,integerpositionof1)
20、提取三维或四维变量数据中指定维度的切片层，对于三维数据，使用positionof0参数进行切片；对于四维数据，同时使用positionof0和positionof1参数进行切片；时间维度下标和高度维度下标作为切片参数进行数据处理。读取切片数据后，通过降维方法将数据转化为一维数组存储，再根据格网值分块儿数量确定切分几个等长度数组数据，整合格网分块数量、分块序号、格点数组值依照格点数据表(data)属性整合为结构化数据集格式。
21、第二方面，本专利技术提供了一种基于国产化平台的netcdf海洋数据解析和存储的系统，本文档来自技高网...
【技术保护点】
1.一种基于国产化平台的NetCDF海洋数据解析存储方法，其特征在于：
2.根据权利要求1所述的一种基于国产化平台的NetCDF海洋数据解析存储方法，其特征在于，所述构建三层数据表的具体步骤包括：
3.根据权利要求1所述的一种基于国产化平台的NetCDF海洋数据解析存储方法，其特征在于，所述创建表关联关系的步骤包括：
4.根据权利要求1所述的一种基于国产化平台的NetCDF海洋数据解析存储方法，其特征在于，所述创建存储过程的步骤包括：
5.根据权利要求4所述的一种基于国产化平台的NetCDF海洋数据解析存储方法，其特征在于，所述临时表(temp_ncplace)的创建步骤包括：
6.根据权利要求4所述的一种基于国产化平台的NetCDF海洋数据解析存储方法，其特征在于，所述动态视图的创建步骤包括：
7.一种基于国产化平台的NetCDF海洋数据解析存储系统，其特征在于，系统集成了NetCDF格式海洋数据的接入、解析、整合、存储、可视化及国产化平台下系统部署，形成了完整的一体化解决方案。
8.根据权利要
9.根据权利要求7所述的一种基于国产化平台的NetCDF海洋数据解析存储系统，其特征在于：系统部署在国产化平台上，服务器运行麒麟操作系统和达梦数据库，使用Maven打包Java后端服务，并通过npm编译部署Vue.js前端，结合Nginx进行前后端服务管理。
...【技术特征摘要】
1.一种基于国产化平台的netcdf海洋数据解析存储方法，其特征在于：
2.根据权利要求1所述的一种基于国产化平台的netcdf海洋数据解析存储方法，其特征在于，所述构建三层数据表的具体步骤包括：
3.根据权利要求1所述的一种基于国产化平台的netcdf海洋数据解析存储方法，其特征在于，所述创建表关联关系的步骤包括：
4.根据权利要求1所述的一种基于国产化平台的netcdf海洋数据解析存储方法，其特征在于，所述创建存储过程的步骤包括：
5.根据权利要求4所述的一种基于国产化平台的netcdf海洋数据解析存储方法，其特征在于，所述临时表(temp_ncplace)的创建步骤包括：
6.根据权利要求4所述的一种基于国产化平台的netcdf海洋数据解析存储方法，其特征在于，所述动态视图的创建步骤包括：
7.一种基于国产化平台的netcdf...
【专利技术属性】
技术研发人员：杨嘉琛，杨亚娜，温家宝，奚萌，肖帅，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。