一种遥感数据自动化发布与在线流程监控方法技术

本发明专利技术公开了一种遥感数据自动化发布与在线流程监控方法,设计并完成数据爬取、数据编目、元数据提取、影像发布和数据入库对遥感数据进行加工处理。包括遥感数据在数据爬取环节使用的技术，数据编目中所涉及的Modis数据和Landsat8OLI影像数据的命名规则，Modis元数据和Landsat8元数据提取方法，以及基于GeoServer RESTAPI实现遥感影像数据自动化发布相关技术和步骤。采用Activiti工作流技术对遥感数据的获取、编目、发布、元数据提取到入库环节进行流程设计，构建工作流调度模型，完成遥感数据自动化发布与在线流程监控。本发明专利技术可实现遥感数据的自动化发布，并对自动化发布流程实现在线监控，加快遥感数据发布的生产效率，辅助管理人员对发布流程进行在线的实时监控。

【技术实现步骤摘要】
一种遥感数据自动化发布与在线流程监控方法
本专利技术涉及数据发布和流程监控的
，尤其涉及一种遥感数据自动化发布与在线流程监控方法。
技术介绍
由于现有遥感数据处理体系不够完善，在传统的遥感基础设施建设中，遥感处理的各个环节被认为是一个个独立存在的个体，数据无法互利互通，即使是互相关联的数据往往也需要通过人工进行分发配送，使得整个处理流程十分滞后，效率低下，流程化、自动化的资源处理体系还有没有真正建立起来，同时管理人员面对繁多的数据处理流程不能及时对其工作情况监督把控，这俨然已经成为一个了阻碍遥感生产和应用亟待解决的重要问题，如何面对和解决是对现代遥感产品处理体系所提出的更高要求。遥感信息作为一种信息资源，对它的共享和应用直接关系到我国遥感领域服务水平的高低，虽然近年来遥感数据量增长迅猛，但遥感信息共享机制以及应用服务等还有没有真正建立起来，遥感数据的获取、生产、处理及应用相互脱节，数据呈现“即多又少”的状况。针对这一状况冉全等学者提出了一种基于服务链工作模式的，集数据查询、服务订制、信息发布各项服务为一体的遥感信息模型(remotesensinginformationmodels，RSIM)，通过智能化遥感服务模型订制及遥感数据自动化处理，用以实现社会化服务和价值(参考：冉全,李国庆,于文洋,等.遥感信息模型在线可视化定制和自动化计算[J].国土资源遥感,2017,29(1):221-226)。李国庆等学者提出基于OGC实现了一个镶嵌处理的demoWPS平台，用来解决空间信息处理功能互操作的难题(参考：孙雨,李国庆,黄震春.基于OGCWPS标准的处理服务实现研究[J].计算机科学,2009,36(8):86-88)。张登荣，俞乐，邓超提出了一种遥感图像分布式处理的系统架构；通过链接简单功能服务来实现复杂的处理过程(参考：张登荣,俞乐,邓超,等.基于OGCWPS的Web环境遥感图像处理技术研究[J].浙江大学学报(工学版),2008,42(7):1184-1188)。靖常峰博士在其论文中提出了一种基于工作流的GIS服务链分布式应用集成参考模型，并根据其模型实现了数据和系统建的交互以及GIS服务链执行的跟踪和监控(参考：靖常峰.GIS服务链模型研究及基于工作流技术的实现[D].浙江大学,2008)。上述学者提出的方法，在遥感数据处理
上已经开始采取制作服务链、工作流模式的遥感信息模型，对数据进行跟踪监控的方法来解决遥感数据流程管理方面的问题，但能达到自动化，半自动化的生产处理方法相对较少，同时面向遥感卫星应用领域的标准化及产业化还处于初级阶段，很难对遥感监测的业务化运行提供支撑。为此，我们提出一种遥感数据自动化发布与在线流程监控方法。
技术实现思路
针对上述技术问题，本专利技术的目的在于提供一种遥感数据自动化发布与在线流程监控方法,首先通过数据爬取、数据编目、元数据提取、影像发布和数据入库对遥感数据进行加工处理。采用Activiti工作流技术对遥感数据的获取、编目、发布、元数据提取到入库环节进行流程设计，构建工作流调度模型。成果可加快遥感参量产品生产效率，实现对遥感数据自动化处理流程进行监控，辅助管理人员对处理流程进行更好地监督把控。为实现上述目的，本专利技术提供了一种遥感数据自动化发布与在线流程监控方法，包括如下步骤：S1：数据爬取：通过爬虫技术对USGS(美国地质勘探局)官网的landsat8数据进行定时爬取；S2：数据编目：对不同命名规则的文件预先设定相应的正则匹配表达式，对海量的遥感数据文件进行识别。将遥感数据按照一定规则划分为不同类别和顺序的目录树结构，便于后续调取使用；S3：数据发布：基于S2获得的结果通过GeoServerRESTAPI对遥感影像数据批量发布；S4：元数据提取：基于S2获得的结果从hdf提取Modis元数据和从txt文件提取Landsat8元数据；S5：数据入库：将GeoServer发布的遥感影像以OGC资源的形式存储到数据库中，便于后续工作中对地理服务的使用，以及快速便捷地在任何地方访问使用地理信息资源；S6：遥感数据处理流程调度：遥感任务调度流程模型通过Eclipse所支持的Activiti插件生成，通过创建流程设计器，生成bpmn文件以及对应的png文件，bpmn文件用来定义流程规则，给计算机使用；png文件是展示流程进展的图片，给用户使用。可选的，所述步骤3数据发布具体实现步骤如下：(1)参数录入,使用者需将必要数据作为参数输入,系统会根据读取的参数信息找到指定文件夹；(2)多源数据识别，包括两种数据文件Landsat8和MODIS数据文件。MODIS文件为HDF格式，需转化为GeoTIFF文件，统一发布格式。后进行文件识别过滤，筛选出符合发布格式的文件。代码中通过截取文件后缀的方式进行判断，符合格式的进行影像发布，不符合格式的不进行发布操作，并对下一个文件继续进行判断。以此往复直至路径下的文件全部遍历为止；(3)影像发布，通过用户名、密码获取GeoServerRESTAPI方法权限，并根据用户自定义的参数信息对遥感影像进行发布，根据发布成功影像的ID生成相应的OGC服务，输出到指定txt文件中。可选的，所述步骤4Modis元数据提取具体实现方法为：通过gdal库在c++环境下导入hdf文件路径。调用GDNLOpen()函数打开HDF数据集，判断数据集是否为空。若为空则数据读取失败。若不为空则调用GetMetadata()函数,获取元数据字符串。可选的，所述步骤4Landsat8元数据提取具体实现方法为：通过javaIO流直接读取压缩包获取其中元数据.txt文件。可选的，所述步骤6遥感数据处理工具流程调度具体为：首先经过数据爬取环节对相关数据进行定时爬取，将获取的数据送往数据编目，根据规则对数据规整后进行目录分类，执行完成后，进入并行网关，将业务流程分成两个顺序流。一条顺序流进入遥感数据发布环节，另一条顺序流进入遥感元数据提取环节。两条顺序流同时进行，直到两条顺序流来都运行第二个并行网关后，再汇聚完成数据入库。进一步的，所述数据发布中设置数据模块和缓存切片模块两个模块：(1)数据模块设置图层预览、工作区、数据存储、图层、图层组、样式等六个子模块；(2)缓存切片模块设置图层切片、缓存设置、格网设置和磁盘配额四个子模块。由上，本专利技术的一种遥感数据自动化发布与在线流程监控方法，能够加快遥感参量产品生产效率，对遥感数据自动化处理流程进行监控，辅助管理人员对处理流程进行更好地监督把控。本专利技术的方法提供了遥感数据在爬取、编目和元数据提取所涉及到的关键技术。基于GeoServerRESTAPI可实现遥感影像数据自动化发布。通过Activiti工作流技术对遥感数据的获取、编目、发布、元数据提取到入库环节进行流程设计，构建工作流调度模型，使其自动化整理遥感数据生产遥感参量产品。附图说明图1是本专利技术的遥感数据处理工具流程调度图；图2是本专利技术的本文档来自技高网...

【技术保护点】
1.一种遥感数据自动化发布与在线流程监控方法，其特征在于，包括如下步骤：/nS1：数据爬取：通过爬虫技术对USGS(美国地质勘探局)官网的landsat8数据进行定时爬取；/nS2：数据编目：对不同命名规则的文件预先设定相应的正则匹配表达式，对海量的遥感数据文件进行识别。将遥感数据按照一定规则划分为不同类别和顺序的目录树结构，便于后续调取使用；/nS3：数据发布：基于S2获得的结果通过GeoServer REST API对遥感影像数据批量发布；/nS4：元数据提取：基于S2获得的结果从hdf提取Modis元数据和从txt文件提取Landsat8元数据；/nS5：数据入库：将GeoServer发布的遥感影像以OGC资源的形式存储到数据库中，便于后续工作中对地理服务的使用，以及快速便捷地在任何地方访问使用地理信息资源；/nS6：遥感数据处理流程调度：遥感任务调度流程模型通过Eclipse所支持的Activiti插件生成，通过创建流程设计器，生成bpmn文件以及对应的png文件，bpmn文件用来定义流程规则，给计算机使用；png文件是展示流程进展的图片，给用户使用。/n

【技术特征摘要】
1.一种遥感数据自动化发布与在线流程监控方法，其特征在于，包括如下步骤：
S1：数据爬取：通过爬虫技术对USGS(美国地质勘探局)官网的landsat8数据进行定时爬取；
S2：数据编目：对不同命名规则的文件预先设定相应的正则匹配表达式，对海量的遥感数据文件进行识别。将遥感数据按照一定规则划分为不同类别和顺序的目录树结构，便于后续调取使用；
S3：数据发布：基于S2获得的结果通过GeoServerRESTAPI对遥感影像数据批量发布；
S4：元数据提取：基于S2获得的结果从hdf提取Modis元数据和从txt文件提取Landsat8元数据；
S5：数据入库：将GeoServer发布的遥感影像以OGC资源的形式存储到数据库中，便于后续工作中对地理服务的使用，以及快速便捷地在任何地方访问使用地理信息资源；
S6：遥感数据处理流程调度：遥感任务调度流程模型通过Eclipse所支持的Activiti插件生成，通过创建流程设计器，生成bpmn文件以及对应的png文件，bpmn文件用来定义流程规则，给计算机使用；png文件是展示流程进展的图片，给用户使用。


2.根据权利要求1所述的一种遥感数据自动化发布与在线流程监控方法，其特征在于：所述步骤S3数据发布具体实现步骤如下：
(1)参数录入,使用者需将必要数据作为参数输入,系统会根据读取的参数信息找到指定文件夹；
(2)多源数据识别，包括两种数据文件Landsat8和MODIS数据文件；MODIS文件为HDF格式，需转化为GeoTIFF文件，统一发布格式；后进行文件识别过滤，筛选出符合发布格式的文件；代码中通过截取文件后缀的方式进行判断，符合格式的进行影像发布，不符合格式的不进行发布操作，并对下一个文件继续进行判断；以此往复直至路径下的文件全部遍历为止；
(3)影像发布，通过用户名、密码获取GeoServerRES...

【专利技术属性】
技术研发人员：芦骁，张正鹏，夏广申，尹茁，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：辽宁;21