本发明专利技术公开了一种基于抽象数据模型的海量栅格数据格式转换并行方法，属于栅格数据格式转换方法领域。本发明专利技术的步骤为：借助GDAL库函数解译栅格数据文件，按行划分栅格数据使每块数据量为行数总量除以计算进程数，构建待处理栅格数据块栈表以及数据块处理情况统计表，获取空闲计算进程队列；取出待处理数据块出栈与从空闲计算进程队列中取出的计算进程组合构成操作指令，发送给该计算进程；计算进程接收指令并负责完成该数据块的格式转换操作；计算进程发送的目标数据格式块文件写到框架文件中对应的位置，直到整个框架文件被全部填充。本发明专利技术将栅格数据格式转换技术和并行计算技术结合起来，大大提高了数据转换效率，缩短了转换格式耗费的时间。
【技术实现步骤摘要】
本专利技术涉及ー种栅格数据格式转换方法，更具体地说，涉及一种，特別适用于海量的栅格数据进行格式转换。
技术介绍
随着空间信息技术的发展，地理信息系统(GIS，Geographic Information System)的应用范围已经逐渐从学术科研应用转向エ业应用行业和社会化应用。与此同吋， 大多数GIS软件厂商紛紛推出自己的数据格式，不同行业根据自己对数据的需求也选择适合自己行业发展的空间数据格式，造成市场上的空间数据格式呈现多祥化的格局。如何有效地解决空间数据的异构性，増加访问透明性，实现地理信息的有效共享一直是研究人员广泛关注的问题。空间数据格式转换先后经历了三个发展阶段。最初在地理信息系统技术尚未得到大范围推广时，空间信息共享需求并不是很旺盛，数据格式转换由不同GIS系统的数据格式之间的直接转换。这种方式往往转换效率高，信息损失少，但是这种方法只有在详细掌握双方数据格式的前提下才能实现，而且格式转换两两配对结构在数据格式种类增多时使得数据共享工作变得异常繁杂。而如果相关软件数据格式不公开，或者软件数据格式发生变化，这种数据格式的直接转换往往需要投入大量的人力和财力，转换难度大大增加，转换质量无法保障。采用空间数据交換格式标准作为中介实现不同GIS之间的数据转换代表第二阶段。由于直接转换方法的存在相应技术问题，许多国家紛紛制定了自己的空间数据交換格式标准，如美国的空间数据转换标准(Spatial Data Transfer Standard, SDTS)等，我国于1999年颁布了中华人民共和国国家标准——地球空间数据交換格式。此外国际标准化组织和OGC(Open GIS Consortium，0GC)推出的地理标识语言(Geography Markup Language, GML)格式也可以作为空间数据交換格式的标准。但从ー种软件到另ー种软件的数据转换一般必须经过从源数据到标准数据和从标准数据到目标数据的两次转换，可能产生大量的冗余数据，增加磁盘荷载。而且由于标准化的规范不同，所以对GIS标准格式数据的接口和转换的实现无法达到同步，而且各种各样标准的出现，使数据标准化已失去了原来的意义，不同国家和地区制定的标准之间互不兼容的情况普遍存在，标准间仍然存在地理模型和数据结构性差异的问题。基于抽象数据模型的栅格数据格式转换方法，采用统一的抽象数据模型作为转换媒介，转换过程发生在内存中，中间数据格式并不生成，支持数据格式易于扩展，能够实现任意数据格式两两转换，是一种比较理性的转换技木。北美地区Mfe公司研发的FME suite程序，ー种GIS的数据转换平台，能够实现上百种数据格式的相互转换，将GIS要素同构化，井向用户提供数据处理的组件模型，满足不同数据格式之间的转换需要。目前，栅格数据格式的转换研究的热点除了抽象数据模型的构建和表达以外，更多学者立足于已有数据模型库，设计实现满足自己行业需求的数据格式转换以及数据格式的扩展。1999年，陈常松在期刊《中国图像图形学报》4卷第1期发表“面向数据共享目的的GIS语义数据模型” 一文，提出了ー种GIS语义数据模型，试图通过该模型从技术上解决部门之间的数据共享问题；2000年，宋关福等在期刊《地理科学进展》19卷第2期发表“多源空间数据无缝集成研究” 一文，阐述了多源空间数据无缝集成技术的体系结构，探讨了其在GIS软件开发中的应用；2011年，徐杨等在期刊《测绘通报》第6期发表“基于OGR的交换格式数据驱动的设计与实现” 一文，提出基于OGR库开发ー个交換格式数据驱动，实现交换格式数据与商用GIS格式数据之间的自由转换；2011年，陈振等在期刊《测绘科学技术学报》28卷第2期发表“自定义空间数据格式的扩展与应用” 一文，提出了利用OGR自定义数据源来实现GIS软件对自定义空间数据格式支持。然而在很多时候，随着数据量的増大，普通的串行数据转换算法已经不能满足人们对海量数据格式转换的需求。随着计算机软硬件技术的发展，采用计算方式来进行很多科学和工程领域的研究和设计，成为了ー种跨学科的创新源泉。目前在GIS领域，高性能计算已经被广泛应用到栅格图像处理，尤其是大尺度的遥感图像处理领域，并取得了很好的进展。2003年，周海芳博士在其博士论文《遥感图像并行处理算法的研究与应用》中，提出了在遥感图像几何校正、 自动配准以及流域分割的并行算法；2004年，易法令在期刊《计算机工程》30卷第23期发表“GIS空间数据格式并行转换的调度算法” 一文，分析了 GIS两种常见的空间数据格式 (GRID、TIN)并行转换的可行性，并给出了两种基于Cluster结构的并行转换的任务调度算法。GDAL(Geospatial Data Abstraction Library)是ー个开源空间数据转换库，其利用抽象数据模型(GDAL Data Model，參考OpenGIS制定的栅格数据标准)来解析所支持的各种空间数据文件格式，提供了一系列栅格数据格式的读写接ロ，支持数据格式如ERDAS Imagine (*· img)、GeoTIFF(*· tif)、JPEG 和 BMP 等。
技术实现思路
专利技术要解决的技术问题本专利技术在于克服现有技术的不足，面对待处理数据量成几何级数上升的趋势，本专利技术将高性能并行计算技术用于栅格数据格式转换，提出了一种，在总结现有基于抽象数据模型的栅格数据格式转换串行算法基础上，面向井行计算软硬件环境，重新设计基于抽象数据模型的栅格数据格式转换并行算法， 实现栅格数据格式转换操作的并行处理，大大提高转换效率。技术方案为达到上述目的，本专利技术提供的技术方案为 本专利技术的原理基于抽象数据模型的栅格数据格式转换并行方法，即借助GDAL的抽象数据模型及其空间数据读写接ロ，在MPI (Message Passing hterface，消息传递编程模型)函数库的支持下，基于ー个主从并行模式、ー个管理进程、一个数据收集进程和若干计算进程，管理进程负责数据划分，维护待处理栅格块栈，维护空闲计算进程队列，维护数据块处理统计情况表，发送指令；计算进程采用基于抽象数据模型的栅格数据格式转换技术实际负责格式转换过程；收集进程负责转换结果的拼接合井，本专利技术首先通过源栅格数据格式驱动读取源数据，借助GDAL抽象数据模型解译数据要素，建立起源栅格数据与目标栅格数据格式之间的转换映射关系，进行数据划分，然后向各计算进程分发相应指令，各计算进程分别执行格式转换操作，最后由收集进程使用目标数据格式的驱动将转换后的栅格数据写入目标格式文件，从而实现栅格数据的格式转换操作的并行处理，特别适用于处理海量栅格数据格式转换操作。本专利技术的，其步骤为 步骤1 借助GDAL库函数解译栅格数据文件，获取源栅格数据波段、行列大小、空间參考信息、栅格点数据类型信息，按行划分栅格数据使每块数据量为行数总量除以计算进程数，但每块数据大小不超过50MB，构建待处理栅格数据块栈表以及数据块处理情况统计表， 获取空闲计算进程队列；步骤2 根据源栅格数据波段、行列大小、空间參考信息、栅格点数据类型创建目标格式栅格数据框架文件，并将目标格式栅格框架文件信息发送给所有进程，然后从块栈中取出待处理数据块直到栈空，取出的待处理数据块出栈与从空闲计算进本文档来自技高网...
【技术保护点】
【技术特征摘要】
...
【专利技术属性】
技术研发人员：李飞雪，张帅，李满春，陈振杰，蒲英霞，魏金标，陈冲，王亚飞，陈东，
申请(专利权)人：南京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。