本发明专利技术属于生态及遥感信息学技术领域,涉及一种基于NoSQL数据库的分布式遥感数据组织查询方法，其步骤包括：对原始遥感数据文件进行预处理，并按照指定格式输出初始遥感影像文件；抽取所述初始遥感影像文件中的数据元信息以及每个像素点的数据；将抽取出的数据元信息和每个像素点的数据重构为非结构化的文本数据；将所述非结构化数据存储于NoSQL分布式数据库中，并建立查询索引；根据用户输入的查询条件向用户返回相应的遥感数据并重生成影像文件。本发明专利技术能够有效地进行海量遥感数据的存储和管理，可以应用于遥感生态监测、物种分布预测以及遥感数据反演等相关领域。
【技术实现步骤摘要】
本专利技术属于生态及遥感信息学
，涉及遥感数据的组织与管理，具体涉及一种，主要应用于遥感生态监测、物种分布预测以及遥感数据反演等相关领域的针对海量遥感数据的组织和管理技术。
技术介绍
NoSQL,指的是非关系型的数据库，是在Web2. O时代下用于存储海量非关系型数据，满足并发访问性能、存储量、扩展性以及可靠性需求的数据存储模式。NoSQL数据库相比于传统的关系型数据库有以下特点1.需要满足相应高并发读写的需求；2.需要满足对海量数据的高效存储和访问的需求；3.需要满足数据库高可扩展性及高可用性的需求。这些特点使得NoSQL数据库成为构成海量云存储环境的必要技术(Chang et al. 2006, Bigtable:A Distributed Storage Systemfor Structured Data;Dynamo:Giuseppe et al.s Highly AvailableKey-value Store;Christof Strauch, NoSQL Database. Available at http://www.christof-strauch. de/nosqldbs. pdf)。遥感(Remote Sensing)是通过地物目标的电磁福射信息,判认地球环境和资源的技术。遥感技术通过人造卫星或飞机等飞行器所携带的传感器，从不同高度、不同地理空间范围快速地、多谱段地对地球进行感测，周期性地获取地物目标的电磁辐射信息，从而对目标进行探测和识别。通过遥感技术获取的影像数据是地理信息系统(GeographicInformation System)重要的数据源,通过遥感技术可以快速、准确地获取大面积、连续、周期性、综合的各种地理信息和专题信息。遥感技术在国民经济、国防军事以及生态保护等很多领域获得了广泛的应用，如气象观测、资源考察、地图测绘、军事侦察、野生动物保护以及生态状况评估等(C. L. Parkinson, A. Ward, M. D. King (Eds.) Earth ScienceReference Handbook - A Guide to NASA’s Earth Science Program and Earth ObservingSatellite Missions, National Aeronautics and Space Administration Washington, D.C.；Schowengerdt, Robert A. (2007). Remote sensing:models and methods for imageprocessing(3rd ed.).Academic Press, p. 2. ；Schott, John Robert (2007). Remotesensing: the image chain approach (2nd ed. ). Oxford University Press, p. L X 遥感影像是传感器记录的各种地物电磁波能量大小的胶片、相片或数字图像，经由数字图像处理技术校正、变换和分类形成的具有地理信息的图像。遥感影像具有空间分辨率、光谱分辨率、辐射分辨率以及时间分辨率的影像特征，数据通常在数字化后以影像文件的方式存储，将不同波段，同一地理、时间范围的影像数据存储于一个或多个文件当中，每个数据文件是由一个或多个带有同一套地理坐标信息的二维矩阵构成，矩阵中的每个元素都对应一个地理坐标。遥感文件的分析和处理，如投影转换、镶嵌、拼接等关键操作均涉及专业的地理、遥感知识，需要专业的软件工具(《遥感技术与导论》，常庆瑞、蒋平安等编，科学出版社，2004. 2，第一版；环境教育软件及其多媒体设计，《学科教育》2004年，朱良，王瑛，王静爱)。遥感卫星在飞行的过程中传感器不断接收地物的电磁辐射信号并产生遥感数据，所拍摄的遥感影像必须达到一定的空间分辨率(Spatial Resolution)要求(一般为30m-1000m,高分辨率的遥感影像能够达到lm_5m)才具有使用价值，因此遥感影像数据的数据量都非常大，以美国地质调查局(United States Geological Survey,简称USGS)的Landsat系列卫星为例，每天会产生TB级数据量的遥感影像数据，这对数据存储和管理能力是一个巨大的挑战(Landsat Homepage, http://landsat. usgs. gov/; Short, N. Μ. . TheLANDSAT Tutorial fforkbook:Basics of Satellite Remote Sensing. NASA ReferencePublicationl078. NASA. Retrieved20September2011.)。遥感影像数据大数据量和专业性强的特点使得遥感数据的使用，特别是跨领域、跨学科的使用存在诸多不便。因此，需要提供一种方法能够解决海量遥感数据的存储和管理，并且能够克服专业知识门槛进而为跨领域的应用提供一种便捷的遥感数据使用方式
技术实现思路
从以上的分析可以看出，因为数据量非常大，对遥感数据的存储和有效管理提出了难题，同时因为遥感数据文件的使用涉及较高的专业性知识，这两个方面的问题日益突出。本专利技术结合NoSQL数据库高并发、大容量、高扩展以及高可靠的特点存储遥感数据实体而不是遥感影像文件，提供一种基于非结构化数据库的分布式遥感数据组织和查询方法。本专利技术的基于NoSQL数据库的分布式遥感数据组织和查询方法，其步骤包括第一步，遥感图像数据预处理对原始遥感数据文件进行预处理，并按照指定格式输出初始遥感影像文件；第二步，遥感图像数据的抽取抽取所述初始遥感影像文件中的数据元信息以及每个像素点的数据；第三步，遥感数据的重构将抽取出的元信息和每个像素点的数据重构为非结构化的文本数据；第四步，基于NoSQL数据库存储并管理重构的遥感数据将所述非结构化数据存储于NoSQL分布式数据库中，并建立查询索引；第五步，遥感数据的查询和影像文件的重生成根据用户输入的查询条件向用户返回相应的遥感数据并重生成影像文件。上述方法中，第一步所述的预处理包括投影坐标系转换、图像镶嵌、拼接等。预处理是将不同的遥感数据集(Landsat、MODIS、DEM等)整理成为统一格式的文件(.tif或.1mg)，并且将同一时间拍摄的多张图像拼接成为覆盖整个目标区域的数据集合文件。以Landsat30m分辨率的数据集为例，一个时间段覆盖整个中国区域需要561景图像，共计约160GB数据量。上述方法中，第二步所述数据元信息包括文件名称、地理位置信息和时间信息等。该步骤是通过解析第一步得到的图像文件，将文件中的二维矩阵中每一个元素(对应遥感图像每一个像素)的数值连同地理坐标信息和拍摄时间信息等一同抽取出来，为下一步的数据重构做准备。上述方法中，第三步所述的遥感数据重构是将第二步抽取出的每一个像素的值与其相关的地理坐标信息、时间信息以及其他信息重构成为非结构化的文本数据，在此过程中可以以单个像素为单位组织成一条记录，也可以以多个像素(一般是图像文件中一行或多行)组织成为一条记录以减本文档来自技高网...
【技术保护点】
一种基于NoSQL数据库的分布式遥感数据组织和查询方法，其步骤包括：1）对原始遥感数据文件进行预处理，并按照指定格式输出初始遥感影像文件；2）抽取所述初始遥感影像文件中的数据元信息以及每个像素点的数据；3）将抽取出的数据元信息和每个像素点的数据重构为非结构化的文本数据；4）将所述非结构化的文本数据存储于NoSQL分布式数据库中，并建立查询索引；5）根据用户输入的查询条件向用户返回相应的遥感数据并重生成影像文件。
【技术特征摘要】
1.一种基于NoSQL数据库的分布式遥感数据组织和查询方法，其步骤包括 1)对原始遥感数据文件进行预处理，并按照指定格式输出初始遥感影像文件； 2)抽取所述初始遥感影像文件中的数据元信息以及每个像素点的数据； 3)将抽取出的数据元信息和每个像素点的数据重构为非结构化的文本数据； 4)将所述非结构化的文本数据存储于NoSQL分布式数据库中，并建立查询索引； 5)根据用户输入的查询条件向用户返回相应的遥感数据并重生成影像文件。2.如权利要求1所述的方法，其特征在于所述预处理包括投影坐标系转换、图像镶嵌和拼接；所述指定格式为tif格式或img格式。3.如权利要求1所述的方法，其特征在于所述数据元信息包括遥感影像的名称、投影坐标系、空间分辨率、边界坐标和拍摄时间。4.如权利要求1所述的方法，其特征在于所述重构将抽取出的数据元信息和每个像素点的数据构成非结构化大表的存储形式，该大表中的每一行由一个键、值...
【专利技术属性】
技术研发人员：邵靖，黎建辉，王学志，周园春，沈庚，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。