一种卫星影像数据归档管理方法及系统技术方案

本发明专利技术涉及一种卫星影像数据归档管理方法及系统，方法包括：对接收的卫星影像数据按照固定卫星类型进行文件格式整合；对整合后的卫星影像数据按照影像成像技术类别进行一级分类以及按照影像产品生产流程类别进行二级分类，并分别生成一级分类数据、二级分类数据；通过多个运算服务器节点对多任务进行调度分配，分别对分类后的卫星影像数据进行并行归档；每个运算服务器节点针对每个一级分类数据对应的异构异型数据采用不同的处理器来进行自动识别归档入库、以及对每个分类数据进行入库分表管理；存储卫星影像原始数据以及归档管理成果数据。通过上述技术方案，可解决多源遥感影像数据归档时效率低、出错率高、人力高消耗的问题。耗的问题。耗的问题。

【技术实现步骤摘要】
一种卫星影像数据归档管理方法及系统


[0001]本专利技术涉及卫星影像数据归档
，尤其是指一种卫星影像数据归档管理方法及系统。

技术介绍

[0002]测绘是经济社会发展和国防建设的一项基础性工作，我国对地观测遥感在地球环境和地球资源方面的应用发展也越来越广泛。随着我国自主对地观测信息获取能力的不断提高，卫星类型越来越多样化，数据资源量越来越大、甚至已达到了PB级，因此数据资源也越来越难高效管理以及展开应用。
[0003]面对海量异构的多源遥感影像数据，其更新速度频繁、结构化数据与非结构化数据并存；以往传统的数据归档管理模式亟待改进，其中，效率低、出错率高、人力高消耗的数据归档方法是主要缺点。
[0004]此外，归档管理后的数据不能够充分发挥其作用；同时，归档数据也不能清晰地分门别类，来及时为相关行业部门单位针对相应类型的数据的测绘生产以及在相关领域的测绘应用提供可靠的支持和决策。

技术实现思路

[0005]为解决上述技术问题的至少之一，本专利技术提供一种卫星影像数据归档管理方法及系统，所述卫星影像数据归档管理方法用于解决传统数据归档管理方法在处理多源遥感影像数据时效率低、出错率高、人力高消耗的问题。
[0006]为实现上述专利技术目的，本专利技术提供了一种卫星影像数据归档管理方法，包括：
[0007]S1数据整合步骤：对接收的卫星影像数据按照固定卫星类型进行文件格式整合；
[0008]S2数据分类步骤：对整合后的卫星影像数据按照影像成像技术类别进行一级分类以及按照影像产品生产流程类别进行二级分类，并分别生成一级分类数据、二级分类数据；
[0009]S31数据并行归档步骤：通过多个运算服务器节点对多任务进行调度分配，分别对按照所述一级分类数据、所述二级分类数据分类后的卫星影像数据进行并行归档；
[0010]S32每个运算服务器节点针对每个一级分类数据对应的异构异型数据采用不同的处理器来进行自动识别归档入库、以及对每个一级分类数据对应的二级分类数据进行入库分表管理；
[0011]S4数据存储步骤：存储卫星影像原始数据以及归档管理成果数据。
[0012]进一步的，S4具体包括：
[0013]S41将所述卫星影像数据中的结构化元数据存储于关系数据库中、将半结构化数据存储于半关系数据库中、以及将文件实体数据以文件形式存储于文件实体数据库中。
[0014]进一步的，S31具体包括：
[0015]S311通过IO服务器对文件实体数据进行多机并行归档、以及通过虚拟机或者普通服务器对普通数据进行多机并行归档；其中，所述普通数据包括以下至少之一：元数据、快
视图、空间信息。
[0016]进一步的，所述归档管理方法还包括：
[0017]S5数据分类检索步骤：按照不同的维度对元数据进行在库查询检索。
[0018]进一步的，S4还包括：
[0019]S421对所述卫星影像数据进行建模和描述；
[0020]S422对元数据、实体数据、影像缩略图和数据存放位置进行实例化；
[0021]S423对元数据、空间数据、不同数据信息进行分库分介质存储。
[0022]进一步的，S4还包括：
[0023]S431在线存储步骤：对访问量大的数据、近期访问数据以及最新成果进行在线存储；
[0024]S432近线存储步骤：对暂时使用频率不高的数据进行近线存储；
[0025]S433离线备份存储步骤：对历史影像数据以及其他重要数据进行离线备份存储；
[0026]S434异地灾备存储步骤：对全部数据成果进行异地灾备存储。
[0027]进一步的，S4还包括：
[0028]S44大数据智能发现步骤：通过解析所述卫星影像数据的文件名、数据结构来获取对应的数据类型信息，并按照所述数据类型信息进行数据归档。
[0029]进一步的，所述归档管理方法还包括：
[0030]S6并行统计分析步骤：对归档数据的数量与数据量大小进行统计、以及对当前存储设备的库存进行统计。
[0031]进一步的，所述归档管理方法还包括：
[0032]S7行业应用服务步骤：对已经归档入库的数据按需求进行提取下载。
[0033]本专利技术还提供了一种卫星影像数据归档管理系统，用于实现前述所述的卫星影像数据归档管理方法，所述系统包括：
[0034]数据整合单元，用于对接收的卫星影像数据按照固定卫星类型进行文件格式整合；
[0035]数据分类单元，用于对整合后的卫星影像数据按照影像成像技术类别进行一级分类以及按照影像产品生产流程类别进行二级分类，并分别生成一级分类数据、二级分类数据；
[0036]数据并行归档单元，用于通过多个运算服务器节点对多任务进行调度分配，分别对按照所述一级分类数据、所述二级分类数据分类后的卫星影像数据进行并行归档；每个运算服务器节点用于针对每个一级分类数据对应的异构异型数据采用不同的处理器来进行自动识别归档入库、以及对每个一级分类数据对应的二级分类数据进行入库分表管理；
[0037]数据存储单元，用于存储卫星影像原始数据以及归档管理成果数据。
[0038]本专利技术的上述技术方案，与现有技术相比具有如下有益效果：
[0039]本专利技术的卫星影像数据归档管理方法中，对于卫星影像数据，依次进行数据整合、数据分类、数据并行归档以及数据存储；
[0040]其中，数据整合时，对接收的卫星影像数据按照固定卫星类型进行文件格式整合；例如一景ZY01星影像文件必须包含tif、xml、jpg等文件；
[0041]数据分类时，对整合后的卫星影像数据进行一级分类以及二级分类，并分别生成
一级分类数据、二级分类数据；例如，按照影像成像技术类别分类后可形成一级分类数据(光学产品、雷达产品、高光谱产品、激光产品)；按照影像产品生产流程类别进行二级分类后，光学产品可分为8大级别P0
‑
P7；
[0042]数据并行归档时，通过多个运算服务器节点运算服务器节点对多任务进行调度分配，分别对分类后的卫星影像数据进行并行归档；其中，任务调度可采用XXL
‑
Job框架，与其他归档系统不同的是，采用第三方任务调度框架，可动态控制任务状态，具有统一的调度中心和注册中心，且与整个系统框架可以松耦合设计，能够对整个并行归档任务进行更加高效的管理；
[0043]每个运算服务器节点则针对每个一级分类数据对应的异构异型数据采用不同的处理器来进行自动识别归档入库、以及对每个一级分类数据对应的二级分类数据进行入库分表管理；其中，异构异型数据为不同影像格式、不同卫星类型的数据；例如一级光学产品的ZY3
‑
1星按二级产品分类的分表管理表述为P2_ZY301、P3_ZY301等，而不再像别的归档软件系统那样只进行影像类型分表管理，这样做得好处是后续生产线的业务员能按照生产流程的产品等级进行快速提取作业；...

【技术保护点】

【技术特征摘要】
1.一种卫星影像数据归档管理方法，其特征在于，包括：S1数据整合步骤：对接收的卫星影像数据按照固定卫星类型进行文件格式整合；S2数据分类步骤：对整合后的卫星影像数据按照影像成像技术类别进行一级分类以及按照影像产品生产流程类别进行二级分类，并分别生成一级分类数据、二级分类数据；S31数据并行归档步骤：通过多个运算服务器节点对多任务进行调度分配，分别对按照所述一级分类数据、所述二级分类数据分类后的卫星影像数据进行并行归档；S32每个运算服务器节点针对每个一级分类数据对应的异构异型数据采用不同的处理器来进行自动识别归档入库、以及对每个一级分类数据对应的二级分类数据进行入库分表管理；S4数据存储步骤：存储卫星影像原始数据以及归档管理成果数据。2.根据权利要求1所述的卫星影像数据归档管理方法，其特征在于，S4具体包括：S41将所述卫星影像数据中的结构化元数据存储于关系数据库中、将半结构化数据存储于半关系数据库中、以及将文件实体数据以文件形式存储于文件实体数据库中。3.根据权利要求2所述的卫星影像数据归档管理方法，其特征在于，S31具体包括：S311通过IO服务器对文件实体数据进行多机并行归档、以及通过虚拟机或者普通服务器对普通数据进行多机并行归档；其中，所述普通数据包括以下至少之一：元数据、快视图、空间信息。4.根据权利要求1所述的卫星影像数据归档管理方法，其特征在于，所述归档管理方法还包括：S5数据分类检索步骤：按照不同的维度对元数据进行在库查询检索。5.根据权利要求2所述的卫星影像数据归档管理方法，其特征在于，S4还包括：S421对所述卫星影像数据进行建模和描述；S422对元数据、实体数据、影像缩略图和数据存放位置进行实例化；S423对元数据、空间数据、不同数据信息进行分库分介质存储。6.根据权利要求2所述的卫星影像数据归档管理方法，其特征在于，S4还...

【专利技术属性】
技术研发人员：何昭宁，刘晓忠，傅征博，岳云娟，邓小渊，刘祺，信晟，宋杨鹏，
申请(专利权)人：自然资源部国土卫星遥感应用中心，
类型：发明
国别省市：