遥感数据的分布式处理系统技术方案

本申请提供一种遥感数据的分布式处理系统。端侧设备提供的可视化界面用于设置待执行的处理逻辑、待处理的遥感数据的标识、以及待计算的区域范围。云服务器采用分布式系统架构，通过接入节点获取区域范围、处理逻辑和目标遥感数据的标识，向计算节点分发落入区域范围内的目标瓦片的标识，并发送目标遥感数据的标识及处理逻辑。计算节点从分布式存储系统加载目标遥感数据落入目标瓦片内的数据块，并对数据块执行处理逻辑，得到区域范围内的遥感数据处理结果。端侧设备在可视化界面上展示区域范围内的遥感数据处理结果。以瓦片的数据块为处理单位，并发地执行各个目标瓦片的数据块的处理，提升了遥感数据处理的效率，缩短了响应时间。时间。时间。

【技术实现步骤摘要】
遥感数据的分布式处理系统


[0001]本申请涉及计算机技术，尤其涉及一种遥感数据的分布式处理系统。

技术介绍

[0002]在遥感数据处理领域，遥感数据的交互式分析系统是一种遥感数据的处理分析云平台，融合了在线结果可视化和离线结果导出功能。在开发者模式下，基于系统提供的海量遥感数据和丰富的基本函数能力，用户可以进行遥感数据处理逻辑的在线项目开发。但是，目前的遥感数据的交互式分析系统，从用户提交代码到系统输出渲染的可视化结果的响应时间较长，遥感数据处理的效率较低。

技术实现思路

[0003]本申请提供一种遥感数据的分布式处理系统，用以解决遥感数据交互式分析系统的响应时间场、遥感数据处理效率低的问题。
[0004]一方面，本申请提供一种遥感数据的分布式处理系统，包括：云服务器，
[0005]所述云服务器包括：
[0006]分布式存储系统，用于存储采集到的遥感数据；
[0007]接入节点，用于响应遥感数据处理请求，获取待计算的区域范围、待执行的处理逻辑和待处理的目标遥感数据的标识，基于地图空间划分的瓦片，将落入所述区域范围内的目标瓦片的标识分发给计算节点，并向所述计算节点发送所述目标遥感数据的标识及所述处理逻辑；
[0008]计算节点，用于根据分发到的目标瓦片的标识，从所述分布式存储系统加载所述目标遥感数据落入所述目标瓦片内的数据块，并对所述数据块执行所述处理逻辑，得到所述目标瓦片内的数据块的处理结果；
[0009]所述接入节点还用于输出所述区域范围内的遥感数据处理结果，所述区域范围内的遥感数据处理结果包含各所述目标瓦片内的数据块的处理结果。
[0010]另一方面，本申请提供一种遥感数据的分布式处理系统，包括：端侧设备，
[0011]所述端侧设备提供可视化界面，所述可视化界面用于确定待执行的处理逻辑、待处理的遥感数据的标识信息、以及待计算的区域范围；
[0012]响应于运行指令，向云服务器发送遥感数据处理请求，所述遥感数据处理请求包含待计算的区域范围、待执行的处理逻辑和待处理的目标遥感数据的标识；
[0013]接收所述云服务器发送的所述区域范围内的遥感数据处理结果，所述遥感数据处理结果包括根据落入所述区域范围内的目标瓦片的标识，从分布式存储系统加载所述目标遥感数据落入所述目标瓦片的数据块，并对所述数据块执行所述处理逻辑，得到的所述目标瓦片内的数据块的处理结果；
[0014]在所述可视化界面上展示所述区域范围内的遥感数据处理结果。
[0015]本申请提供的遥感数据的分布式处理系统，端侧设备提供可视化界面，基于可视
化界面用户可以给定待执行的处理逻辑、待处理的遥感数据的标识信息、以及待计算的区域范围。响应于运行指令，端侧设备向云服务器发送遥感数据处理请求，所述遥感数据处理请求包含待计算的区域范围、待执行的处理逻辑和待处理的目标遥感数据的标识。云服务器包括：分布式存储系统、接入节点和计算节点。分布式存储系统存储采集到的遥感数据。接入节点响应遥感数据处理请求，获取待计算的区域范围、待执行的处理逻辑和待处理的目标遥感数据的标识，基于地图空间划分的瓦片，将落入所述区域范围内的目标瓦片的标识分发给计算节点，并向所述计算节点发送所述目标遥感数据的标识及所述处理逻辑。计算节点根据分发到的目标瓦片的标识，从所述分布式存储系统加载所述目标遥感数据落入所述目标瓦片内的数据块，并对所述数据块执行所述处理逻辑，得到所述目标瓦片内的数据块的处理结果。所述接入节点向端侧设备输出所述区域范围内的遥感数据处理结果，所述区域范围内的遥感数据处理结果包含各所述目标瓦片内的数据块的处理结果。端侧设备接收所述云服务器发送的所述区域范围内的遥感数据处理结果，并在所述可视化界面上展示所述区域范围内的遥感数据处理结果。
[0016]本申请的方案，云服务器采用分布式系统架构，将待计算的区域范围内的目标遥感数据划分为多个目标瓦片的数据块，将各个目标瓦片的数据块分发到多个计算节点，由各个计算节点分别执行目标遥感数据落入目标瓦片内的数据块的处理，以瓦片的数据块为处理单位，并发地执行各个目标瓦片的数据块的处理，提升了遥感数据处理的效率，缩短了响应时间。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0018]图1为本申请所适用的一种示例性的遥感数据的分布式处理系统的架构图；
[0019]图2为本申请一示例性实施例提供的一种云服务器的架构图；
[0020]图3为本申请一示例性实施例提供的遥感数据分布式处理的方法流程图；
[0021]图4为本申请一示例性实施例提供的可视化界面的示意图；
[0022]图5为本申请另一示例性实施例提供的遥感数据的分布式处理的方法流程图；
[0023]图6为本申请一示例性实施例提供的一个函数抽象语法树的结构的示意图；
[0024]图7为本申请一示例性实施例提供的操作层的示意图；
[0025]图8为本申请一示例性实施例提供的基于栅格金字塔实现瓦片内数据块加载的示意图；
[0026]图9为本申请实施例提供的一种端侧设备的结构示意图。
[0027]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0028]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例
中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0029]首先对本申请所涉及的名词进行解释：
[0030]抽象语法树(Abstract Syntax Tree，简称AST)：也称为语法树，描述函数调用的有向无环图(Directed Acyclic Graph，简称DAG)，节点(指代函数)之间有依赖关系。
[0031]基本操作单元(Operator)：系统中设置的对数据的基本操作单元，有既定的输入和输出。
[0032]操作层(Operator Level)：是指基本操作单元(Operator)根据依赖关系构成的层级。
[0033]栅格金字塔：是原始栅格数据集的缩减采样版本，可包含多个缩减采样图层。本申请中是将遥感数据栅格化为原始栅格数据，基于原始栅格数据缩减采样生成多个缩减采样层，得到多层不同分辨率的栅格数据构成的栅格金字塔。栅格金字塔中的各个连续图层均以2:1的比例进行缩减采样。
[0034]GeoTiff：是一种基于标签图像文件格式(Tag Image File Format，简称TIFF)的地理空间栅格数据存储格式，也本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遥感数据的分布式处理系统，其特征在于，包括：云服务器，所述云服务器包括：分布式存储系统，用于存储采集到的遥感数据；接入节点，用于响应遥感数据处理请求，获取待计算的区域范围、待执行的处理逻辑和待处理的目标遥感数据的标识，基于地图空间划分的瓦片，将落入所述区域范围内的目标瓦片的标识分发给计算节点，并向所述计算节点发送所述目标遥感数据的标识及所述处理逻辑；计算节点，用于根据分发到的目标瓦片的标识，从所述分布式存储系统加载所述目标遥感数据落入所述目标瓦片内的数据块，并对所述数据块执行所述处理逻辑，得到所述目标瓦片内的数据块的处理结果；所述接入节点还用于输出所述区域范围内的遥感数据处理结果，所述区域范围内的遥感数据处理结果包含各所述目标瓦片内的数据块的处理结果。2.根据权利要求1所述的系统，其特征在于，所述接入节点获取待执行的处理逻辑和待处理的目标遥感数据的标识，包括：所述接入节点接收待执行处理逻辑的函数抽象语法树，所述函数抽象语法树包含待处理的目标遥感数据的标识；所述接入节点向所述计算节点发送所述目标遥感数据的标识及所述处理逻辑，包括：所述接入节点解析所述函数抽象语法树，确定待执行的基本操作单元，以及所述基本操作单元的层级信息和依赖关系；所述接入节点向所述计算节点发送各层级的基本操作单元及所述依赖关系。3.根据权利要求2所述的系统，其特征在于，所述接入节点解析所述函数抽象语法树，确定待执行的基本操作单元，以及所述基本操作单元的层级信息和依赖关系，包括：所述接入节点将所述函数抽象语法树所包含的对遥感数据的基本函数，解析为对应的基本操作单元；根据所述基本函数间的依赖关系，确定所述基本操作单元的依赖关系和层级信息，其中，任一基本操作单元的输入来自上一层基本操作单元的输出，位于同一层级的基本操作单元间不存在依赖关系。4.根据权利要求3所述的系统，其特征在于，所述根据所述基本函数间的依赖关系，确定所述基本操作单元的依赖关系和层级信息，包括：将所述基本操作单元中的读操作放入第一个层级。5.根据权利要求3所述的系统，其特征在于，所述计算节点根据分发到的目标瓦片的标识，从所述分布式存储系统加载所述目标遥感数据落入所述目标瓦片内的数据块，并对所述数据块执行所述处理逻辑，得到所述目标瓦片内的数据块的处理结果，包括：所述计算节点根据分发到的目标瓦片的标识，集中地执行第一层级的基本操作单元，从所述分布式存储系统加载所述目标遥感数据落入所述目标瓦片内的数据块；并根据所述依赖关系逐层执行第二及以下各层级的基本操作单元，且并行执行同一层级的基本操作单元，实现对所述数据块执行所述处理逻辑，得到所述数据块的处理结果。6.根据权利要求3
‑
5中任一项所述的系统，其特征在于，所述接入节点解析所述函数抽象语法树，确定待执行的基本操作单元，以及所述基本操作单元的层级信息和依赖关系之
后，还包括：所述接入节点根据所述待执行的基本操作单元，以及所述基本操作单元的层级信息和依赖关系，确定执行参数数组的长度及预分配信息，所述执行参数数组用于存储所述基本操作单元的输入数据和输出数据，所述预分配信息包含各所述基本操作单元的输入数据和输出数据在所述执行参数数组中的存储位置；所述接入节点将所述执行参数数组的长度及预分配信息存储到元信息服务节点。7.根据权利要求6所述的系统，其特征在于，所述计算节点从所述分布式存储系统加载所述目标遥感数据落入所述目标瓦片内的数据块之后，还包括：所述计算节点从所述元信息服务节点获取所述执行参数数组的长度及预分配信息，并构建所述目标瓦片对应的执行参数数组；所述计算节点在对所述目标瓦片的数据块执行所述基本操作单元时，根据所述预分配信息确定所述基本操作...

【专利技术属性】
技术研发人员：夏航，满远斌，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：