一种面向遥感语义分割的自动化机器学习方法及系统技术方案

本发明专利技术提出一种面向遥感影像语义分割的自动化机器学习方法及系统，属于计算机人工智能领域，基于多遥感成像指数的遥感影像语义分割算法，通过背景损失优化和多遥感成像指数计算，提升分割准确率；通过自迁移微调训练方法与超参优化方法，对该深度神经网络面向于单机多GPU的环境进行超参数优化，可以同时提高分割准确率和超参优化效率；设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构，提高遥感影像语义分割的高效性和分类的准确性。

【技术实现步骤摘要】
一种面向遥感语义分割的自动化机器学习方法及系统
本专利技术涉及一种面向遥感语义分割的自动化机器学习方法及系统，属于计算机人工智能领域。
技术介绍
遥感，即遥远的感知，是利用传感器采用非接触、远距离的方式探测地面物体对电磁波信号的反射、辐射或散射情况的一门科学技术。遥感通过人造地球卫星、航空等平台上的探测仪器，对地球表面实施远超人类视觉空间的大范围的观测，综合展现了包括地质、水文等多种事物的形态和分布。遥感技术广泛应用于农林、海洋、地质等领域，从中提取的地物信息，在自然灾害应急、农业检测等任务中发挥了重要的作用。遥感影像语义分割是遥感领域中的一个重要问题，对遥感影像中的光谱和空间信息进行分析，对不同的地物目标进行识别，而后将图像中的像元划分到具体的类别。研究遥感影像语义分割，随着计算机技术的发展，遥感影像语义分割技术得到进一步的完善，从而替代了由图像解译人员人工目视判读的方法。传统的遥感影像语义分割方法，主要还是人工参与特征的构建过程，而这个过程耗时耗力。得益于大数据时代数据的积累和计算能力的长足进步，机器学习在过去十几年间取得了巨大的成功。其中，深度学习在许多极具挑战性的任务更是大放异彩，如语音识别、图像识别等。将深度学习应用于遥感影像语义分割，能够有效利用遥感影像数据，自动解译分割关注信息，无论在民用还是军用领域都有着广泛的应用价值。遥感影像中包含极丰富的信息，目标种类多，结构复杂，尺度不一，既包含河流、湖泊、森林等自然地物，又包含建筑、公路等人工地物。同时，遥感探测可选用不同波段和仪器观测，例如可采用可见光探测物体，也可采用红外线、微波探测物体，因此遥感数据包含的信息量更大。遥感影像中包含的丰富的光谱和空间信息，增加了特征提取和表达的复杂性。因此，将深度学习应用于遥感影像语义分割，需要识别遥感影像特点，对深度学习方法进行适当改进。深度学习的应用过程，相比于传统的机器学习，相同点是均包含大量超参数，如优化方法、学习率等。这些超参数需要有丰富的经验才能确定最优超参数，确定过程需要进行大量训练实验，最终使算法达到最优性能。不同点在于深度学习避免了对于输入数据的手动特征提取，即特征工程(FeatureEngineering)，但是却引入了复杂的模型结构设计(ArchitecturesEngineering)。深度学习的进步，得益于新颖的神经网络结构。目前应用的网络结构，大多由深度学习专家手工设计，设计过程耗时耗力且容易出错。针对遥感影像语义分割问题应用深度学习的过程中，面临三方面的挑战：(1)如何针对遥感影像语义分割问题的特点，改进深度学习方法；(2)如何能够快速确定，深度学习训练过程中的大量超参，使模型能够达到最优性能；(3)如何自动设计网络结构，在遥感影像语义分割问题中应用新颖的网络结构。
技术实现思路
本专利技术针对遥感影像语义分割问题，提出一种面向遥感语义分割的自动化机器学习方法及系统，采用优秀的深度学习语义分割模型、微调方法及神经架构搜索方法，使得在遥感语义分割问题中能够应用新颖的网络结构，使模型达到最优性能，提高遥感影像语义分割的高效性和分类的准确性。本专利技术采用的技术方案如下：一种面向遥感语义分割的自动化机器学习方法，对基于遥感影像语义分割算法的深度神经网络进行训练优化，包括以下步骤：利用深度神经网络进行遥感影像语义分割的步骤：对高分遥感影像进行数据预处理，包括检测离群点，以及数据归一化得到标准化值；对预处理后的数据，通过归一化差分植被指数和归一化水指数提取图像特征；对图像特征采用基于标准交叉熵损失的FocalLoss损失函数进行背景损失优化；对深度神经网络进行超参数优化的步骤：通过自迁移微调训练方法与超参优化方法(例如网格搜索、随机搜索、贝叶斯优化、基于梯度优化等方法)，对该深度神经网络面向于单机多GPU的环境进行超参数优化；利用语义分割神经架构搜索算法优化该深度神经网络结构的步骤：设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构。进一步地，检测离群点的方法为：根据3σ法则(即三西格玛准则，又称拉依达准则)，对超出(μ-3σ,μ+3σ)范围外的数据识别为离群点，其中σ为标准差，μ为均值。进一步地，自迁移微调训练的方法包括以下步骤：训练一个N层基础网络，将其前k(k≤N)层的参数拷贝到目标网络的前k层；对目标网络的剩余层随机初始化，对前k层参数进行固定或微调，是否微调根据目标数据集的大小和前k层的参数量大小决定；给定数据集和学习任务，根据数据集和学习任务训练目标网络的一个实例，以该实例为优化任务网络结构的初始参数，执行超参优化任务进行微调。进一步地，面向于单机多GPU的环境进行超参优化包括以下步骤：调度进程加载训练和验证数据到内存，微调进程启动时，调度进程将已加载数据共享给微调进程，通过TPE算法产生候选超参组合；按照TPE算法产生候选超参组合初始化，读取共享的训练和验证数据，对目标网络开始微调训练，在微调训练过程自动化选择最优超参；当一GPU上的微调任务结束时，调度进程调度新的微调任务给空闲GPU，进行不同微调任务间的异步执行；当一GPU上的微调任务的性能低于一设定值时，通过早停规则判断并停止。进一步地，参数共享的搜索空间为由常规单元和规约单元堆叠构成的全卷积网络，每个常规单元中的结构相同，其中常规单元的搜索空间包括若干个节点，每个节点通过控制器决策，决策内容包括：当前节点使用哪两个前面的节点的输出作为输入，以及当前节点使用哪两个运算操作处理两个输入。进一步地，基于策略梯度的搜索策略为利用训练好的控制器LSTM的参数θ和子模型共享的参数ω计算策略梯度。一种面向遥感语义分割的自动化机器学习系统，对基于遥感影像语义分割算法的深度神经网络进行训练优化，主要包括数据预处理模块和自动化机器学习模块，其中，数据预处理模块，用于对高分遥感影像进行数据预处理，包括检测离群点，以及数据归一化得到标准化值；对预处理后的数据，通过归一化差分植被指数和归一化水指数提取图像特征；对图像特征采用基于标准交叉熵损失的FocalLoss损失函数进行背景损失优化；自动化机器学习模块，用于通过自迁移微调训练方法与超参优化方法，对该深度神经网络面向于单机多GPU的环境进行超参数优化；设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构。进一步地，还包括模型管理模块，用于为自动化机器学习模块服务，具有模型保存、删除、查看功能，以及交互功能。进一步地，还包括任务管理模块，用于管理任务信息的展示、持久化、启停，并管理单个任务的生命周期。进一步地，还包括可视化模块，用于将自动化机器学习模块过程进行图表展示，负责过程指标数据和进度数据的收集和整理。进一步地，还包本文档来自技高网...

【技术保护点】
1.一种面向遥感语义分割的自动化机器学习方法，对基于遥感影像语义分割算法的深度神经网络进行训练优化，其特征在于，包括以下步骤：/n利用深度神经网络进行遥感影像语义分割的步骤：对高分遥感影像进行数据预处理，包括检测离群点，以及数据归一化得到标准化值；对预处理后的数据，通过归一化差分植被指数和归一化水指数提取图像特征；对图像特征采用基于标准交叉熵损失函数进行背景损失优化；/n对深度神经网络进行超参数优化的步骤：通过自迁移微调训练方法与超参优化方法，对该深度神经网络面向于单机多GPU的环境进行超参数优化；/n利用语义分割神经架构搜索算法优化该深度神经网络结构的步骤：设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构。/n

【技术特征摘要】
1.一种面向遥感语义分割的自动化机器学习方法，对基于遥感影像语义分割算法的深度神经网络进行训练优化，其特征在于，包括以下步骤：
利用深度神经网络进行遥感影像语义分割的步骤：对高分遥感影像进行数据预处理，包括检测离群点，以及数据归一化得到标准化值；对预处理后的数据，通过归一化差分植被指数和归一化水指数提取图像特征；对图像特征采用基于标准交叉熵损失函数进行背景损失优化；
对深度神经网络进行超参数优化的步骤：通过自迁移微调训练方法与超参优化方法，对该深度神经网络面向于单机多GPU的环境进行超参数优化；
利用语义分割神经架构搜索算法优化该深度神经网络结构的步骤：设置参数共享的搜索空间，以基于策略梯度的搜索策略，通过空洞空间金字塔池化模块提取该深度神经网络的多尺度信息，以搜索出该深度神经网络最优的内部网络结构。


2.如权利要求1所述的方法，其特征在于，根据3σ法则对超出(μ-3σ,μ+3σ)范围外的数据检测为离群点，其中σ为标准差，μ为均值。


3.如权利要求1所述的方法，其特征在于，自迁移微调训练的方法包括以下步骤：
训练一个N层基础网络，将其前k层的参数拷贝到目标网络的前k层；
对目标网络的剩余层随机初始化，对前k层参数进行固定或微调，是否微调根据目标数据集的大小和前k层的参数量大小决定；
给定数据集和学习任务，根据数据集和学习任务训练目标网络的一个实例，以该实例为优化任务网络结构的初始参数，执行超参优化任务进行微调。


4.如权利要求1所述的方法，其特征在于，面向于单机多GPU的环境进行超参优化包括以下步骤：
调度进程加载训练和验证数据到内存，微调进程启动时，调度进程将已加载数据共享给微调进程，通过TPE算法产生候选超参组合；
按照TPE算法产生候选超参组合初始化，读取共享的训练和验证数据，对目标网络开始微调训练，在微调训练过程自动化选择最优超参；
当一GPU上的微调任务结束时，调度进程调度新的微调任务给空闲GPU，进行不同微调任务间的异步执行；
当一GPU上的微调任务的性能低于一设定值时，通过早停规则判断并停止。


5.如权利要求1所述的方法，其特征在于，参数共享的搜索空间为由常规单元和规约单元堆叠构成的全卷积网络，每个常规单元中的结构相同，其中常规单元的搜索空间包括若干个节点，每...

【专利技术属性】
技术研发人员：刘杰，王帅，吴怀林，徐可钦，杨诏，叶丹，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京;11