一种适于多任务迭代学习记忆的遥感图像分类方法技术

本发明专利技术公开了一种适于多任务迭代学习记忆的遥感图像分类方法，包括：初始化模型分类器之前的参数、固定权重、临时权重，利用参数权重预测性能；利用第一个任务的训练数据计算模型中每个参数的敏感性；当模型学习新的任务时，使用修改后的损失函数对模型进行训练，学习得到分类器之前的参数；在分类器中拓展新的神经元

【技术实现步骤摘要】
一种适于多任务迭代学习记忆的遥感图像分类方法
本专利技术涉及遥感图像处理与识别
，尤其涉及一种适于多任务迭代学习记忆的遥感图像分类方法。
技术介绍
在当前大数据和人工智能快速发展的时代，在面临不断更新迭代的海量数据时，深度学习模型也需要不断的进行学习和更新，不断的调整模型以满足当前人们的需求。然而，现有的深度学习模型一旦在特定的任务上训练完成后，该模型就只能用于该项任务的预测，一旦模型继续学习新的任务，就会在之前已经学习过的任务上出现灾难性遗忘的现象,即模型无法保持在旧任务上的性能。而每次都将所有的数据混合在一起重新对模型进行训练的方式不仅浪费了存储空间，而且也将消耗大量的时间来训练模型，大大降低了深度学习算法的实用化和商业化的可能性。因此，灾难性遗忘问题严重影响了深度学习模型在持续学习多个任务时的性能。为了减轻深度学习模型中存在的灾难性遗忘问题，过去的一些研究主要可以分为三大类：1）基于正则化的连续学习方法；2）基于结构化的连续学习方法；3）基于预排练的连续学习方法。其中，基于正则化的连续学习方法包括弹性权重巩固EWC、记忆感知突触MAS等方法，通过约束对旧任务重要参数的更新来减轻模型对旧任务的灾难性遗忘，然而，随着学习的新任务数量的增加，重要参数的累积误差增加，模型无法找到满足所有任务的公共解空间，因而造成模型克服灾难性遗忘的能力下降；基于结构化的连续学习方法例如CWR，通过冻结一部分神经元结构来保护模型在旧任务上的性能，但是这种方法丧失了学习新任务时对网络结构调整的灵活性；基于预排练的连续学习方法认为，不定期的让模型见到一些旧任务的样本有助于唤醒模型对旧任务的性能，例如在iCARL方法中，使用了一个范例集来存储旧任务的典型的部分样本数据。基于预排练的方法不仅能够有效地控制灾难性遗忘，而且还能提高模型在旧任务上的准确性，但该方法需要存储旧任务的历史数据。当前克服灾难性遗忘的方法存在以上弊端，因此，需要一种更加精确、实用、可靠、有效的方法来解决深度学习模型中灾难性遗忘的问题，进而适于多任务迭代学习记忆的遥感图像分类方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种适于多任务迭代学习记忆的遥感图像分类方法，所述方法基于参数敏感性与结构化相结合，能够有效的克服深度学习模型中存在的灾难性遗忘的问题，适于解决多任务迭代学习记忆的遥感图像分类问题。本专利技术的目的是这样实现的，一种适于多任务迭代学习记忆的遥感图像分类方法，包括以下步骤：步骤1，初始化模型分类器之前的参数、分类器的固定权重以及分类器的临时权重，使用随机梯度下降训练第一个任务，学习得到和，将分类器的临时权重赋值给固定权重，利用和预测性能；步骤2，利用第一个任务的训练数据计算模型中每个参数的敏感性，得到参数的敏感性矩阵；步骤3，当模型学习新的任务时，将参数的敏感性矩阵作为一个正则项添加到模型原有的损失函数中，然后使用修改后的损失函数对模型进行训练，学习得到分类器之前的参数；步骤4，在分类器中拓展新的神经元用于学习新任务中的新的类，重新初始化分类器的临时权重，使用随机梯度下降训练模型，学习得到分类器的临时权重，将分类器的临时权重赋值给固定权重，利用和预测性能；步骤5，利用新任务的训练数据计算模型中每个参数的敏感性矩阵，将当前任务的敏感性矩阵与之前任务的敏感性矩阵进行累加并取均值，作为下一个任务训练的损失函数中添加的参数的敏感性矩阵；步骤6，每当进来一个新任务对其进行训练时，重复步骤3、步骤4和步骤5即可；步骤7，使用训练好的模型分类器对遥感图像进行分类。具体地，步骤1中所述的将分类器的临时权重赋值给固定权重，包括以下步骤：对于任务中的每个类j，按照下列公式将分类器的临时权重赋值给固定权重：其中，为临时权重的所有类的均值。具体地，步骤2中所述的计算模型中每个参数的敏感性，得到参数的敏感性矩阵，包括以下步骤：对于给定的样本，模型的输出记为，其中为模型的参数，将参数的微小改变量对模型最终的输出的改变进行二阶泰勒展开：其中，为输出函数在样本上对参数的梯度，H为Hessian矩阵，代表输出函数在样本上参数的二阶偏导数；利用对角Fisher信息矩阵来近似的逼近Hessian矩阵，对于多分类问题，使用输出函数的l2范数的平方对参数的梯度来代替计算参数敏感性，通过一次反向传播就可以计算出参数的敏感性矩阵，公式如下：按照下列公式计算模型中的每个参数的敏感性矩阵：其中，代表网络模型中每个参数对于该任务的敏感性矩阵，表示第k个样本点，N表示样本总数。具体地，步骤3中所述的当模型学习新的任务时，将参数的敏感性矩阵作为一个正则项添加到模型原有的损失函数中，然后使用修改后的损失函数对模型进行训练，学习得到分类器之前的参数，包括以下步骤：每当新进来一个任务时，按照下列公式对在其任务的原有损失函数上添加一个正则项来限制分类器之前的参数的更新：其中，代表修改之后模型总的损失函数，代表模型在当前任务上的损失函数，代表正则项的超参数，代表当前任务的分类器之前的参数，代表之前任务的分类器之前的参数。更进一步地，步骤4中所述的将分类器的临时权重tw赋值给固定权重cw，利用和cw预测性能，包括以下步骤：对于任务中的每个类j，按照下列公式将分类器的临时权重tw赋值给固定权重cw：其中，avg(tw)为临时权重tw的所有类的均值。具体地，步骤5中所述的利用新任务的训练数据计算模型中每个参数的敏感性矩阵，将当前任务的敏感性矩阵与之前任务的敏感性矩阵进行累加并取均值，作为下一个任务训练的损失函数中添加的参数的敏感性矩阵，包括以下步骤：按照下列公式计算累加之后取均值的参数的敏感性矩阵：其中，为当前任务的敏感性矩阵，为之前任务的敏感性矩阵，task_num为任务数量。与现有方法相比，本专利技术的优点在于：（1）本专利技术提出了一种新的将参数敏感性与冻结旧任务神经元结构相结合的方法，该方法可以有效减轻深度学习模型中灾难性遗忘的问题；（2）本专利技术提出的计算参数敏感性的方法可以与场景无关的，可以在任意场景中使用本专利技术提出的方法来计算模型中每个参数的重要程度；（3）本专利技术提出的方法在计算参数敏感性时不需要标签，使得该方法能够更适用于真实分类场景中。附图说明图1示出了本专利技术实施例的流程示意图；图2示出了本专利技术实施例选用的CLRS数据集每类场景部分影像实施例示意图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部份实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。<本文档来自技高网...

【技术保护点】
1.一种适于多任务迭代学习记忆的遥感图像分类方法，其特征在于，包括以下步骤：/n步骤1，初始化模型分类器之前的参数

【技术特征摘要】
1.一种适于多任务迭代学习记忆的遥感图像分类方法，其特征在于，包括以下步骤：
步骤1，初始化模型分类器之前的参数、分类器的固定权重以及分类器的临时权重，使用随机梯度下降训练第一个任务，学习得到和，将分类器的临时权重赋值给固定权重，利用和预测性能；
步骤2，利用第一个任务的训练数据计算模型中每个参数的敏感性，得到参数的敏感性矩阵；
步骤3，当模型学习新的任务时，将参数的敏感性矩阵作为一个正则项添加到模型原有的损失函数中，然后使用修改后的损失函数对模型进行训练，学习得到分类器之前的参数；
步骤4，在分类器中拓展新的神经元用于学习新任务中的新的类，重新初始化分类器的临时权重，使用随机梯度下降训练模型，学习得到分类器的临时权重，将分类器的临时权重赋值给固定权重，利用和预测性能；
步骤5，利用新任务的训练数据计算模型中每个参数的敏感性矩阵，将当前任务的敏感性矩阵与之前任务的敏感性矩阵进行累加并取均值，作为下一个任务训练的损失函数中添加的参数的敏感性矩阵；
步骤6，每当进来一个新任务对其进行训练时，重复步骤3、步骤4和步骤5即可；
步骤7，使用训练好的模型分类器对遥感图像进行分类。


2.根据权利要求1所述的遥感图像分类方法，其特征在于，步骤1中所述的将分类器的临时权重赋值给固定权重，包括以下步骤：
对于任务中的每个类j，按照下列公式将分类器的临时权重赋值给固定权重：



其中，为临时权重的所有类的均值。


3.根据权利要求1或2所述的遥感图像分类方法，其特征在于，步骤2中所述的计算模型中每个参数的敏感性，得到参数的敏感性矩阵，包括以下步骤：
对于给定的样本，模型的输出记为，其中为模型的参数，将参数的微小改变量对模型最终的输出的改变进行二阶泰勒展开：



其中，为输出函数在样本上对参数的梯度，H为Hessian矩阵，代...

【专利技术属性】
技术研发人员：彭剑，李海峰，黄浩哲，陈力，崔振琦，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43