【技术实现步骤摘要】
本专利技术涉及持续语义分割，具体的是基于平衡多粒度融合特征蒸馏的持续语义分割方法及系统。
技术介绍
1、随着卷积神经网络的飞速发展，语义分割任务的精度已经取得了巨大的提升。但是目前大多数语义分割方法是基于静态的批量大数据进行训练，而实际应用中，各个行业需要处理的数据大多是动态、开放、非均衡分布的数据流。这种批量学习训练得到的模型只能识别在训练集中出现过的类别，对于未出现在训练集中的类别则只能利用包含新类的新训练集重新训练模型，不仅造成大量时间和物力的浪费，且会发生灾难性遗忘，即模型在先前学习的旧类别上性能显著下降。为了解决这个难题，研究人员开始将持续学习范式引入语义分割任务，尝试让模型能够不断地利用新到来的数据学习新的信息，学会处理新的任务，并保持对旧任务的处理能力。
2、最近，许多持续语义分割方法尝试利用知识蒸馏技术对新旧模型提取的深层特征或输出置信度一致性约束，并对新类别的分类器采取随机初始化。但这些方法存在两方面不足：其一，知识蒸馏只针对单一粒度的深层语义特征做约束，忽视了对其他粒度特征中包含地对语义分割任务至关重要的信息的迁移；其二，面对新任务开始时新旧类别间不具有判别性的特征，随机初始化的分类器会产生严重的预测偏差。因此持续语义分割任务的关键在于如何尽可能多地保留对防止模型发生灾难性遗忘起关键作用的知识，以及如何在新任务开始时消除不具判别性的特征带来的预测偏差以加强新任务的学习。
技术实现思路
1、为解决上述
技术介绍
中提到的不足，本专利技术的目的在于提供基于平
2、第一方面，本专利技术的目的可以通过以下技术方案实现：基于平衡多粒度融合特征蒸馏的持续语义分割方法，方法包括以下步骤：
3、获取图片，将图片输入至预先建立的新旧模型的特征提取网络内，输出得到图片的多层特征；将图片的多层特征输入至预先建立的并行自注意力模块内，输出得到初步融合多粒度特征；
4、将初步融合多粒度特征输入至预先建立的基于矩的通道注意力模块内，输出得到平衡性多粒度融合特征；基于知识蒸馏计算平衡性多粒度融合特征的一致性约束，基于平衡性多粒度融合特征的一致性约束计算训练总损失；
5、基于训练总损失对新模型进行训练，得到训练后的新模型，通过训练后的新模型基于辅助分类器为新任务提供最优初始化决策边界，其中，所述新模型为任务阶段模型。
6、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述初步融合多粒度特征的输出过程：
7、并行自注意力模块由数个并行的分支组成，每个分支都遵循视觉转换器当中的自注意力网络结构；
8、将模型不同层的中间特征利用双线性插值转换为一样的尺寸；
9、将经过双线性插值后的不同层特征分别输入并行自注意力模块的不同分支，每个分支对应一层特征；
10、将并行自注意力模块各个分支的输出在通道维度上进行拼接，形成初步融合多粒度特征。
11、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述平衡性多粒度融合特征的输出过程：
12、基于初步融合多粒度特征，在空间维度上计算其矩统计量，包括一阶矩：均值、二阶矩：方差和三阶矩：偏度，对应三个统计量得到三个特征统计向量；
13、将三个特征统计向量输入多层感知机网络，分别输出三个通道注意力向量；
14、将三个通道注意力向量相加，并与初步融合多粒度特征相乘，得到平衡性多粒度融合特征。
15、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述训练总损失的计算过程：
16、基于知识蒸馏技术，分别计算新旧模型的平衡性多粒度融合特征间的距离作为训练损失，计算得出平衡性多粒度融合特征一致性约束；
17、计算标准分类损失，以及针对模型最终输出的置信度蒸馏损失；
18、计算模型训练的总损失：
19、
20、其中，和为用来平衡各项损失的平衡系数。
21、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述平衡性多粒度融合特征一致性约束的计算过程如下：
22、
23、式中，和表示平衡性多粒度融合特征的空间维度尺寸，表示平衡性多粒度融合特征在空间维度上的第行第列的值，的下标表示该平衡性多粒度融合特征由任务阶段的模型提取。
24、所述标准分类损失为：
25、
26、
27、其中，表示类别标签，和表示输出掩码的尺寸，表示任务阶段模型对图片中像素对应类别输出的置信度，表示取对数，表示指示函数,若其参数为真值则输出1，否则输出0，表示模型输出的分割置信度，为输出掩码中的像素，表示像素的真实标签，和分别为输出掩码在空间维度上的尺寸，表示任务阶段模型学习的新类别集合，表示到任务阶段模型学习的所有类别数；
28、所述置信度蒸馏损失为：
29、 。
30、其中，表示模型在学习过的所有旧类别。
31、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述通过训练后的新模型基于辅助分类器为新任务提供最优初始化决策边界的过程如下：
32、基于分类损失变体为每个类训练辅助分类器：
33、
34、其中，表示类别标签，和表示输出掩码的尺寸，表示任务阶段模型对图片中像素对应类别输出的置信度，表示取对数，表示指示函数，若参数为真值则输出1，否则输出0，表示模型输出的分割置信度，为输出掩码中的像素，表示像素的真实标签。和分别为输出掩码在空间维度上的尺寸，表示任务阶段模型学习的新类别集合，表示到任务阶段模型学习的所有类别数；
35、基于每个任务阶段训练完成时的模型计算并存储每个类别的特征原型；
36、新任务开始时基于新模型计算每个新类的特征原型，并匹配原型与新类相似度最高的旧类，用相似最高的旧类辅助分类器初始化新类分类器。
37、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述计算并存储每个类别的特征原型的过程如下：
38、对于每个类别，根据数据集中的标注为每张图片生成二元掩码，其中属于此类别的像素在二元掩码中被标记为1，不属于的像素在二元掩码中被标记为0；
39、基于每个任务阶段训练完成时的模型，为每个类别的图片提取特征，将提取的特征图与对应图片的二元掩码相乘，经过全局平均池化得到每张图片的类别特定特征嵌入；
40、计算每个类所有图片的类别特定特征嵌入的均值，得到类别的特征原型，并进行存储。
41、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述用相似最高的旧类辅助分类器初始化新类分类器的过程如下：
42、每个任务阶段开始时用上个任务训练完成的特征提取器初始化新模型的特征提取器；
43、对于每个新类别，根据数据集中的标注为每张图片生成一个二元本文档来自技高网...
【技术保护点】
1.基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述初步融合多粒度特征的输出过程：
3.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述平衡性多粒度融合特征的输出过程：
4.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述训练总损失的计算过程：
5.根据权利要求4所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述平衡性多粒度融合特征一致性约束的计算过程如下：
6.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述通过训练后的新模型基于辅助分类器为新任务提供最优初始化决策边界的过程如下：
7.根据权利要求6所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述计算并存储每个类别的特征原型的过程如下：
8.根据权利要求7所述的基于平衡多粒度融合特征蒸馏的持续
9.基于平衡多粒度融合特征蒸馏的持续语义分割系统，采用了权利要求1至8中任一项所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，包括：
10.一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，其特征在于，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了权利要求1至8中任一项所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法。
...【技术特征摘要】
1.基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述初步融合多粒度特征的输出过程：
3.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述平衡性多粒度融合特征的输出过程：
4.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述训练总损失的计算过程：
5.根据权利要求4所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述平衡性多粒度融合特征一致性约束的计算过程如下：
6.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法，其特征在于，所述通过训练后的新模型基于辅助分类器为新任务提供最优初...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。