一种基于元学习的统一框架的少样本实例分割方法技术

本发明专利技术涉及实例分割技术领域，更具体的是涉及一种基于元学习的统一框架的少样本实例分割方法。该方法基于PyTorch深度学习框架，采用元学习训练策略和两阶段训练流程，采用双分支结构，通过对支持分支参考两次，学习快速泛化到新知识；通过本发明专利技术的方法，可以避免巨大的计算成本，获得了更好的相关线索以提高性能，并且，在拓展到增量实验设置时，操作方便，程序简单，实现所需的工作量较小。实现所需的工作量较小。实现所需的工作量较小。

【技术实现步骤摘要】
一种基于元学习的统一框架的少样本实例分割方法


[0001]本专利技术涉及实例分割
，更具体的是涉及一种基于元学习的统一框架的少样本实例分割方法。

技术介绍

[0002]随着图像分割技术的发展，出现了实例分割，实例分割是计算机视觉中一项基本的任务，它为图像中的每个实例预测一个像素级的分割结果以及一个语义类别。
[0003]实例分割在很多场景下都有极大的应用潜力，比如自动驾驶，卫星地图导航、医学图像分析等。随着深度学习的发展及计算机算力的增加，许多基于深度学习的实例分割方法都取得了不错的效果，能够准确地检测并分割出目标实例。但已有的方法需要大量的标注数据进行训练，这极大地限制了该方法的应用潜力。
[0004]针对这一问题，少样本实例分割方法应运而生，其能够在大量标注数据的预训练完毕后，只见过少量标注数据，就能够准确地分割出新类实例。然而现有的少样本实例分割方法，并不能充分地利用有限的新类样本进行建模，并且当前的方法需要为适应不同的实验设置设计特定的模型结构。
[0005]因此，亟待一种少样本实例分割框架及具体方法，从而利用其能够更充分地对新类样本进行建模，并且将现有实验设置统一到同一个框架之中。

技术实现思路

[0006]为解决上述中关于少样实例分割所存在的技术问题，本专利技术提供了一种基于元学习的统一框架的少样本实例分割方法。具体的，本专利技术所提供的这种方法针对的是目前的方法不能充分地利用有限的新类样本进行建模和存在多种实验设置的技术问题。
[0007]该方法基于PyTorch深度学习框架，采用了元学习训练策略和两阶段训练流程，通过对支持分支参考两次，学习快速泛化到新知识。
[0008]具体地，对于第一次参考，该方法采用MaskPooling来裁剪支持特征，而不是像之前的方法那样使用RoIAlign。然后，我们提出从池化的支持特征生成动态的多个类的类中心，以同时增强查询分支。对于第二次参考，来自支持图像的object queries已经编码了相关的分类和定位信息。我们设计了一个简单的多头注意力来强制链接两分支的object queries，这增强了模型对新类的分类和分割能力。
[0009]具体的，本专利技术所采用的技术方案为：一种基于元学习的统一框架的少样本实例分割方法，所述方法基于PyTorch深度学习框架，采用元学习训练策略和两阶段训练流程，采用双分支结构，通过对支持分支参考两次，学习快速泛化到新知识；所述方法具体包括：待分割的查询图像I
Q
和支持集S经过φ
E
特征提取分别得到多尺度查询特征F
Q
和多尺度支持特征F
S
；
多尺度查询特征F
Q
第一次参考多尺度支持特征F
S
后得到加强后的查询特征；加强后的查询特征和多尺度支持特征F
S
经过解码器后，分别得到查询和支持分支的object queries；查询object queries第二次参考支持object queries后得到加强后的object queries；输入后续的分类头和掩码头后得到模型预测结果。
[0010]优选的，所述第一次参考的参考模块中：多尺度查询特征多尺度支持特征其中，L指特征尺度级别；该参考模块为一个权重共享的多头可变形注意力模块。
[0011]优选的，所述第一次参考的具体步骤为：首先，将多尺度查询特征F
Q
和多尺度支持特征F
S
编码到相同的特征空间中，获得F
Q
和F
S
；通过分别在每个尺度的支持特征上使用真掩码进行MaskPooling，支持实例的确切特征与背景和其他实例分离，然后，通过平均每个图像的所有尺度和每个类的K个示例，获得所有支持类的动态类中心：P＝[c1,
…
,c
N
]∈R
N
×
C
；然后，使用多头注意力模块生成用于聚合具有动态类中心的F
′
Q
的重加权矩阵，然后将查询特征与沿通道维度获得的权重相乘：R＝softmax(F
′
Q
P
T
)σ(P)，由此，得到加强后的查询特征。
[0012]优选的，所述第二次参考的参考模块中：筛掉带有无关信息的支持分支的object queries，只保留包含实例级高质量类别和空间信息的object queries；给定查询分支的object queries支持分支的Q是每个图像的object queries的数量，D是特征维度。
[0013]优选的，所述第二次参考的具体为：首先，获得响应于支持对象查询的预测掩码；然后，按预测掩码和真掩码的IoU大小排序，选择每个图像的Q个对象查询中的前k个；
通过这种方式，本方法避免了巨大的计算成本，也获得了更好的相关线索以提高性能；然后，使用多头交叉关注模块匹配双分支的object queries：由此，得到加强后的object queries。
[0014]优选的，在拓展到iFSIS实验设置时，在新类微调阶段微调CAL、object queries和分类头，并通过引入一个额外的类加强的基类特征蒸馏损失来防止CAL过拟合。
[0015]优选的，具体地：首先，根据相对重要性沿着空间和通道维度对特征重新加权；重要度通过像素或通道的绝对平均值来衡量，使用softmax作为归一化函数；通道和空间重加权系数和如下如下类加强的基类特征蒸馏损失表示为：其中：C,H和W分别表示特征的通道、高度和宽度；M
ij
是前景实例的真掩码；在微调过程中，它们都属于新类；是基础训练后冻结的模型的CAL输出特征，是新微调期间模型的CAL输出特征。
[0016]优选的，在训练时，使用匈牙利算法作为正样本匹配算法，损失函数包括分类损失和掩码损失；分类损失是Softmax交叉熵损失，掩码损失包括二元交叉熵损失和骰子损失；训练阶段分成两部分：第一阶段进行基类训练，第二阶段在新类上进行微调；两阶段都采用元学习的训练策略。
[0017]优选的，进行前向推理时，我们从支持集一次性计算动态类中心和object queries；之前的工作需要对每个查询图像进行多次前传，每次处理部分支持类，本框架一次可以处理所有的支持类，这更简单、更高效。
[0018]与现有技术相比，本专利技术的有益效果主要是：本专利技术的方法在实际运用中，可以避免巨大的计算成本，获得了更好的相关线索以提高性能；本专利技术的方法在拓展到增量实验设置时，可以在不同实验设置中采用相同的
模型结构，操作方便，程序简单，实现所需的工作量较小。
附图说明
[0019]图1给出的是本专利技术的方法的整体流程图。
[0020]图2给出的是本专利技术的方法的详细框架图。
[0021]图3给出的是本专利技术的方法的在第一次参考时的参考模块结构图。
[0022]图4给出的是本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元学习的统一框架的少样本实例分割方法，其特征在于：所述方法基于PyTorch深度学习框架，采用元学习训练策略和两阶段训练流程，采用双分支结构，通过对支持分支参考两次，学习快速泛化到新知识；所述方法具体包括：待分割的查询图像I
Q
和支持集S经过φ
E
特征提取分别得到多尺度查询特征F
Q
和多尺度支持特征F
S
；多尺度查询特征F
Q
第一次参考多尺度支持特征F
S
后得到加强后的查询特征；加强后的查询特征和多尺度支持特征F
S
经过解码器后，分别得到查询和支持分支的object queries；查询object queries第二次参考支持object queries后得到加强后的object queries；输入后续的分类头和掩码头后得到模型预测结果。2.根据权利要求1所述的一种基于元学习的统一框架的少样本实例分割方法，其特征在于：所述第一次参考的参考模块中：多尺度查询特征多尺度支持特征其中，L指特征尺度级别；该参考模块为一个权重共享的多头可变形注意力模块。3.根据权利要求2所述的一种基于元学习的统一框架的少样本实例分割方法，其特征在于：所述第一次参考的具体步骤为：首先，将多尺度查询特征F
Q
和多尺度支持特征F
S
编码到相同的特征空间中，获得F
Q
和F
S
；通过分别在每个尺度的支持特征上使用真掩码进行MaskPooling，支持实例的确切特征与背景和其他实例分离，然后，通过平均每个图像的所有尺度和每个类的K个示例，获得所有支持类的动态类中心：P＝[c1,
…
,c
N
]∈R
N
×
C
；然后，使用多头注意力模块生成用于聚合具有动态类中心的F
′
Q
的重加权矩阵，然后将查询特征与沿通道维度获得的权重相乘：R＝softmax(F
′
Q
P
T
)σ(P)，由此，得到加强后的查询特征。4.根据权利要求1所述的一种基于元学习的统一框架的少...

【专利技术属性】
技术研发人员：刘勇，韩玥，张江宁，
申请(专利权)人：浙江大学，
类型：发明
国别省市：