一种基于对比知识蒸馏的类别增量语义分割方法技术

本发明专利技术公开了一种基于对比知识蒸馏的类别增量语义分割方法，涉及计算机视觉与模式识别技术领域，针对灾难性遗忘问题，将旧模型视为教师模型，新模型视为学生模型，构建教师—学生网络之间的知识蒸馏策略，从中间特征层与输出层进行密集性知识对齐，从神经网络深层特征表达与输出层预测概率对新模型的训练进行约束，实现对旧模型知识的继承与对新增知识的兼容；针对语义漂移问题，在旧模型与新模型之间高维特征分布的非对称隐空间内，将已知类别作为锚点类，选取对应的正样本类别与负样本类别对应的特征嵌入，构建区域级正样本对与区域级负样本对，并设计三元组对比学习损失进行约束。束。束。

【技术实现步骤摘要】
一种基于对比知识蒸馏的类别增量语义分割方法


[0001]本专利技术涉及计算机视觉与模式识别
，更具体的说是涉及一种基于对比知识蒸馏的类别增量语义分割方法。

技术介绍

[0002]语义分割任务是对图像中的每一个像素赋予一个标签，以实现对图像内容像素级的分类。目前基于深度学习的语义分割方法大多是孤立学习，即在闭合数据集上进行训练和测试，当使用神经网络学习序列任务时，模型在学习新的任务后可能因为灾难性遗忘的问题而导致模型在旧任务上的表现变得很差，使得实现持续学习的目标变得非常困难。
[0003]类别增量学习是持续学习的一种典型任务，现有的类别增量语义分割算法的问题主要分为两方面：一是基于深度学习的语义分割方法对大规模专家标注的需求，且在对新增类别进行学习时需要新旧类别的数据同时参与，需要极大的存储开销；二是现有的类别增量语义分割方法大多需要存储代表性旧数据，否则极易出现灾难性遗忘与语义漂移问题。其中灾难性遗忘是指在没有旧类别数据参与模型训练时，模型学习了新的知识之后，几乎彻底遗忘掉之前训练的内容的现象；语义漂移是指经过增量学习之后，模型参数的改变使得模型对于已知类别与新增类别的判别出现混淆，造成像素误分类。
[0004]因此，如何解决类别增量语义分割任务中灾难性遗忘与语义漂移是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于对比知识蒸馏的类别增量语义分割方法，无需存储旧有类别的代表性数据，节省了存储空间，同时解决了灾难性遗忘与语义漂移问题。<br/>[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于对比知识蒸馏的类别增量语义分割方法，包括：
[0008]步骤1：构建增量学习策略，设定总学习类别C
T
，设定增量学习过程{Step0,Step1,
…
,Step
T
}，设定在增量学习步骤Step
t
中，训练集为D
t
，在类别增量语义分割任务中，当在D
t
上进行模型训练时，无法获取旧有类别的标注数据，且仅有当前类别C
t
对应的标注；
[0009]步骤2：设定基础训练类别，将图像样本与标注送入所构建的特征提取网络中，训练基础模型M0；相应地，将第t步增量学习训练得到的模型记为M
t
；
[0010]步骤3：针对第t步增量学习步骤Step
t
，将第t
‑
1步增量学习训练得到的模型记为M
t
‑1作为教师模型T，将第t步增量学习训练得到的模型M
t
作为学生模型S，通过所构建的密集对齐式知识蒸馏策略构建知识蒸馏损失，将特征提取能力迁移到学生模型S中；利用所构建的非对称隐空间区域对比学习策略构建对比学习损失，提升模型M
t
已知类别与新增类别的区分能力；利用所构建的类别感知伪标注生成策略将待训练样本送入模型M
t
‑1得到已知类别的伪标注，并将其与第t步增量学习步骤获取的人工标注进行像素级融合，用于监督M
t
的训练过程；
[0011]步骤4：基于步骤3所述内容利用训练集D
t
进行增量学习的训练，得到训练好的第t步模型M
t
；
[0012]步骤5：迭代执行步骤3和步骤4，直至增量学习的类别数量达到设定的总学习类别C
T
。
[0013]优选地，构建知识蒸馏损失具体包括：
[0014]在第t步增量学习步骤Step
t
中，将输入的图像批分别送入第t
‑
1步的模型M
t
‑1和第t步的模型M
t
中提取深度特征{f
lt
‑1,f
lt
},l∈N
l
；其中l代表特征提取网络的当前特征层，N
l
代表特征提取网络的总层数；
[0015]对于中间特征层{l1,l2,l3}，基于空洞空间池化金字塔计算不同尺度特征的特征响应
[0016][0017][0018]其中，Λ表示经过空洞空间金字塔池化后将深度特征转化为一维张量的操作；
[0019]针对中间层特征蒸馏，利用KL散度计算张量之间的距离：
[0020][0021]其中d
D
(
·
)为KL散度距离，和分别代表M
t
‑1和M
t
对于像素i的预测类别概率，W'与H'分别为特征嵌入的高度和宽度；
[0022]针对输出层{l
out
}，计算模型M
t
‑1和模型M
t
的特征表达经过非线性激活层后的特征张量之间的相似度约束输出层特征蒸馏；
[0023]构建衰减式层感知权重：
[0024][0025]其中α为初始化蒸馏权重，n
l
和N
l
分别表示当前特征层深度与总特征层数，γ为小于1的正的常系数，n
e
和N
e
分别表示第n个训练轮数和总训练轮数；
[0026]基于衰减式层感知权重引导中间层特征蒸馏，中间层蒸馏损失为：
[0027][0028]输出层蒸馏损失为：
[0029][0030]基于中间层蒸馏损失L
IL
‑
D
与输出层蒸馏损失L
OL
‑
D
计算密集对齐式知识蒸馏策略的损失函数L
DADA
：
[0031]L
DADA
＝L
IL
‑
D
+λL
OL
‑
D
[0032]其中λ为常系数，用于平衡中间特征层与输出层在知识蒸馏中的贡献度。
[0033]优选地，非对称隐空间区域对比学习策略具体步骤为：
[0034]构建类别k的类别感知掩膜M
k
：
[0035][0036][0037]其中m
ij
为矩阵M
k
中第i行第j列的元素，H'与W'分别为特征嵌入的高度和宽度，代表维度为H
′×
W
′
的实矩阵空间，p
ij
为模型预测结果中第i行第j列像素的所属类别；
[0038]基于类别感知掩膜计算指定类别i的锚点类别嵌入正样本类别嵌入和负样本类别嵌入
[0039][0040][0041][0042]其中M
i
用于在隐空间中用于筛选第i类特征嵌入，表示第t
‑
1步增量学习步骤Step
t
‑1中关于第i类特征嵌入的类别感知掩膜，和分别表示第t步增量学习步骤Step
t
中关于第i类和第k类特征嵌入的类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比知识蒸馏的类别增量语义分割方法，其特征在于，包括：步骤1：构建增量学习策略，设定总学习类别C
T
，设定增量学习过程{Step0,Step1,
…
,Step
T
}，设定在增量学习步骤Step
t
中，训练集为D
t
，在类别增量语义分割任务中，当在D
t
上进行模型训练时，无法获取旧有类别的标注数据，且仅有当前类别C
t
对应的标注；步骤2：设定基础训练类别，将图像样本与标注送入所构建的特征提取网络中，训练基础模型M0；相应地，将第t步增量学习训练得到的模型记为M
t
；步骤3：针对第t步增量学习步骤Step
t
，将第t
‑
1步增量学习训练得到的模型记为M
t
‑1作为教师模型T，将第t步增量学习训练得到的模型M
t
作为学生模型S，通过所构建的密集对齐式知识蒸馏策略构建知识蒸馏损失，将特征提取能力迁移到学生模型S中；利用所构建的非对称隐空间区域对比学习策略构建对比学习损失，提升模型M
t
已知类别与新增类别的区分能力；利用所构建的类别感知伪标注生成策略将待训练样本送入模型M
t
‑1得到已知类别的伪标注，并将其与第t步增量学习步骤获取的人工标注进行像素级融合，用于监督M
t
的训练过程；步骤4：基于步骤3所述内容利用训练集D
t
进行增量学习的训练，得到训练好的第t步模型M
t
；步骤5：迭代执行步骤3和步骤4，直至增量学习的类别数量达到设定的总学习类别C
T
。2.根据权利要求1所述的一种基于对比知识蒸馏的类别增量语义分割方法，其特征在于，构建知识蒸馏损失具体包括：在第t步增量学习步骤Step
t
中，将输入的图像批分别送入第t
‑
1步的模型M
t
‑1和第t步的模型M
t
中提取深度特征{f
lt
‑1,f
lt
},l∈N
l
；其中l代表特征提取网络的当前特征层，N
l
代表特征提取网络的总层数；对于中间特征层{l1,l2,l3}，基于空洞空间池化金字塔计算不同尺度特征的特征响应空间池化金字塔计算不同尺度特征的特征响应空间池化金字塔计算不同尺度特征的特征响应其中，Λ表示经过空洞空间金字塔池化后将深度特征转化为一维张量的操作；针对中间层特征蒸馏，利用KL散度计算张量之间的距离：其中d
D
(
·
)为KL散度距离，和分别代表M
t
‑1和M
t
对于像素i的预测类别概率，W'与H'分别为特征嵌入的高度和宽度；针对输出层{l
out
}，计算模型M
t
‑1和模型M
t
的特征表达经过非线性激活层后的特征张量之间的相似度约束输出层特征蒸馏；构建衰减式层感知权重：
其中α为初始化蒸馏权重，n
l
和N
l
分别表示当前特征层深度与总特征层数，γ为小于1的正的常系数，n
e
和N
e
分别表示第n个训练轮数和总训练轮数；基于衰减式层感知权重引导中间层特征蒸馏，中间层蒸馏损失为：输出层蒸馏损失为：基于中间层蒸馏损失L
IL
‑
D
与输出层蒸馏损失L
OL
‑
D
计算密集对齐式知识蒸馏策略的损失函数L
DADA
：L
DADA
＝L
IL
‑
D
+λL
OL
‑
D
其中λ为常系数，用于平衡中间特征层与输出层在知识蒸馏中的贡献度。3.根...

【专利技术属性】
技术研发人员：赵丹培，苑博，史振威，张浩鹏，姜志国，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：