基于跨图像相似度关系的语义分割知识蒸馏方法及系统技术方案

本发明专利技术提出一种基于跨图像相似度关系的语义分割知识蒸馏方法，包括：统计该教师特征图集中两两特征图间像素的相似度，得到教师图像相似度矩阵，统计该学生特征图集中两两特征图间像素的相似度，得到学生图像相似度矩阵；统计该两两特征图的该教师图像相似度矩阵和该学生图像相似度矩阵的最小平方误差，作为该两两特征图的误差，集合该训练集中所有两两特征图的误差，得到总误差，以训练更新该学生模型，执行语义分割任务。通过迁移跨图像间的相似度关系，学生模型可以学习到教师模型全局像素特征关系依赖，从而提高语义分割准确度。从而提高语义分割准确度。从而提高语义分割准确度。

【技术实现步骤摘要】
基于跨图像相似度关系的语义分割知识蒸馏方法及系统


[0001]本专利技术涉及图像语义分割技术以及图像分类
，并特别涉及一种基于跨图像相似度关系的语义分割知识蒸馏方法及系统。

技术介绍

[0002]图像语义分割是一个视觉上的基础任务，其目的是对图像上的每一个像素点进行分类，从而图像上的不同语义区域可以被分割出来。图像语义分割技术在自动驾驶，虚拟现实以及机器人领域具有广泛的应用价值。虽然现有的语义分割模型，可以在分割上获得很好的性能，但是也需要较大的计算代价。这个缺点限制了这些模型被部署在现实世界场景和资源限制的边缘设备。知识蒸馏作为一项模型压缩技术，可以利用教师教授学生的模式来提升学生网络的性能，这里教师模型通常是复杂度高但是性能优良的网络，学生模型通常是复杂度低但是性能不足的网络。通过知识蒸馏算法，可以使得部署的学生网络可以完成实际的任务性能需求同时需要极少的计算开销。
[0003]知识蒸馏算法的核心是定义一种有意义的知识形式，然后将该知识从教师模型传到学生模型，然后设计用于语义分割的知识形式是一个挑战性的问题。最早的特征蒸馏算法尝试直接利用原始特征进行教师
‑
学生之间的对齐，但是没有考虑到结构化的相关度信息。后来的一些结构化知识蒸馏方法考虑建模样本之间的相似度信息作为有意义的知识形式，比如像素点到像素点之间的相似度分布和像素点到区域向量之间的相似度分布，其中区域向量代表了相同类别像素向量的聚类中心。除了在像素点维度上的关系抽取，通道蒸馏将特征通道级别的信息作为知识形式进行蒸馏。/>[0004]现有方法能有效提升学生网络的性能，但是在一些复杂场景下分割质量不高。专利技术人发现现有技术中该项缺陷是由先前建模的知识形式导致的，该种知识形式仅仅是从单张图像中提取的，因此不能捕捉到整个数据集中更加广泛的关系依赖，造成不能对城市分割场景下的不同目标建立联系。

技术实现思路

[0005]专利技术人经过不同图像间的像素到像素关系型建模研究发现，解决该项缺陷可以通过跨图像像素建模全局的图像关系依赖的方法来实现。通过迁移跨图像间的相似度关系，学生模型可以学习到教师模型全局像素特征关系依赖，从而可以使得对语义分割的效果更好。
[0006]针对现有技术的不足，本专利技术提出一种基于跨图像相似度关系的语义分割知识蒸馏方法，包括：
[0007]步骤1、获取由多张图像构成的训练集，将训练集中图像分别输入教师模型和学生模型，得到该图像的教师特征图和学生特征图，分别集合所有图像的教师特征图和学生特征图，构成教师特征图集和学生特征图集；
[0008]步骤2、统计该教师特征图集中两两特征图间像素的相似度，得到教师图像相似度
矩阵，统计该学生特征图集中两两特征图间像素的相似度，得到学生图像相似度矩阵；
[0009]步骤3、统计该两两特征图的该教师图像相似度矩阵和该学生图像相似度矩阵的最小平方误差，作为该两两特征图的误差，集合该训练集中所有两两特征图的误差，得到总误差；
[0010]步骤4、根据该总误差采用随机梯度下降训练更新该学生模型，直到该总误差收敛或达到预设迭代次数，保存当前学生网络作为最终语义分割模型，将待语义分割图像输入该最终语义分割模型，得到该待语义分割图像的语义分割结果。
[0011]所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其中该步骤4包括：该最终语义分割模型提取该待语义分割图像的准确特征，通过分类器对该准确特征中每一个特征像素点进行分类，从而得到该语义分割结果。
[0012]所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其中
[0013]该步骤1包括：给定训练集中图像x，以及教师模型f
t
和学生模型f
s
，两者推理产生教师特征图和学生特征图
[0014]F
t
＝f
t
(x),F
s
＝f
s
(x)
[0015]其中H、W和d分别是特征图高度、宽度和通道数；
[0016]教师模型f
t
和学生模型f
s
可以分别输出得到M个特征图，分别构成该教师特征图集和该学生特征图集
[0017]该步骤2包括：对于该教师特征图集和该学生特征图集中第i张图像和第j张图像，计算两者对应像素特征和的相似度矩阵其中T表示矩阵转置，分别得到该教师特征图集和该学生特征图集的像素相似度矩阵：
[0018][0019]该步骤3中总误差L为：
[0020][0021][0022]式中a和b分别是矩阵的行索引和列索引。
[0023]所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其中该教师模型的网络规模大于该学生模型的网络规模；该训练集为汽车自动驾驶任务所需图像。
[0024]本专利技术还提出了一种基于跨图像相似度关系的语义分割知识蒸馏系统，其中包括：
[0025]初始模块，用于获取由多张图像构成的训练集，将训练集中图像分别输入教师模型和学生模型，得到该图像的教师特征图和学生特征图，分别集合所有图像的教师特征图和学生特征图，构成教师特征图集和学生特征图集；
[0026]第一统计模块，用于统计该教师特征图集中两两特征图间像素的相似度，得到教师图像相似度矩阵，统计该学生特征图集中两两特征图间像素的相似度，得到学生图像相似度矩阵；
[0027]第二统计模块，用于统计该两两特征图的该教师图像相似度矩阵和该学生图像相似度矩阵的最小平方误差，作为该两两特征图的误差，集合该训练集中所有两两特征图的误差，得到总误差；
[0028]训练模块，用于根据该总误差采用随机梯度下降训练更新该学生模型，直到该总误差收敛或达到预设迭代次数，保存当前学生网络作为最终语义分割模型，将待语义分割图像输入该最终语义分割模型，得到该待语义分割图像的语义分割结果。
[0029]所述的基于跨图像相似度关系的语义分割知识蒸馏系统，其中该训练模块用于：该最终语义分割模型提取该待语义分割图像的准确特征，通过分类器对该准确特征中每一个特征像素点进行分类，从而得到该语义分割结果。
[0030]所述的基于跨图像相似度关系的语义分割知识蒸馏系统，其中
[0031]该初始模块用于：给定训练集中图像x，以及教师模型f
t
和学生模型f
s
，两者推理产生教师特征图和学生特征图
[0032]F
t
＝f
t
(x),F
s
＝f
s
(x)
[0033]其中H、W和d分别是特征图高度、宽度和通道数；
[0034]教师模型f
t
和学生模型f
s
可以分别输出得到M个特征图，分别构成该教师特征图集和该学生特征图集
[0035]该第一统计模块用于：对于该教师特征图集和该学生特征图集中第i张图像和第j张图像，计算两者对应像素特征和的相似度矩阵其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨图像相似度关系的语义分割知识蒸馏方法，其特征在于，包括：步骤1、获取由多张图像构成的训练集，将训练集中图像分别输入教师模型和学生模型，得到该图像的教师特征图和学生特征图，分别集合所有图像的教师特征图和学生特征图，构成教师特征图集和学生特征图集；步骤2、统计该教师特征图集中两两特征图间像素的相似度，得到教师图像相似度矩阵，统计该学生特征图集中两两特征图间像素的相似度，得到学生图像相似度矩阵；步骤3、统计该两两特征图的该教师图像相似度矩阵和该学生图像相似度矩阵的最小平方误差，作为该两两特征图的误差，集合该训练集中所有两两特征图的误差，得到总误差；步骤4、根据该总误差采用随机梯度下降训练更新该学生模型，直到该总误差收敛或达到预设迭代次数，保存当前学生网络作为最终语义分割模型，将待语义分割图像输入该最终语义分割模型，得到该待语义分割图像的语义分割结果。2.如权利要求1所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其特征在于，该步骤4包括：该最终语义分割模型提取该待语义分割图像的准确特征，通过分类器对该准确特征中每一个特征像素点进行分类，从而得到该语义分割结果。3.如权利要求1所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其特征在于，该步骤1包括：给定训练集中图像x，以及教师模型f
t
和学生模型f
s
，两者推理产生教师特征图和学生特征图F
t
＝f
t
(x),F
s
＝f
s
(x)其中H、W和d分别是特征图高度、宽度和通道数；教师模型f
t
和学生模型f
s
可以分别输出得到M个特征图，分别构成该教师特征图集和该学生特征图集该步骤2包括：对于该教师特征图集和该学生特征图集中第i张图像和第j张图像，计算两者对应像素特征和的相似度矩阵其中T表示矩阵转置，分别得到该教师特征图集和该学生特征图集的像素相似度矩阵：该步骤3中总误差L为：该步骤3中总误差L为：式中a和b分别是矩阵的行索引和列索引。4.如权利要求1所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其特征在于，该教师模型的网络规模大于该学生模型的网络规模；该训练集为汽车自动驾驶任务所需图像。5.一种基于跨图像相似度关系的语义分割知识蒸馏系统，其特征在于，包括：初始模块，用于获取由多张图像构成的训练集，将训练集中图像分别输入教师模型和<...

【专利技术属性】
技术研发人员：杨传广，安竹林，于新强，徐勇军，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：