域自适应语义分割方法、装置、电子设备和存储介质制造方法及图纸

本公开提供的域自适应语义分割方法，包括：构建学生网络和教师网络；执行以下操作，获得本轮学生网络：利用源域数据和带离线伪标签的目标域数据对学生网络进行训练；计算相邻两次迭代由学生网络输出的目标域数据的预测变化量；利用学生网络对教师网络进行动量更新；根据更新后的教师网络构造目标域数据的在线伪标签；利用源域数据和带在线伪标签的目标域数据，对学生网络进行自蒸馏和对抗训练，得到本轮学生网络；若本轮得到的所有预测变化量的统计值达到阈值，则迭代结束，利用最终的学生网络对数据进行语义分割；若未达到阈值，则构造目标域数据的离线伪标签并通过其预测熵确定新一轮训练中目标域数据的采样次序。本公开的泛化能力强且精度高。的泛化能力强且精度高。的泛化能力强且精度高。

【技术实现步骤摘要】
域自适应语义分割方法、装置、电子设备和存储介质


[0001]本公开属于图像域自适应语义分割领域，具体涉及一种基于Transformer在线离线联合学习的域自适应语义分割方法、装置、电子设备和此存储介质。

技术介绍

[0002]语义分割是计算机视觉中最中心的任务之一，旨在为图像逐像素进行语义分类。语义分割需要对训练图像进行逐像素标注，然而在实践中由于其高昂的标注成本，往往难以获得这些密集逐像素标签，这使得语义分割任务变得更具挑战性。一个普遍采用的解决方案是域自适应语义分割，首先通过虚拟仿真环境采集大量自动标注的虚拟图像，并在虚拟图像上训练模型，然后通过Sim2Real虚实迁移的域自适应方法在没有标注的真实图像上微调模型，使模型能够迁移至真实场景中。尽管传统的基于卷积神经网络CNN的方法在各种语义分割任务上都具有不错的表现，但是它们仍然无法应对域冲突，在域自适应过程中遭受了性能瓶颈，距离有标注监督的语义分割性能还有很大差距。如今Transformer网络架构在各个任务上都表现出了比CNN更强大的性能，并且对形状等高级特征具有更强的语义表征能力，而形状等特征具有很强的域不变性，是域自适应任务非常重要的对称性先验。因此，有必要基于Transformer网络架构开发一种更有效的域自适应语义分割训练方法，以提供具有实际使用价值的语义分割模型。

技术实现思路

[0003]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]为此，本公开第一方面实施例提供的域自适应语义分割方法，基于Transformer在线离线联合学习的方式，可获得泛化能力更强的域自适应性能和更精细的语义分割结果。
[0005]本公开第一方面实施例提供的域自适应语义分割方法，包括：
[0006]S100：获取不同域数据集作为训练数据，所述训练数据包括有真实标签的源域数据和无标签的目标域数据，基于Transformer网络分别构建学生网络和教师网络，初始化各网络的参数并初始化迭代训练次数和迭代训练轮数均为0；
[0007]S200：执行以下操作，通过所述训练数据对所述学生网络和所述教师网络进行迭代训练，获得本轮学生网络：
[0008]S210：针对首轮的每次迭代，仅利用有标签的源域数据对所述学生网络进行训练，针对其余轮的每次迭代，利用有标签的源域数据和带离线伪标签的目标域数据对所述学生网络进行训练；
[0009]S220：计算本次与上一次迭代由所述学生网络输出的针对目标域数据的预测变化量；
[0010]S230：利用所述学生网络对所述教师网络进行动量更新，得到更新后的教师网络；
[0011]S240：根据更新后的所述教师网络，构造目标域数据的在线伪标签；
[0012]S250：利用有标签的源域数据和带在线伪标签的目标域数据，对所述学生网络进
行自蒸馏和对抗训练；
[0013]S260：令迭代训练次数加1，若在线迭代训练次数达到在线迭代训练次数上限，则获得本轮学生网络，进入步骤S300，若未达到迭代训练次数上限，则返回步骤S210继续对学生网络和教师网络进行迭代训练；
[0014]S300：按照以下步骤进行下一轮迭代训练前的准备操作：
[0015]S310：计算本轮迭代训练过程中得到的所有所述预测变化量的统计值，判断所述统计值是否达到阈值，若未达到阈值，则迭代训练结束，将最终获得的学生网络作为语义分割模型并进入步骤S400，若达到阈值，则令迭代训练轮数加1后执行步骤S320；
[0016]S320：根据上一轮迭代训练得到的所述学生网络构造目标域数据的离线伪标签；
[0017]S330：根据所述离线伪标签的预测熵对所述目标域数据进行重排序，以确定新一轮迭代训练中所述目标域数据的采样次序；
[0018]S340：初始化所述学生网络和所述教师网络，初始化迭代训练次数为0，并返回步骤S210对所述学生网络和教师网络进行新一轮迭代训练；
[0019]S400：利用所述语义分割模型对待处理的数据进行语义分割。
[0020]在一些实施例中，步骤S210中采用分别按照下式构造的源域语义分割交叉熵损失函数和目标域语义分割交叉熵损失函数
[0021][0022][0023]其中，表示求取数学期望，为源域数据的第k类的真实标签，为学生网络对输入的源域数据x
s
第k类的预测概率，为由源域数据x
s
构建的源域数据集；为目标域数据的第k类离线伪标签，为学生网络对输入的目标域数据x
t
第k类的预测概率，为由目标域数据x
t
构建的目标域数据集；K
c
为语义类别总数，源域数据集与目标域数据集含有的语义类别总数相等。
[0024]在一些实施例中，步骤S220中，按照下式计算相邻两次迭代由学生网络输出的针对目标域数据的预测变化量：
[0025][0026]其中，p
i
和p
i+1
分别为第i次和第i+1次迭代训练时学生网络对目标域数据的预测输出，为第i次迭代训练时学生网络对输入的目标域数据的第w行、第h列的第k类的预测概率，W和H为学生网络输出的预测像素尺寸，K
c
为语义类别总数。
[0027]在一些实施例中，步骤S230中，利用所述学生网络对所述教师网络按照下式进行动量更新：
[0028]θ
t
←
αθ
t
+(1
‑
α)θ
s
[0029]其中，θ
t
为所述教师网络的参数，θ
s
为所述学生网络的参数，α为动量更新系数，α的取值范围为[0，1)。
[0030]在一些实施例中，步骤S240中，按照下式构造目标域数据的在线伪标签：
[0031][0032]其中，为目标域数据的第k类在线伪标签，为one
‑
hot形式的向量，为所述教师网络对目标域数据的第k
′
类的预测概率，k
′
取1～K
c
中的任意值，K
c
为语义类别总数，代表最大时对应的类别；和/或
[0033]步骤S320中，按照下式构造目标域数据的离线伪标签：
[0034][0035]其中，为目标域数据的第k类离线伪标签，为one
‑
hot形式的向量，为上一轮迭代训练得到的学生网络对输入的目标域数据的第k
′
类的预测概率。
[0036]在一些实施例中，步骤S250对所述学生网络进行自蒸馏和对抗训练的过程中，
[0037]采用按照下式构造的目标域自蒸馏交叉熵损失函数
[0038][0039]采用按照下式构造的动态对抗学习损失函数
[0040][0041][0042][0043][0044]其中，为由源域数据x
s
构建的源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种域自适应语义分割方法，其特征在于，包括：S100：获取不同域数据集作为训练数据，所述训练数据包括有真实标签的源域数据和无标签的目标域数据，基于Transformer网络分别构建学生网络和教师网络，初始化各网络的参数并初始化迭代训练次数和迭代训练轮数均为0；S200：执行以下操作，通过所述训练数据对所述学生网络和所述教师网络进行迭代训练，获得本轮学生网络：S210：针对首轮的每次迭代，仅利用有标签的源域数据对所述学生网络进行训练，针对其余轮的每次迭代，利用有标签的源域数据和带离线伪标签的目标域数据对所述学生网络进行训练；S220：计算本次与上一次迭代由所述学生网络输出的针对目标域数据的预测变化量；S230：利用所述学生网络对所述教师网络进行动量更新，得到更新后的教师网络；S240：根据更新后的所述教师网络，构造目标域数据的在线伪标签；S250：利用有标签的源域数据和带在线伪标签的目标域数据，对所述学生网络进行自蒸馏和对抗训练；S260：令迭代训练次数加1，若在线迭代训练次数达到在线迭代训练次数上限，则获得本轮学生网络，进入步骤S300，若未达到迭代训练次数上限，则返回步骤S210继续对学生网络和教师网络进行迭代训练；S300：按照以下步骤进行下一轮迭代训练前的准备操作：S310：计算本轮迭代训练过程中得到的所有所述预测变化量的统计值，判断所述统计值是否达到阈值，若未达到阈值，则迭代训练结束，将最终获得的学生网络作为语义分割模型并进入步骤S400，若达到阈值，则令迭代训练轮数加1后执行步骤S320；S320：根据上一轮迭代训练得到的所述学生网络构造目标域数据的离线伪标签；S330：根据所述离线伪标签的预测熵对所述目标域数据进行重排序，以确定新一轮迭代训练中所述目标域数据的采样次序；S340：初始化所述学生网络和所述教师网络，初始化迭代训练次数为0，并返回步骤S210对所述学生网络和教师网络进行新一轮迭代训练；S400：利用所述语义分割模型对待处理的数据进行语义分割。2.根据权利要求1所述的域自适应语义分割方法，其特征在于，步骤S210中采用分别按照下式构造的源域语义分割交叉熵损失函数和目标域语义分割交叉熵损失函数和目标域语义分割交叉熵损失函数和目标域语义分割交叉熵损失函数其中，表示求取数学期望，为源域数据的第k类的真实标签，为学生网络对输入的源域数据x
s
第k类的预测概率，为由源域数据x
s
构建的源域数据集；为目标域数据的第
k类离线伪标签，为学生网络对输入的目标域数据x
t
第k类的预测概率，为由目标域数据x
t
构建的目标域数据集；K
c
为语义类别总数，源域数据集与目标域数据集含有的语义类别总数相等。3.根据权利要求1所述的域自适应语义分割方法，其特征在于，步骤S220中，按照下式计算相邻两次迭代由学生网络输出的针对目标域数据的预测变化量：其中，p
i
和p
i+1
分别为第i次和第i+1次迭代训练时学生网络对目标域数据的预测输出，为第i次迭代训练时学生网络对输入的目标域数据的第w行、第h列的第k类的预测概率，W和H为学生网络输出的预测像素尺寸，K
c
为语义类别总数。4.根据权利要求1所述的域自适应语义分割方法，其特征在于，步骤S230中，利用所述学生网络对所述教师网络按照下式进行动量更新：θ
t
←
αθ
t
+(1
‑
α)θ
s
其中，θ
t
为所述教师网络的参数，θ
s
为所述学生网络的参数，α为动量更新系数，α的取值范围为[0,1)。5.根据权利要求1所述的域自适应语义分割方法，其特征在于，步骤S240中，按照下式构造目标域数据的在线伪标签：其中，为目标域数据的第k类在线伪标签，为one
‑
hot形式的向量，为所述教师网络对目标域数据的第k
‘
类的预测概率，k
‘
取1～K
c
中的任意值，K
c
为语义类别总数，代表最大时对应的类别；和/或步骤S320中，按照下式构造目标域数据的离线伪标签：其中，为目标域数据的第k类离线伪标签，为one
‑
hot形式的向量，为上一轮迭代训练得到的学生网络对输入的目标域数据的第k
‘
类的预测概率。6.根据权利要求5所述的域自适应语义分割方法，其特征在于，步骤...

【专利技术属性】
技术研发人员：孙富春，陈润发，闵海波，
申请(专利权)人：北京爱宾果科技有限公司，
类型：发明
国别省市：