【技术实现步骤摘要】
本专利技术属于计算机科学和自动驾驶，具体涉及一种基于可变形卷积和伪标签选择的uda(unsupervised domain adaptation,无监督领域自适应)语义分割方法、装置和电子设备。
技术介绍
1、语义分割是计算机视觉领域的一项关键技术，其核心是实现图像的像素级分类，被广泛应用于自动驾驶、医疗影像分析、遥感图像处理领域。例如，在自动驾驶中，语义分割技术被用于识别道路标记、车辆、行人，以帮助车辆安全导航。目前基于深度学习的语义分割方法迅速发展，这些工作往往需要大量的标注数据，但标注数据的获取是非常困难的，尤其对于语义分割这种需要密集型数据标注的任务。以自动驾驶数据集cityscapes为例，标注一张图像平均需要1.5小时，更甚者在恶劣的天气状况下，平均需要3.3小时。为解决需要获取大量标注数据的问题，一些工作使用合成数据集训练模型，但合成数据集和真实数据集之间存在一定的域偏移，在合成数据集上训练的模型往往在真实数据集中达不到预期效果。因此，研究者们开始采用无监督领域自适应(uda)技术，缓解域偏移问题，通常使用对抗训练或自训练将合成数据集训练的模型迁移到真实数据集中。
2、但是，现有技术的uda语义分割方法存在以下问题：(1)依赖于语义分割框架：传统方法往往依赖于已有的语义分割框架，没有对uda任务设计特定任务的解码器。(2)源域和目标域间的域差异：大多数基于对抗训练的思想减小源域和目标域的间的域差异，但对抗训练不稳定，应该设计新的缩小域差异方案。(3)图像混合中混合像素的选取没有选择高质量的伪标签。因此，
技术实现思路
1、本专利技术的目的在于克服现有技术的缺陷，提供一种基于可变形卷积和伪标签选择的uda语义分割方法、装置和电子设备，能够解决传统的uda语义分割方法存在的问题：(1)依赖于语义分割框架：传统方法往往依赖于已有的语义分割框架，没有对uda任务设计特定任务的解码器。(2)源域和目标域间的域差异：大多数基于对抗训练的思想减小源域和目标域的间的域差异，但对抗训练不稳定，应该设计新的缩小域差异方案。(3)图像混合中混合像素的选取没有选择高质量的伪标签。本专利技术通过精细的特征处理、一致性约束以及伪标签筛选策略，有效提高了无监督领域自适应场景下语义分割任务的准确性和鲁棒性。
2、为解决上述技术问题，本专利技术采用以下技术方案。
3、本专利技术的一种基于可变形卷积和伪标签选择的uda语义分割方法，构建一个包含特定任务解码器、特征一致性模块和伪标签选择器的网络框架，所述方法包括以下步骤：
4、步骤1、特定任务解码器将来自编码器的不同尺度特征作为输入，通过一个并行的可变形卷积和普通卷积得到并行特征，然后将并行特征输入递归卷积生成具有丰富上下文信息的融合特征，最后将该融合特征映射为语义分割预测图；
5、所述的特定任务解码器包括一个可变形卷积、一个普通卷积和一个递归卷积；特定任务解码器的输入为编码器得到的源域图像或混合域图像对应的不同尺度特征，特定任务解码器的输出为源域图像或混合域图像的语义分割预测图；
6、步骤2、特征一致性模块对特定任务解码器中可变形卷积和普通卷积的输出特征计算一致性，减小两者的差距以适应uda语义分割任务；
7、特征一致性模块包括一个基于2范数和frobenius范数的度量方法；
8、步骤3、伪标签选择器得到语义分割模型生成的伪标签，通过类级伪标签规则评价器和类级伪标签质量评估器得到伪标签中规则的和高质量的类；即：类级伪标签规则评价器计算源域标签和目标域伪标签间同类物体的轮廓特征，排除伪标签中不规则的类，类级伪标签质量评估器计算目标域图像和伪标签间的图像质量，排除伪标签中低质量的类，最后将伪标签中规则和高质量的类区域与源域图像混合，生成混合域图像和标签；
9、伪标签选择器包括一个类级伪标签规则评价器和一个类级伪标签质量评估器；
10、伪标签选择器的输入为源域图像标签、目标域图像和目标域伪标签，输出为混合域图像和混合域标签。
11、具体的，所述步骤1的过程包括：
12、所述的编码器对输入源域图像进行特征提取，得到不同尺度的特征f；使用segformer提供的基于transformer的编码器mit；mit首先将图像划分为hw/4×4个大小为4×4×c的补丁，划分的补丁经过四个阶段分别得到四个尺寸递减、通道递增的特征i＝{1,2,3,4}；编码器的四个阶段的过程，其每个阶段均包括多头自注意力机制和前馈神经网络，以进行特征提取，并且前一阶段的输出作为后一阶段的输入；
13、特定任务解码器将编码得到的多尺度特征进行聚合，通过一个并行的可变形卷积和普通卷积得到并行特征，然后将并行特征输入递归卷积生成具有丰富上下文信息的融合特征，设计的递归卷积通过多次递归，模型可以逐步捕捉到不同像素之间的高阶空间交互关系，递归卷积通过三次空间交互，使用复杂的卷积操作和特征图划分，实现对图像特征的有效提取和建模能力的提升，每一阶空间交互过程为，递归卷积首先将图像的通道数升高，然后对特征图按照通道进行1:7划分，并经过深度卷积处理，保持通道数不变，然后，特征图按照1：2：4被再次划分，并与之前的特征图进行点乘和卷积操作；依次实现一阶空间交互、二阶和三阶空间交互的过程不仅扩大了通道数，还增强了特征的表达，以进一步提升网络的建模能力；经过三次空间交互，最终递归卷积能够输出与输入通道数一致的特征图，实现了对图像特征的深层次提取和建模，从而提高了网络的性能；
14、最后将融合特征映射为语义分割预测图；使用交叉熵损失训练语义分割模型，定义如下：
15、
16、其中，表示第i张源域图像，h,w表示图像尺寸，c表示类别数量，表示中类别为c的像素，表示中像素为j的标签，gθ表示语义分割模型。
17、具体的，所述步骤2的过程包括：
18、所述的特征一致性模块采用2范数和frobenius范数作为度量标准，从而有效地评估两种卷积输出特征之间的差异，帮助模块更准确地计算源域图像特定任务解码器中可变形卷积特征fsdconv和普通卷积特征fdconv之间的一致性，定义如下：
19、
20、其中，||·||2表示对h、w维度求2范数，||·||f表示frobenius范数，λf表示特征一致性超参数；通过优化一致性，模块能够提升解码器在uda语义分割任务中的性能，使其更好地适应不同域之间的数据分布差异。
21、具体的，所述步骤3的过程包括：
22、uda任务中自训练的关键是生成高质量目标域伪标签，使用学生-教师模型生成伪标签，学生模型和教师模型有同样的结构，将gθ作为学生模型，用gθ参数的指数移动平均值更新教师模型gφ的参数，定义如下：
23、φt←αφt-1本文档来自技高网...
【技术保护点】
1.一种基于可变形卷积和伪标签选择的UDA语义分割方法，其特征在于，构建一个包含特定任务解码器、特征一致性模块和伪标签选择器的网络框架，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于可变形卷积和伪标签选择的UDA语义分割方法，其特征在于，所述步骤1的过程包括：
3.根据权利要求1所述的一种基于可变形卷积和伪标签选择的UDA语义分割方法，其特征在于，所述步骤2的过程包括：
4.根据权利要求1所述的一种基于可变形卷积和伪标签选择的UDA语义分割方法，其特征在于，所述步骤3的过程包括：
5.一种基于可变形卷积和伪标签选择的UDA语义分割装置，其特征在于，包括：
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机可执行的指令，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的基于可变形卷积和伪标签选择的UDA语义分割方法。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述
...【技术特征摘要】
1.一种基于可变形卷积和伪标签选择的uda语义分割方法，其特征在于，构建一个包含特定任务解码器、特征一致性模块和伪标签选择器的网络框架，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于可变形卷积和伪标签选择的uda语义分割方法，其特征在于，所述步骤1的过程包括：
3.根据权利要求1所述的一种基于可变形卷积和伪标签选择的uda语义分割方法，其特征在于，所述步骤2的过程包括：
4.根据权利要求1所述的一种基于可变形卷积和伪标签选择的uda语义分割方法，其特征在于，所述步骤3的过...
【专利技术属性】
技术研发人员：宋昀娜，史金龙，白素琴，钱强，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。