【技术实现步骤摘要】
本专利技术涉及图像语义分割模型域迁移的，具体涉及自动驾驶场景下的语义分割模型的跨数据域迁移。
技术介绍
1、自动驾驶是提高交通效率，减少交通事故，提升驾驶舒适性和促进节能环保的有效途径。要求加强自动驾驶汽车的研发，自动驾驶汽车通过传感器从车辆周围获取与驾驶相关数据，并将其转换为具体的语义信息，以便进一步做定位、决策、规划与控制等任务。自动驾驶的发展离不开道路场景的语义理解。语义分割是自动驾驶汽车道路场景语义理解的核心技术之一，语义分割能够对道路场景进行更加精细和全面的解析，语义分割已经被应用在自动驾驶的多个任务当中。
2、随着深度学习技术的兴起，针对自动驾驶场景解析的语义分割方法已经取得了长足进步，并被应用于实际生活生产中。目前，多数基于深度学习模型的语义分割方法，由编码器与解码器两部分组成，并通过有监督的方式进行训练，需要大量含有真值标签的数据。因此，人们针对不同的驾驶场景收集了大量的训练数据并进行人工标注。目前基于深度学习模型的语义分割方法大多需要大量的标注数据进行训练，自动驾驶不同场景下的数据标注需要耗费大量的资源。随着自动驾驶应用场景的增加，需要在不同的场景下对数据进行标注，以保证基于语义分割的场景解析模型的性能。大量数据的人工标注进一步增加了场景解析技术的应用成本。此外，在真实的驾驶环境中存在各种复杂的场景，为保证模型对于各种复杂场景的解析性能，需要在模型的训练数据中添加多种场景的标注数据。然而，一些复杂场景数据的获取难度大、成本高。高昂数据标注成本与日渐增加的多样场景解析需求之间的冲突，制约着语义分割模型
3、随着自动驾驶技术的不断推广，语义分割模型所面临的驾驶场景也更为复杂，直接将训练好的语义分割模型用于新的驾驶场景，其场景解析性能会出现明显的下降，如果对新场景下的数据进行人工标注后对模型重新进行监督训练，虽然可以保证模型的场景解析性能，但人工数据标注所带来的巨大人力成本会限制基于语义分割的场景解析模型的应用范围，进而制约自动驾驶技术的应用与发展。针对这一问题，语义分割的域迁移算法通过无监督的方式实现语义分割模型由现有带标注驾驶场景数据向新的无标注数据驾驶场景的迁移。目前主流的语义分割的域迁移算法多基于对抗学习实现。导致语义分割模型在跨数据域迁移后出现性能下降的主要原因是，不同场景下的图像存在因光照条件、气象条件、建筑风格等客观因素所带来的数据分布差异，这种数据分布的偏移会导致语义分割模型所学习到的映射关系在新的数据域下无法适用，进而导致了模型性能的下降。基于对抗学习的语义分割域迁移算法通过引入生成器与鉴别器的对抗训练实现模型对于不同域下数据映射分布的对齐。不同数据域下的数据分别输入到生成器中进行特征映射，之后将特征映射的结果输入到鉴别器中进行区分，通过生成器与鉴别器的迭代对抗训练，不同域下的数据在映射空间上的分布被对齐，进而实现语义分割模型对于不同域下数据的有效分割，即语义分割模型的跨数据域迁移。然而，目前主流基于对抗学习的语义分割域迁移算法在实际应用中仍存在不足。相较于单数据域的语义分割，模型在域迁移过程中需要面临两个域下的多种类别关系，特征的映射聚类关系也更为复杂。不同数据域下的不同类别目标在特征映射空间上的分布偏离存在差异，反映在语义分割结果上体现为迁移后的模型在不同类别上的语义分割模型性能会出现不同程度的损失。例如在真实的驾驶环境中，天空、道路这些类别随着驾驶场景的改变发生数据分布迁移的程度相对较小，相反建筑、车辆等类别随着驾驶场景的改变，其数据分布会出现较大的数据分布偏移。现有的基于对抗训练的域迁移算法在进行对抗学习训练时忽略了这一客观数据分布差异，不同类别目标进行统一的数据分布对齐时可能对某些数据分布差异较小的类别引入额外的数据分布差异，进而导致了域迁移算法对于语义分割模型跨域迁移后的性能提升有限，对于个别的语义类别甚至会出现较为明显的分割性能下降，进而影响模型整体的语义分割性能。
技术实现思路
1、针对上述问题，本专利技术提出了一种基于熵值图的自动驾驶场景语义分割模型的域迁移算法，实现了在无标注数据的情况下对基于编码器-解码器结构的自动驾驶场景语义分割模型进行跨数据域迁移，并保证模型的语义分割性能。
2、本专利技术在基于对抗训练的语义分割域迁移算法中引入了熵值图来缓解这一问题。信息熵的大小反映了数据中包含信息量的大小，通过对于分类网络的原始输出求熵值可以间接反映出模型对于分类结果的置信度大小。本专利技术对于语义分割模型的原始输出中的每个像素点求取其熵值，获得与输入图像对应的分类熵值图。某一像素点的熵值大小反映了模型对于该像素点的分类结果置信度的大小，该像素点的熵值大，表明模型对于该点的分类结果置信度低。同时，分类结果的置信度大小可以侧面反映出该模型对于不同域下数据映射偏移程度的大小，空间位置上数据分布偏移大的像素点，分割模型会对其给予较低的分类置信度，即更大的熵值。由此，熵值图不同空间位置熵值的大小可以间接反映出数据分布偏移的大小，进而利用熵值图实现了不同域下数据分布差异的量化。
3、之后，本专利技术以熵值图作为权重，引入了鉴别器注意力机制，熵值图反映了数据分布差异的大小，利用熵值图生成权重图对于输入到鉴别器中的特征进行加权，进而引导鉴别器对于数据分布差异大的像素点给予更大的关注，实现域适应算法对于特征图不同空间位置的差异化对齐。
4、本专利技术技术方案：
5、一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，包括以下步骤：
6、步骤1，获取带标注的源域数据集与不带标注的目标域数据集
7、步骤2，将源域图像与目标域图像分别输入特征提取网络(编码器)ge提取特征，获得源域图像特征fs和目标域图像特征ft
8、步骤3，将源域图像特征fs和目标域图像特征ft分别输入到特征鉴别器df获取特征的域预测结果并计算特征鉴别器损失，之后利用该损失分别优化特征提取网络与特征鉴别器。
9、步骤4，将源域图像特征fs输入到分类器(解码器)p中获取源域图像语义预测结果，并计算源域图像语义预测结果的语义分割损失，优化特征提取网络与分类器。
10、步骤5，将目标域图像特征ft输入到分类器(解码器)中获取目标域图像语义预测结果，根据目标域图像语义预测结果生成其对应的熵值图，并作为注意力机制权重。
11、步骤6，将注意力机制权重与目标域图像特征ft相乘并将加权后的目标域图像特征与源域图像特征fs输入到分类鉴别器中，并计算分类鉴别器损失，之后分别优化语义分割网络与分类鉴别器。
12、步骤7，多次迭代上述步骤实现语义分割模型的跨数据域迁移，当训练流程迭代次数达到设定值时，结束模型的训练，输出域迁移后的语义分割算法。
13、本专利技术所提出的用于自动驾驶场景解析语义分割模型域迁移方法主要由三部分组成：特征级的域间数据对齐、基于熵值图的鉴别器注意力加权、输出级的域间数据对齐。
14、特征级的域间数据对齐：存在于不同域间的数据分布存差异是造成本文档来自技高网...
【技术保护点】
1.一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，包括以下步骤：
2.如权利要求1所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，步骤5中，将步骤2中经由特征提取器GE获得的源域特征ft输入到解码器P中获得目标域图像的预测结果pt，即pt＝P(ft)；之后，对于获取的目标域图像预测结果利用下述公式获取其对应的熵值图：
3.如权利要求1所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，所述特征提取网络采用ResNet101作为特征提取网络来提取特征图，ResNet101由多个交替的残差块组成，每个残差块由2个大小为1×1的卷积和1个3×3的卷积所组成。
4.如权利要求1所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，步骤3具体为：将步骤2中得到的源域图像特征fs和目标域图像特征ft输入到特征鉴别器DF中，根据特征鉴别器的预测结果计算特征鉴别器损失，所述特征鉴别器损失采用均方差损失，之后通过最小化特征鉴别器损失来优化特征提取网络GE与特征鉴别器DF；
5.如权利
6.如权利要求1所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，步骤4具体为：将步骤2中经由特征提取器GE获得的源域特征fs输入到分类器(解码器)P中获得源域图像的预测结果ps，即ps＝P(fs)，之后根据源域数据的预测结果计算语义分割损失；
7.如权利要求1所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，步骤6具体为：将获得源域数据预测结果ps与加权后的目标域预测结果分别输入到分类鉴别器DC中获得其对应的数据域预测结果，其中分类鉴别器由5层卷积堆叠而成，其通道数分别为{64，128，256，512，1}，卷积核的大小、填充大小以及步长分别为4、1、2；之后根据分类鉴别器的预测结果计算鉴别器损失，如下公式所示：
8.如权利要求6所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，λf和λc分别取0.001与0.002。
9.如权利要求1所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，步骤7具体为：利用目标域和源域中的数据按照步骤1～步骤6进行循环迭代训练来优化网络；其中特征提取网络GE与分类器P采用随机梯度下降算法进行优化，权重衰减设置为2.5×10-4，动量设置为0.9，特征鉴别器与分类鉴别器采用Adam算法作为优化器，其初始学习率设置为10-4，其中β1＝0.9，β2＝0.99，动量设置为0.9。
...【技术特征摘要】
1.一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，包括以下步骤：
2.如权利要求1所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，步骤5中，将步骤2中经由特征提取器ge获得的源域特征ft输入到解码器p中获得目标域图像的预测结果pt，即pt＝p(ft)；之后，对于获取的目标域图像预测结果利用下述公式获取其对应的熵值图：
3.如权利要求1所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，所述特征提取网络采用resnet101作为特征提取网络来提取特征图，resnet101由多个交替的残差块组成，每个残差块由2个大小为1×1的卷积和1个3×3的卷积所组成。
4.如权利要求1所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，步骤3具体为：将步骤2中得到的源域图像特征fs和目标域图像特征ft输入到特征鉴别器df中，根据特征鉴别器的预测结果计算特征鉴别器损失，所述特征鉴别器损失采用均方差损失，之后通过最小化特征鉴别器损失来优化特征提取网络ge与特征鉴别器df；
5.如权利要求4所述一种基于熵值图的自动驾驶场景语义分割模型域迁移方法，其特征在于，所述特征鉴别器由6层卷积操作堆叠而成，其通道数分别为{1024，512，256，128，64，1}，其中卷积核大小，填充以及卷积步长分别为3，1，1。
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。