【技术实现步骤摘要】
本申请涉及计算机视觉领域，具体涉及一种多任务模型的训练方法、图像处理方法、装置及设备。
技术介绍
1、随着自动驾驶技术的迅速发展，鸟瞰图感知(bird's eye view,bev)已成为自动驾驶系统中的关键技术之一。bev感知通过整合来自多传感器的数据，生成统一的鸟瞰视角图像。bev感知使自动驾驶系统能够更直观和全面地理解车辆周围的环境，从而大幅提高感知精度和决策能力。
2、在自动驾驶系统中，多任务训练是一种常用策略，但是在bev多任务训练中，不同任务之间可能存在目标冲突。例如，目标检测任务需要高精度的边界框预测，而语义分割任务则需要精细的像素级分类。
3、由于bev表示是多个任务共享的中间表示，不同任务对bev表示的需求可能不同，甚至相互矛盾。这些冲突不仅影响模型的性能，还对任务的优先级和资源分配提出了严格要求，如果在训练过程中没有额外的信息指导，容易会导致模型性能下降。因此，急需一种能够应用在bev多任务训练中的训练方法。
技术实现思路
1、有鉴于此，本申请实施例至少提供一种多任务模型的训练方法、图像处理方法、装置及设备。
2、本申请实施例的技术方案是这样实现的：
3、第一方面，本申请实施例提供一种多任务模型的训练方法，训练方法包括：
4、获取与多个图像推理任务一一对应的多个初始老师模型，以及用于执行多个图像推理任务的初始学生模型；图像推理任务为基于车辆的多个环境图像进行的推理任务；每一初始老师模型所处理的图像的通道
5、基于预设的环境图像样本集，确定每一初始老师模型的第一图像特征以及初始学生模型的第二图像特征；
6、基于多个初始老师模型分别对应的第一图像特征以及初始学生模型的第二图像特征，对初始学生模型进行训练，得到训练后的学生模型。
7、本申请实施例中，先构建对应不同图像推理任务的初始老师模型，以及初始学生模型；其中，该每一初始老师模型所处理的图像的通道数相同，且多个初始老师模型所处理的图像的通道数的和，为初始学生模型所处理的图像的通道数。然后确定每一初始老师模型的第一图像特征以及初始学生模型的第二图像特征。最后，基于多个初始老师模型分别对应的第一图像特征以及初始学生模型的第二图像特征，对初始学生模型进行训练，得到训练后的学生模型。这样，通过不同的初始老师模型输出的第一图像特征，对初始学生模型进行训练，可以使得初始学生模型学习不同的初始老师模型的特征分布，从而能使单个学生模型从多个老师模型中学习不同任务之间的差异化，进而使得训练后的学生模型能够执行多个图像推理任务。
8、在一些实施例中，每一第一图像特征包括初始老师模型的第一鸟瞰图像特征，以及初始老师模型的第一特征图；第二图像特征包括初始学生模型的第二鸟瞰图像特征，以及初始学生模型的第二特征图；基于多个初始老师模型分别对应的第一图像特征以及初始学生模型的第二图像特征，对初始学生模型进行训练，包括以下至少之一：基于多个第一鸟瞰图像特征以及第二鸟瞰图像特征，对初始学生模型进行第一蒸馏训练；基于多个第一特征图以及第二特征图，对初始学生模型进行第二蒸馏训练；基于多个第一鸟瞰图像特征以及第二鸟瞰图像特征，对初始学生模型进行特征差异性训练。
9、本申请实施例中，通过第一蒸馏训练、第二蒸馏训练以及特征差异性训练至少之一的训练方式，可以使得训练后的学生模型能够向老师模型学习bev的特征分布、学习初始老师模型的任务头输出的特征分布，以及通过用老师模型的差异分布蒸馏学生模型的差异分布，促使学生模型能够获取不同任务之间的bev特征分布差异性。
10、在一些实施例中，基于多个第一鸟瞰图像特征以及第二鸟瞰图像特征，对初始学生模型进行第一蒸馏训练，包括：对初始学生模型的第二鸟瞰图像特征进行均值划分处理，得到数量与第一鸟瞰图像特征的数量相同的第二鸟瞰图像子特征；构建包括多个第一特征样本的第一特征样本集；每一第一特征样本包括第二鸟瞰图像子特征、作为第二鸟瞰图像子特征的第一标签的第一鸟瞰图像特征以及预设的第二标签；第一特征样本集中的任意两个第一特征样本中的第二鸟瞰图像子特征以及第一鸟瞰图像特征均不同；基于第一特征样本集，对初始学生模型进行第一蒸馏训练。
11、本申请实施例中，通过第二鸟瞰图像子特征、作为第二鸟瞰图像子特征的第一标签的第一鸟瞰图像特征以及预设的第二标签对初始学生模型进行第一蒸馏训练。这样，每个第二鸟瞰图像子特征接受一个老师模型的第一鸟瞰图像特征的蒸馏学习，从而使得学生模型的特征分布与老师模型一致。
12、在一些实施例中，第二特征图包括与多个图像推理任务一一对应的多个第二子特征图；基于多个第一特征图以及第二特征图，对初始学生模型进行第二蒸馏训练，包括：针对每一图像推理任务，将与图像推理任务对应的第一特征图，作为与图像推理任务对应的第二子特征图的第三标签，并将与图像推理任务对应的第二子特征图、第三标签、以及预设的第四标签作为图像推理任务的第二特征样本；基于与多个图像推理任务分别对应的第二特征样本，对初始学生模型进行第二蒸馏训练。
13、本申请实施例中，通过第二子特征图、作为第二子特征图的标签的第一特征图以及预设的第四标签对初始学生模型进行第二蒸馏训练。这样，可以使得初始学生模型的每个任务头能够接受与该任务头的任务类型对应的初始老师模型的任务头的蒸馏学习，从而使得初始学生模型的多个任务头学习初始老师模型的任务头输出的特征分布，进而能够执行对应的图像推理任务。
14、在一些实施例中，基于多个第一鸟瞰图像特征以及第二鸟瞰图像特征，对初始学生模型进行特征差异性训练，包括：对初始学生模型的第二鸟瞰图像特征进行均值划分处理，得到数量与第一鸟瞰图像特征的数量相同的第二鸟瞰图像子特征；确定多个第一鸟瞰图像特征中每两个第一鸟瞰图像特征之间的相似性，得到第一相似性矩阵；确定多个第二鸟瞰图像子特征中每两个第二鸟瞰图像子特征之间的相似性，得到第二相似性矩阵；基于第一相似性矩阵以及第二相似性矩阵，对初始学生模型进行特征差异性训练。
15、本申请实施例中，先确定每两个第一鸟瞰图像特征之间的相似性，得到第一相似性矩阵，然后确定每两个第二鸟瞰图像子特征之间的相似性，得到第二相似性矩阵。最后，通过第一相似性矩阵以及第二相似性矩阵，对初始学生模型进行特征差异性训练。这样，促使学生模型的每个鸟瞰图像特征的分布与老师模型的鸟瞰图像特征的分布更加相似，以此提升学生模型对多个任务的鸟瞰图像特征建模能力。
16、在一些实施例中，基于第一相似性矩阵以及第二相似性矩阵，对初始学生模型进行特征差异性训练，包括：确定第二相似性矩阵相对于第一相似性矩阵的偏差信息；基于第二相似性矩阵相对于第一相似性矩阵的偏差信息，对初始学生模型进行特征差异性训练。
17、本申请实施例中，过第二相似性矩阵相对于第一相似性矩阵的偏差信息，对初始学生模型本文档来自技高网...
【技术保护点】
1.一种多任务模型的训练方法，其特征在于，所述训练方法包括：
2.根据权利要求1所述的训练方法，其特征在于，每一所述第一图像特征包括所述初始老师模型的第一鸟瞰图像特征，以及所述初始老师模型的第一特征图；所述第二图像特征包括所述初始学生模型的第二鸟瞰图像特征，以及所述初始学生模型的第二特征图；
3.根据权利要求2所述的训练方法，其特征在于，所述基于多个所述第一鸟瞰图像特征以及所述第二鸟瞰图像特征，对所述初始学生模型进行第一蒸馏训练，包括：
4.根据权利要求2所述的训练方法，其特征在于，所述第二特征图包括与多个图像推理任务一一对应的多个第二子特征图；所述基于多个所述第一特征图以及所述第二特征图，对所述初始学生模型进行第二蒸馏训练，包括：
5.根据权利要求2所述的训练方法，其特征在于，所述基于多个所述第一鸟瞰图像特征以及所述第二鸟瞰图像特征，对所述初始学生模型进行特征差异性训练，包括：
6.根据权利要求5所述的训练方法，其特征在于，所述基于所述第一相似性矩阵以及所述第二相似性矩阵，对所述初始学生模型进行特征差异性训练，包括：<...
【技术特征摘要】
1.一种多任务模型的训练方法，其特征在于，所述训练方法包括：
2.根据权利要求1所述的训练方法，其特征在于，每一所述第一图像特征包括所述初始老师模型的第一鸟瞰图像特征，以及所述初始老师模型的第一特征图；所述第二图像特征包括所述初始学生模型的第二鸟瞰图像特征，以及所述初始学生模型的第二特征图；
3.根据权利要求2所述的训练方法，其特征在于，所述基于多个所述第一鸟瞰图像特征以及所述第二鸟瞰图像特征，对所述初始学生模型进行第一蒸馏训练，包括：
4.根据权利要求2所述的训练方法，其特征在于，所述第二特征图包括与多个图像推理任务一一对应的多个第二子特征图；所述基于多个所述第一特征图以及所述第二特...
【专利技术属性】
技术研发人员：郑少飞，
申请(专利权)人：重庆长安科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。