【技术实现步骤摘要】
本专利技术属于自动驾驶，更具体地，涉及一种自动驾驶视觉联合感知方法、装置及介质。
技术介绍
1、自动驾驶技术可有效辅助城市交通综合治理，实现车辆管理的安全化、智能化与网联化，为相关产业的可持续发展及社会的和谐稳定提供有力支撑。作为自动驾驶系统关键组成部分，视觉感知技术可捕获交通场景中车辆周围环境信息，为控制系统反馈充足精确的先验信息，辅助驾驶车辆作出安全决策，在智能车联网等领域具有重要应用价值。
2、自动驾驶视觉感知技术主要包括目标检测、可行驶区域分割、车道线检测等不同任务。得益于深度学习技术在视觉驾驶感知方面的广泛应用，目标检测、可行驶区域分割及车道线检测算法均取得一定进展，为后续车辆决策发挥了至关重要的作用。从场景理解目标来看，目标检测技术主要提供驾驶场景中的行人、车辆等交通目标的相对位置信息；可行驶区域分割及车道线检测技术主要提供驾驶环境中的车道具体划分方式及可行驶判断信息，通常可建模为语义分割任务。三项任务相互独立，但又存在极强的特征关联性。采用多个复杂单任务模型对各项场景任务进行推理，虽然可满足不同任务所关注的特征需求，但也会耗费大量时间及计算资源。在真实多变的交通环境中，驾驶车辆需快速作出安全准确的行车决策，而移动端车载系统的有限计算资源及内存，在一定程度上限制了自动驾驶视觉感知模型的算法复杂度，因此自动驾驶视觉感知系统需实现算法实时性与准确性的有效权衡。
3、在此背景下，多任务学习为性能与效率的有效权衡提供可能。相较于单任务算法，多任务学习算法可根据多个任务间互补性，在网络分支间共享编码特征
技术实现思路
1、提供了本专利技术以解决现有技术中存在的上述问题。因此，需要一种自动驾驶视觉联合感知方法、装置及介质，以同时实现目标检测、可行驶区域分割及车道线检测。针对目标检测中存在的分类与定位任务需求差异及冲突问题，根据任务解耦思想建立分类与定位分支，基于共享特征输入，采用不同特征编码方式，分别对两类任务预测输入进行特异性设计，缓解任务间特征粒度冲突。同时在定位部分增加辅助交并比(intersection overunion，iou)感知预测分支，加强两类任务间关联，并提高定位子任务的贡献比重，从而提升定位精度。针对可行驶区域分割及车道线检测任务中像素掩码分割粗糙问题，采用特征解耦思想进行空间特征分离重构，对预测目标的低频主体部分及高频边缘部分分解建模，通过边缘损失函数引导前景目标局部训练学习，从而提升整体预测性能。
2、根据本专利技术的第一方案，提供了一种自动驾驶视觉联合感知方法，所述方法包括：
3、根据交通道路图像获得不同层次骨干特征，将不同层次骨干特征进行聚合，得到多尺度特征，基于动态卷积自适应所得到的各级特征加权系数，对所述多尺度特征进行加权求和，得到多尺度融合编码特征；
4、构建目标检测解码网络，所述目标检测解码网络包括分类分支和定位分支，所述目标检测解码网络以所述多尺度融合编码特征作为输入，并基于所述多尺度融合编码特征生成上下文编码特征和多层级空间纹理细节编码特征，将所述上下文编码特征和多层级空间纹理细节编码特征分别输入至所述分类分支和定位分支进行预测以得到分类特征和定位特征，并采用iou感知预测分支进行辅助学习；
5、构建双分支语义分割解码网络，所述双分支语义分割解码网络利用所述多尺度融合编码特征中的低分辨率特征与高分辨率特征作为输入，并分别送入至低分辨率分支与高分辨率分支中，通过所述低分辨率分支与高分辨率分支分别获取低频主体特征以及高频边缘特征，将所述低频主体特征和高频边缘特征进行融合，得到目标特征，采用边缘损失函数及整体分割损失函数引导所述双分支语义分割解码网络进行训练学习。
6、进一步地，通过如下方法生成所述上下文编码特征：
7、获取多尺度融合编码特征fl、fl+1，l表示融合特征所处特征层级，其中fl为原图分辨率1/16的融合特征，fl+1为原图分辨率1/32的融合特征；
8、对fl+1进行下采样得到下采样特征fl+2，其中fl+2为原图分辨率1/64的融合特征；
9、将fl、fl+1、fl+2作为多尺度特征输入，实现l+n金字塔层级的语义上下文特征编码，得到上下文编码特征f'l+n：
10、
11、其中，n＝[0,1,2]，cbs表示由步长为1的1×1卷积层、批量归一化层及激活函数层组成的卷积归一化激活函数组合模块进行处理的过程，fdown表示步长为2的1×1卷积下采样层。
12、进一步地本文档来自技高网...
【技术保护点】
1.一种自动驾驶视觉联合感知方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过如下方法生成所述上下文编码特征：
3.根据权利要求2所述的方法，其特征在于，通过如下方法得到分类特征：
4.根据权利要求1所述的方法，其特征在于，通过如下方法生成所述多层级空间纹理细节编码特征：
5.根据权利要求4所述的方法，其特征在于，所述定位分支包括回归分支freg(·)、目标置信度分支fobj(·)及IoU感知预测分支fIoU(·)，通过如下方法得到定位特征：
6.根据权利要求5所述的方法，其特征在于，所述采用IoU感知预测分支进行辅助学习，包括：
7.根据权利要求1所述的方法，其特征在于，利用所述多尺度融合编码特征中的低分辨率特征与高分辨率特征作为输入，并分别送入至低分辨率分支与高分辨率分支中，通过所述低分辨率分支与高分辨率分支分别获取低频主体特征以及高频边缘特征，将所述低频主体特征和高频边缘特征进行融合，得到目标特征，包括：
8.根据权利要求7所述的方法，其特征在于，采用边缘损失函
9.一种自动驾驶视觉联合感知方法装置，其特征在于，所述装置包括：
10.一种可读存储介质，其特征在于，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的方法。
...【技术特征摘要】
1.一种自动驾驶视觉联合感知方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过如下方法生成所述上下文编码特征：
3.根据权利要求2所述的方法，其特征在于，通过如下方法得到分类特征：
4.根据权利要求1所述的方法，其特征在于，通过如下方法生成所述多层级空间纹理细节编码特征：
5.根据权利要求4所述的方法，其特征在于，所述定位分支包括回归分支freg(·)、目标置信度分支fobj(·)及iou感知预测分支fiou(·)，通过如下方法得到定位特征：
6.根据权利要求5所述的方法，其特征在于，所述采用iou感知预测分支进行辅助学习，包括：
7.根据权利要求1所述...
【专利技术属性】
技术研发人员：王越，庞彦伟，曹家乐，孙学斌，王建，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。