【技术实现步骤摘要】
本专利技术涉及一种基于transformer的结构化道路自动驾驶商用车全局定位方法，属于汽车行驶定位。
技术介绍
1、随着技术的不断进步，自动驾驶系统的性能和稳定性得到了极大的提升。而商用车率先使用全系列自动驾驶系统以服务于物流运输、公共交通以及城市服务，如园区物流自动配送、城市智能公交车、自动驾驶出租车等。商用车自动驾驶技术的应用对于降低人力成本、提高运输效率、提高行驶安全性都有明显作用。随着自动驾驶技术的不断进步，商用车自动驾驶的商业化应用将进一步加速。而高精度定位信息是车辆自主导航与路径规划的前提，是自动驾驶策略的重要一环。并且对于商用车自动驾驶而言，准确的定位信息更为重要，因为它们需要更加准确的识别每个关键点位置。对于行驶在城市结构化道路商用车而言，全球定位系统(gps)是车辆定位的主流方法，但定位精度为米级，无法满足智能车的定位精度需求。全球卫星导航系统(gnss)/实时运动学(rtk)是一种能够实现厘米级定位精度的车辆定位方法。然而卫星信号对城市建筑与树木遮挡敏感，定位信号容易缺失，且信号基站建设成本较高，大大提高了商用车自动驾驶的成本，无法广泛用于结构化道路的全局定位。
2、目前在结构化道路场景下，主流的高精度定位方法为基于高精地图、slam或者高精度惯性导航，但也有着高成本或者存在累计误差的缺点。随着计算机视觉与深度学习的不断发展，低成本的相机传感器成为实现高精度定位技术的主要研究对象。但相机采集到的信息往往带有不稳定的定位特征，如行人、车辆以及其他多变的特征，具有稳定且可靠定位特征的物体，如路缘、车
技术实现思路
1、专利技术目的：针对现有技术中存在的不足，本专利技术提供了一种基于transformer的结构化道路自动驾驶商用车全局定位方法，通过预先采集的道路真实场景图像与真实位姿信息，对所搭建的深度学习网络进行训练，以实现车辆在结构化道路场景中实现高精度自定位。
2、技术方案：一种基于transformer的结构化道路自动驾驶商用车全局定位方法，包括以下步骤：
3、步骤1、图像采集、图像处理、数据集制作：
4、采集目标城市道路的图像特征，包括路、车道线、道路标记、红绿灯、交通标志、杆、人行道、建筑和树木，同时记录每张图像的位置信息；对图像进行像素预处理，即将原始图像重塑为513×513大小，将重塑大小的图像组成训练与测试网络的数据集；
5、步骤2、网络模型建立，包括以下三部分：
6、第一部分网络模型为感知道路结构信息模型，结构化道路包含大量不变结构信息，比如路、车道线、道路标记、红绿灯、交通标志、杆、人行道、建筑和树木，通过deeplabv3plus语义分割网络对重塑大小后的原始图像进行语义分割，旨获取道路结构信息。在原始deeplabv3plus语义分割网络模型基础上，引入注意力模块；在原始deeplabv3+模型的编码器中，骨干网络产生的高级特征直接被送入aspp，aspp模块使用具有不同采样率的多个并行空洞卷积层，为每个采样率提取的特征在单独的分支中进一步处理，并融合以生成最终结果。aspp方法从图像中获取多尺度特征，获得图像上下文信息。但由于aspp结构过大的膨胀率会丢失空间图像信息，无法较好的对图像边缘特征提取，即在aspp模块后添加psa模块，psa模块由通道注意力与空间注意力组成，增加重要信息的提取，提高模型对信息的利用率；
7、第二部分网络模型为图像空间特征提取模型，通过transformer可变自注意机制从图像中提取鲁棒的位置特征信息并对这些特征进行编码；
8、当面对连续相似场景时，相似场景图像特征向量互相进行余弦计算，当余弦值在0.4～0.6时，可证明特征提取模型的有效性；
9、采用基于swin transformer滑动窗口的整体架构，去除最后的全连接层，输出768维特征向量，此向量可以看作待定位图像的特征向量；
10、第三部分网络模型为全局位姿预测模型，将特征编码器输出的768维特征向量作为时序网络的输入，lstm长短期记忆网络在时序数据的有强大学习能力，lstm通过引入“门”的概念来控制信息的传递，从而使其能够捕捉和记忆长时间间隔的图像特征向量的依赖关系，从而更加准确预测车辆的定位信息；
11、步骤3、网络模型的训练：
12、根据步骤2中的检测道路关键信息模型、图像空间特征提取模型和全局位姿预测模型，分别进行单独训练；将步骤1采集的图像数据按照3：1：1的比例分别划分为训练集、验证集和测试集；
13、步骤4、车辆位姿的定位，包括：
14、使用扩展卡尔曼滤波对imu与网络输出定位结果进行集成，获得车辆位姿状态变量为其中xi,yi,分别为车辆在二维平面车辆位置与航向角。
15、所述步骤2中注意力模块包含通道注意力与空间注意力两部分，其中通道注意力权重计算为：
16、
17、式中σ1σ2代表1×1卷积，fsm代表softmax函数，代表1×1卷积与ln层，将通道维数由c/2提升至c，fsg代表sigmoid函数；
18、空间注意力权重计算为：
19、asp(x)＝fsg[σ3(fsm(σ1(fgp(wq(x))))×σ2(wv(x)))] (2)
20、式中σ1σ2σ3代表1×1卷积，fsm代表softmax函数，fgp代表全局池化，fsg代表sigmoid函数，采用串联结构，既特征图x先进行通道注意力计算，再进行空间注意力计算。
21、所述步骤2中swin transformer全部使用自注意力机制，既：
22、q＝xwq,k＝xwk,v＝xwv (3)
23、
24、z＝concat(z(1),...,z(m))wo (5)
25、式中x为原始输入图本文档来自技高网...
【技术保护点】
1.一种基于Transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于Transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于：
3.根据权利要求2所述的基于Transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于：
4.根据权利要求3所述的基于Transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于：
5.根据权利要求4所述的基于Transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于：
6.根据权利要求5所述的基于Transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于，所述步骤4具体为：
【技术特征摘要】
1.一种基于transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于：
3.根据权利要求2所述的基于transformer的结构化道路自动驾驶商用车全局定位方法，其特征在于：
4....
【专利技术属性】
技术研发人员：李祎承，袁庆桐，蔡英凤，刘泽，王建强，廉玉波，陈龙，袁朝春，
申请(专利权)人：江苏大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。