【技术实现步骤摘要】
本专利技术涉及自动驾驶的点云分割，具体涉及一种基于车车协同的点云语义分割方法。
技术介绍
1、目前基于单车感知的自主式无人驾驶系统取得较大的进展，然而面对一些具有挑战性的场景表现欠佳，例如拥堵路口的视野盲区、高速场景下远距离障碍物识别等，这些因素严重威胁无人驾驶行车安全，成为了阻碍车辆自动化达到l5级别的关键瓶颈。仅通过配备更多配备高保真传感器，一方面造成了昂贵的成本，另一方面所带感知精度提升有限。
2、得益于更好的通信基础设施建设和v2x通信等通信技术的发展，车辆之间可以以可靠的方式交换消息，从而实现它们之间的协作。通过不同位置车辆感知信息的共享，可极大地拓展车辆的感知范围，同时对于多车感知重叠区域的冗余信息融合，有助于进一步提升系统的感知精度。同时考虑到点云语义分割作为自动驾驶环境感知的基本任务之一，可提供丰富的几何形状、大小信息，同时提供语义信息，可用于后续高精度语义地图的构建以及为控制规划等下游模块提供基础目前车车协同感知领域处于探索阶段，且目前大部分的协同感知任务主要以目标检测为主，针对协同语义分割模型的工作较为缺乏。
技术实现思路
1、鉴于上述问题，本专利技术提供了一种基于车车协同的点云语义分割方法，解决了现有技术中基于单车环境感知的存在感知精度低、感知范围小的技术问题。
2、本专利技术提供了一种基于车车协同的点云语义分割方法，包括如下步骤：
3、步骤s1、多个车辆分别采集点云数据；基于位姿信息，通过坐标转换将第二车辆的点云数据转换到
4、所述第一车辆为所述多个车辆中的一个车辆，所述第二车辆为所述多个车辆中除所述第一车辆以外的其他车辆；
5、步骤s2、对坐标转换后的第二车辆的点云数据和第一车辆的点云数据进行鸟瞰图特征提取处理，得到所述多个车辆的鸟瞰图特征；
6、步骤s3、构建协同点云语义分割模型，对所述多个车辆的鸟瞰图特征进行编码器特征提取、自注意力机制特征融合和解码器分割头输出，得到鸟瞰图视角下所述多个车辆的点云数据的语义类别，作为协同点云语义分割结果。
7、优选地，步骤s1具体包括：
8、步骤s1-1、根据所述多个车辆的位姿信息，确定所述多个车辆的坐标系到世界坐标系的坐标转换矩阵；
9、步骤s1-2、基于第二车辆的坐标系到世界坐标系的坐标转换矩阵和第一车辆的坐标系到世界坐标系的坐标转换矩阵，得到第二车辆到第一车辆的坐标系的坐标转换矩阵；
10、步骤s1-3、基于所述第二车辆到第一车辆的坐标系的坐标转换矩阵，将第二车辆的点云数据中各点云的坐标转换到第一车辆的坐标系下。
11、优选地，步骤s1-1具体包括：
12、基于车辆位姿信息中的翻滚角、俯仰角、偏航角以及在世界坐标系中的空间坐标值，通过以下方式建立车辆的坐标系到世界坐标系的坐标转换矩阵r：
13、
14、其中r，p，h分别为车辆的位姿信息中的翻滚角、俯仰角以及偏航角，(xc，yc，zc)为车辆在世界坐标系中的空间坐标值。
15、优选地，步骤s1-2具体包括：
16、通过以下方式计算第二车辆到第一车辆的坐标系的坐标转换矩阵m：
17、m＝rc×re-1
18、其中，rc为第二车辆的坐标系到世界坐标系的坐标转换矩阵、re-1为第一车辆的坐标系到世界坐标系的坐标转换矩阵的逆矩阵。
19、优选地，步骤s1-3具体包括以如下方式进行坐标转换：
20、
21、其中mij(1≤i≤3，1≤j≤4)代表矩阵m中的元素，i，j分别为矩阵m的行列索引，(x，y，z)表示坐标转换前的第二车辆的点云坐标，(x′，y′，z′)表示对应坐标转换后的点云坐标。
22、优选地，步骤s2具体包括：
23、(1)对点云数据中的点云坐标按照如下公式进行bev投影：
24、
25、其中，x′，y′为坐标转换后的点云坐标，(u，v)表示点云坐标对应到bev图像上的像素坐标，w、h分别表示bev图像的宽度和高度，mmin(·)，max(·)分别表示取最小值运算和取最大值运算；
26、(2)将bev图像的像素坐标按照对应点云数据的高度信息zn进行排序，其中n为点云数据的索引，对bev图像进行像素值的归一化处理、边缘像素修正以及有效像素点筛选处理，获取各车辆的bev特征，所述bev特征包括点云数据的三维坐标、深度信息和反射率。
27、优选地，步骤s3具体包括：
28、步骤s3-1、各车辆的鸟瞰图特征经过特征提取器进行编码器特征提取，获取各车辆的中间特征；
29、步骤s3-2、通过中间特征融合网络，对各车辆的中间特征进行自注意力机制特征融合，获取融合特征；
30、步骤s3-3、通过解码器分割头对融合特征进行分类，获取所述多个车辆的点云数据的语义类别。
31、优选地，步骤s3-1具体包括：特征提取器具体为基于残差连接的编码器，编码器包括顺序连接的三个全局上下文模块和四个残差空洞卷积模块；
32、所述全局上下文模块的输入数据经过1×1扩张卷积块、非线性激活函数、两个3×3扩张卷积块后，与所述非激活函数的输出相加，作为全局上下文模块的输出；
33、所述残差空洞卷积模块的输入数据经过1×1扩张卷积块、两个3×3扩张卷积块以及2×2扩张卷积块后，与两个3×3扩张卷积块的输出进行拼接，再经过1×1卷积计算，与所述1×1扩张卷积块的输出相加，最后经过平均池化和随机丢弃，得到残差空洞卷积模块的输出。
34、优选地，步骤s3-2具体包括：中间特征融合网络包括顺序连接的三个特征融合模块；所述特征融合模块将特征提取器输出的中间特征作为输入，经过形状变化和转置等操作后获取q、k、v矩阵，然后计算关联矩阵an×n和输出矩阵o：
35、
36、o＝an×n·v
37、其中，n表示车辆的数目，softmax(·)，dim＝0表示按照矩阵的行进行归一化处理，dk为键矩阵的维度；q、k、v分别为查询矩阵、键矩阵和值矩阵；输出矩阵o经过形状变换和转置后作为中间特征融合网络输出的融合特征。
38、优选地，步骤s3-3具体包括：解码器包含顺序连接的三个解码器模块；所述解码器模块的输入数据经过像素洗牌和随机丢弃后，与编码器中的残差空洞卷积模块的输出通过跳连接的方式进行拼接，然后经过随机丢弃、两个3×3扩张卷积块以及2×2扩张卷积块后，与两个3×3扩张卷积块的输出进行拼接，作为解码器模块的输出；分割头对解码器模块的输出进行卷积核大小为1×1的卷积计算和随机丢弃得到分割头的输出logit，然后通过以下方式计算像素类分类结果：
39、psm＝softmax(logit)，dim＝1
40、其中logit代表分割头的输出，softmax(·)，dim＝1表示按照本文档来自技高网...
【技术保护点】
1.一种基于车车协同的点云语义分割方法，其特征在于，包括如下步骤：
2.根据权利要求l所述的基于车车协同的点云语义分割方法，其特征在于，步骤S1具体包括：
3.根据权利要求2所述的基于车车协同的点云语义分割方法，其特征在于，步骤S1-1具体包括：
4.根据权利要求3所述的基于车车协同的点云语义分割方法，其特征在于，步骤S1-2具体包括：
5.根据权利要求4所述的基于车车协同的点云语义分割方法，其特征在于，步骤S1-3具体包括，以如下方式进行坐标转换：
6.根据权利要求5所述的基于车车协同的点云语义分割方法，其特征在于，步骤S2具体包括：
7.根据权利要求1-6中任一项所述的基于车车协同的点云语义分割方法，其特征在于，步骤S3具体包括：
8.根据权利要求7所述的基于车车协同的点云语义分割方法，其特征在于，步骤S3-1具体包括：
9.根据权利要求8所述的基于车车协同的点云语义分割方法，其特征在于，步骤S3-2具体包括：
10.根据权利要求9所述的基于车车协同的点云语义分割方法，
...【技术特征摘要】
1.一种基于车车协同的点云语义分割方法，其特征在于，包括如下步骤：
2.根据权利要求l所述的基于车车协同的点云语义分割方法，其特征在于，步骤s1具体包括：
3.根据权利要求2所述的基于车车协同的点云语义分割方法，其特征在于，步骤s1-1具体包括：
4.根据权利要求3所述的基于车车协同的点云语义分割方法，其特征在于，步骤s1-2具体包括：
5.根据权利要求4所述的基于车车协同的点云语义分割方法，其特征在于，步骤s1-3具体包括，以如下方式进行坐标转换：
【专利技术属性】
技术研发人员：周彬，徐康，杨洋，王昊，王章宇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。