一种基于点云弱监督的实例分割方法技术

本发明专利技术涉及一种基于点云弱监督的实例分割方法，包括：将激光雷达点云投影到图像平面形成投影点云；对投影点云进行提纯，去除因激光雷达和相机之间的视差导致的重叠点得到提纯点云；将提纯点云中的点分配前景标签/背景标签；以及以具有前景标签/背景标签的提纯点云为监督信号训练分割器，并利用分割器进行实例分割预测掩码。例分割预测掩码。例分割预测掩码。

【技术实现步骤摘要】
一种基于点云弱监督的实例分割方法


[0001]本专利技术涉及人工智能领域，尤其涉及一种基于点云弱监督的实例分割方法。

技术介绍

[0002]近年来，自动驾驶系统越来越受到学术界和工业界的重视。现有的图像实例分割技术通常利用有监督学习的方法训练深度学习模型，从而在推断时能够对图片生成代表其实例分割结果的实例掩码(Instance Mask)。而高质量的实例分割技术能够对自动驾驶系统提供显著的帮助，例如一些算法利用实例分割结果来将激光雷达和图像数据进行融合，从而提高跨模态三维目标检测的性能。
[0003]然而，为了实现有监督学习，对训练数据集进行实例分割标注的成本极高，尤其是在自动驾驶场景下，图像内通常包含了大量的人、车、非机动车以及其他障碍物等实例。想要对数以百万的训练样本完成高质量的标注通常需要投入大量的人力物力。现有的有监督实例分割方法如Mask R
‑
CNN和CondInst等，都严重依赖于人工标注的质和量，使得这些方法难以利用较大规模的数据。
[0004]为了降低成本，人们开发出了弱监督实例分割方法，如BoxInst方法和PointSup方法等。而弱监督实例分割方法都利用了部分人工标注，尽管其成本较低，但仍然需要安排额外的人力和时间进行人工标注，并且弱监督实例分割方法的性能较低。因此，需要进一步研究成本低且有效的实例分割技术。

技术实现思路

[0005]本专利技术的任务是提供一种基于点云弱监督的实例分割方法，能够直接利用激光雷达采集的点云指导实例分割模型的弱监督训练，而不需要对图像进行完整的掩码标注，实现在不引入额外人工标注成本的情况下，进一步提高弱监督实例分割模型的性能。
[0006]在本专利技术的第一方面，针对现有技术中存在的问题，本专利技术提供一种基于点云弱监督的实例分割方法来解决，包括：
[0007]将激光雷达点云投影到图像平面形成投影点云；
[0008]对投影点云进行提纯，去除因激光雷达和相机之间的视差导致的重叠点得到提纯点云；
[0009]将提纯点云中的点分配前景标签/背景标签；以及
[0010]以具有前景标签/背景标签的提纯点云为监督信号训练分割器，并利用分割器进行实例分割预测掩码。
[0011]在本专利技术的一个实施例中，在所述将激光雷达点云映射到图像平面形成投影点云的步骤之前，还包括：输入图像，通过图像特征提取器提取图像特征，其中图像特征作为训练分割器的输入特征；以及
[0012]标注图像中物体的三维包围盒。
[0013]在本专利技术的一个实施例中，在训练分割器时，采用点误差损失函数和图一致性损
失函数来约束分割器的输出。
[0014]在本专利技术的一个实施例中，其中将激光雷达点云投影到图像平面形成投影点云包括：
[0015]激光雷达点云在齐次坐标系下表示为通过变换矩阵将所述激光雷达点云从激光雷达坐标系投影到相机坐标系下，再通过相机矩阵进一步投影到图像平面形成投影点云，其中投影点云为：
[0016][0017]其中是所述激光雷达点云投影到图像平面后在齐次坐标表示下的点的集合。
[0018]在本专利技术的一个实施例中，其中对投影点云进行提纯，去除因激光雷达和相机之间的视差导致的重叠点得到提纯点云包括：
[0019]将投影到图像平面得到的每个像素P
2d
和其对应的激光雷达点的深度真值组成稀疏深度图以及
[0020]使用一个二维滑动窗口来遍历整张稀疏深度图，在每一个窗口内，投影点云根据相对深度被分割成临近点和远距点其中相对深度超过深度阈值的点为远距点相对深度未超过深度阈值的点为临近点
[0021][0022]其中p(x,y)表示在二维滑动窗口中一个坐标为(x,y)的像素对应的激光雷达点云中的点，τ
depth
表示深度阈值，采用所述深度阈值能够过滤掉距离较远的点，d(x,y)表示坐标为(x,y)的像素对应的深度值，d
min
和d
max
分别表示在二维滑动窗口内的最小深度值和最大深度值；
[0023]通过计算临近点中的最小包络范围，将邻近点的最小包络范围内距离较远的点作为重叠点去除，得到提纯提纯点云其中重叠点为：
[0024][0025]其中x
min
,x
max
是临近点中在x轴上的最小值和最大值，y
min
,y
max
是临近点中在y轴上的最小值和最大值。
[0026]在本专利技术的一个实施例中，其中将提纯点云中的点分配前景标签/背景标签包括：
[0027]根据所述提纯点云和所述三维包围盒之间的位置关系，将所述提纯点云分为在三维包围盒内的点和在三维包围盒外的点在三维包围盒内的点作为正样本，并分配前景标签，将中围绕在所述三维包围盒附近的一部分点作为负样本，分配背景标签，其中正样本和负样本的数量共s个；
[0028]根据图像特征相似度将所述正样本和负样本的伪标签传播到周围8个像素上。
[0029]在本专利技术的一个实施例中，其中将中围绕在所述三维包围盒附近的一部分点作为负样本，分配背景标签包括：
[0030]首先将所述三维包围盒的8个定点投影到图像平面，然后计算得到最小的包络矩形选择中能够投影落在包络矩形b内的部分点作为负样本
[0031]在本专利技术的一个实施例中，其中根据图像特征相似度将所述正样本和负样本的伪标签传播到周围8个像素上包括：
[0032]当图像特征相似度超过相似度阈值时，将选自正样本和负样本的候选点p
c
的标签传播到图像周围8个像素上，使得这8个像素具有与候选点p
c
同样的类别标签，其中标签传播的判断公式为：
[0033][0034]其中l(p)是点p被分配的伪标签，是候选点p
c
在图像上周围的8个像素，是点p从经过预训练得到的图像特征提取器中抽取的图像特征，τ
dense
是相似度阈值。
[0035]在本专利技术的一个实施例中，其中在训练分割器时，采用点误差损失函数和图一致性损失函数来约束分割器的输出包括：
[0036]采用双线性插值方法构建点误差损失函数，其中通过点误差损失函数能够衡量预测掩码与伪标签之间损失，点误差损失函数为：
[0037][0038]其中K为图像中实例的总数，S为所有带有伪标签的点，p
ks
是第k个实例中的第s个点，l
ks
则为点p
ks
的伪标签，L
point
表示点误差损失。
[0039]在本专利技术的一个实施例中，其中在训练分割器时，采用点误差损失函数和图一致性损失函数来约束分割器的输出包括：
[0040]利用所述提纯点云构建一个无向图G＝<V,E>，其中所述提纯点云中的点作为节点组成V，E为边，根据两个节点之间的图像特征相似度和三维几何特征相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云弱监督的实例分割方法，包括：将激光雷达点云投影到图像平面形成投影点云；对投影点云进行提纯，去除因激光雷达和相机之间的视差导致的重叠点得到提纯点云；将提纯点云中的点分配前景标签/背景标签；以及以具有前景标签/背景标签的提纯点云为监督信号训练分割器，并利用分割器进行实例分割预测掩码。2.根据权利要求1所述的基于点云弱监督的实例分割方法，在所述将激光雷达点云映射到图像平面形成投影点云的步骤之前，还包括：输入图像，通过图像特征提取器提取图像特征，其中图像特征作为训练分割器的输入特征；以及标注图像中物体的三维包围盒。3.根据权利要求2所述的基于点云弱监督的实例分割方法，其特征在于，在训练分割器时，采用点误差损失函数和图一致性损失函数来约束分割器的输出。4.根据权利要求3所述的基于点云弱监督的实例分割方法，其特征在于，其中将激光雷达点云投影到图像平面形成投影点云包括：激光雷达点云在齐次坐标系下表示为通过变换矩阵将所述激光雷达点云从激光雷达坐标系投影到相机坐标系下，再通过相机矩阵进一步投影到图像平面形成投影点云，其中投影点云为：其中是所述激光雷达点云投影到图像平面后在齐次坐标表示下的点的集合。5.根据权利要求3所述的基于点云弱监督的实例分割方法，其特征在于，其中对投影点云进行提纯，去除因激光雷达和相机之间的视差导致的重叠点得到提纯点云包括：将投影到图像平面得到的每个像素P
2d
和其对应的激光雷达点的深度真值组成稀疏深度图以及使用一个二维滑动窗口来遍历整张稀疏深度图，在每一个窗口内，投影点云根据相对深度被分割成临近点和远距点其中相对深度超过深度阈值的点为远距点相对深度未超过深度阈值的点为临近点相对深度未超过深度阈值的点为临近点其中p(x,y)表示在二维滑动窗口中一个坐标为(x,y)的像素对应的激光雷达点云中的点，τ
depth
表示深度阈值，采用所述深度阈值能够过滤掉距离较远的点，d(x,y)表示坐标为(x,y)的像素对应的深度值，d
min
和d
max
分别表示在二维滑动窗口内的最小深度值和最大深度值；通过计算临近点中的最小包络范围，将邻近点的最小包络范围内距离较远的点
作为重叠点去除，得到提纯提纯点云其中重叠点为：其中x
min
,x
max
是临近点中在x轴上的最小值和最大值，y
min
,y
max
是临近点中在y轴上的最小值和最大值。6.根据权利要求5所述的基于点云弱监督的实例分割方法，其特征在于，其中将提纯点云中的点分配前景标签/背景标签包括：根据所述提纯点云和所述三维包围盒之间的位置关系，将所述提纯点云分为在三维包围盒内的点和在三维包围盒外的点在三维包围盒内的点作为正样本，并分配前景标签，将中围绕在所述三维包围盒附近的一部分点作为负样本，分配背景标签，其中正样本和负样本的数量共s个；根据图像特征相似度将所述正样本和负样本的伪标签传播到周围8个像素上。7.根据权利要求6所述的基于点云弱监督的实例分割方法，其特征在于，其...

【专利技术属性】
技术研发人员：李怡康，石博天，李想，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：