本发明专利技术提出一种少样本语义分割的方法、装置、存储介质、计算机设备，该方法通过将该三维点云数据投影到前视视角的二维平面上，转化为二维平面图像；并利用该二维平面图像构建训练集与测试集，利用该第一训练集训练第一深度语义分割模型；将训练后的该第一深度语义分割模型每个权重矩阵添加对应的低秩矩阵，得到第二深度语义分割模型；利用该第二训练集训练该第二深度语义分割模型，该训练后的该第二深度语义分割模型输出该车辆位置信息的三维点云语义分割结果。该方法提高了自动驾驶感知场景中模型的训练精度。
【技术实现步骤摘要】
本专利技术属于自动驾驶感知，具体涉及一种利用lora对三维激光雷达（lidar）数据进行少样本语义分割的方法、装置、存储介质、计算机设备。
技术介绍
1、在自动驾驶中，3d激光雷达是一个关键的传感器，它能够提供周围物体的精三维位置信息。这种精确性对于语义分割任务尤为重要。在3d lidar数据上进行语义分割通常需要在大量标注的数据上训练深度学习模型。 然而，自动驾驶场景对深度学习语义分割提出了更多挑战，因为在动态环境中，语义分割模型可能需要预测新出现的物体和类别，这些类别在训练时没有进行标注。 此外，由于采集和标注3d点云数据的困难性，这些新物体通常缺乏像素级标注。这些挑战构成了少样本语义分割问题。
2、考虑到自动驾驶场景下的安全性，将少样本语义分割问题扩展为广义少样本语义分割。这两个问题都包括一个有大量已标注数据的基础训练阶段，以及一个只有少量标注新物体的新数据微调阶段。然而，广义少样本语义分割要求模型在基类物体和新物体上都要达到较好的性能，而少样本语义分割只对新物体做要求。显然，广义的少样本语义分割提出了一个更大的挑战。
3、鉴于此，有必要提供一种有效针对广义少样本语义分割的方法。
技术实现思路
1、针对现有技术的不足，本专利技术提出一种少样本语义分割的方法、装置、存储介质、计算机设备，其通过在少样本训练时引入lora来减少可训练的参数量，既防止对既有类别知识的遗忘，又使得模型能够很好地拟合新的类别数据，提高了自动驾驶感知场景中模型的训练精度。
<
p>2、为了实现上述目的，本专利技术一方面提供一种少样本语义分割方法，包括：3、获取激光雷达采集的车辆位置信息，该车辆位置信息以三维点云数据呈现；
4、将该三维点云数据投影到前视视角的二维平面上，转化为二维平面图像；
5、利用该二维平面图像构建训练集与测试集，该训练集包含第一训练集与第二训练集，该第一训练集包含大量已标注的基类数据，该第二训练集包含少量新类别数据；
6、利用该第一训练集训练一第一深度语义分割模型；
7、将训练后的该第一深度语义分割模型每个权重矩阵添加对应的低秩矩阵，每个低秩矩阵都接受梯度更新，得到一第二深度语义分割模型；
8、利用该第二训练集训练该第二深度语义分割模型，该训练后的该第二深度语义分割模型输出该车辆位置信息的三维点云语义分割结果。
9、在一实施例中，将训练后的该第一深度语义分割模型每个权重矩阵添加对
10、应的低秩矩阵之前，还包含：
11、将该训练后的第一深度语义分割模型加载到内存中，并将该第一深度语义分割模型的参数冻结起来，使其不接受梯度更新。
12、在一实施例中，所述低秩矩阵由两个子矩阵组成，两个子矩阵相乘后维度与权重矩阵一致，且两个子矩阵的秩小于该权重矩阵的秩。
13、在一实施例中，在利用该第二训练集训练该第二深度语义分割模型过程中，执行一第一运算过程，该第一运算过程为将每个权重矩阵的输出与低秩矩阵的输出求和。
14、在一实施例中，该方法还包含：
15、将训练后的该第二深度语义分割模型在该测试集上进行测试。
16、在一实施例中，在将训练后的该第二深度语义分割模型在该测试集上进行测试过程中，执行一第二运算过程，该第二运算过程为将所述低秩矩阵的两子矩阵相乘后与对应的权重矩阵相加，以减少测试时的显存占用和测试时间。
17、在一实施例中，所述第一深度语义分割模型与所述第二深度语义分割模型均包含：
18、一编码器，用以对该二维平面图像进行下采样并提取点云的特征，输出一下采样后的点云特征图。
19、在一实施例中，所述第一深度语义分割模型与所述第二深度语义分割模型还包含：
20、一解码器，用以接受该点云特征图作为输入，对点云特征图进行上采样，输出点云每个点所属的类别，得到该车辆位置信息的三维点云语义分割结果。
21、在一实施例中，该三维点云语义分割结果与分割前的该三维点云数据保持维度相同。
22、本专利技术另一方面还提供一种少样本语义分割装置，其采取上述的少样本语义分割方法，该装置包括：
23、数据集构建模块，用以：
24、获取激光雷达采集的车辆位置信息，该车辆位置信息以三维点云数据呈现；以及
25、将该三维点云数据投影到前视视角的二维平面上，转化为二维平面图像；
26、利用该二维平面图像构建训练集与测试集，该训练集包含第一训练集与第二训练集，该第一训练集包含大量已标注的基类数据，该第二训练集包含少量新类别数据；
27、第一训练模块，用以利用该第一训练集训练一第一深度语义分割模型；
28、微调模块，用以将训练后的该第一深度语义分割模型的每个权重矩阵添加对应的低秩矩阵，每个低秩矩阵都接受梯度更新，得到一第二深度语义分割模型；以及
29、第二训练模块，用以利用该第二训练集训练该第二深度语义分割模型，该训练后的该第二深度语义分割模型输出该车辆位置信息的三维点云语义分割结果。
30、此外，本专利技术还提供了一种计算机设备，该计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现上述的少样本语义分割的方法。
31、以及，本专利技术还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如上述的少样本语义分割的方法。
32、由以上方案可知，本专利技术的优点在于：
33、本专利技术揭示的少样本语义分割方法，考虑到自动驾驶场景下的安全性，采用大量已标注的基类数据与少量新类别数据分别训练深度语义分割模型，并基于低秩矩阵对深度语义分割模型微调优化，该方法减少了新数据微调时的可训练参数量，实现了无遗忘的目标，并在基类和新类之间保持了良好的精确度平衡，提高了自动驾驶感知场景中模型的训练精度。同时，能够减少测试时的显存占用和测试时间，减小数据存储量，提升硬件运算效率。
本文档来自技高网...
【技术保护点】
1.一种少样本语义分割方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将训练后的该第一深度语义分割模型每个权重矩阵添加对应的低秩矩阵之前，还包含：
3.根据权利要求1所述的方法，其特征在于，
4.根据权利要求1所述的方法，其特征在于，
5.根据权利要求1所述的方法，其特征在于，还包含：
6.根据权利要求5所述的方法，其特征在于，
7.根据权利要求1所述的方法，其特征在于，所述第一深度语义分割模型与所述第二深度语义分割模型均包含：
8.根据权利要求7所述的方法，其特征在于，所述第一深度语义分割模型与所述第二深度语义分割模型还包含：
9.根据权利要求8所述的方法，其特征在于，
10.一种少样本语义分割装置，其特征在于，采取权利要求1-19任一项所述的少样本语义分割方法，该装置包括：
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至9任一所述的少样本语义分割方法。
12.一种计算机设备，其特征在于，括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至9任一所述的少样本语义分割方法。
...
【技术特征摘要】
1.一种少样本语义分割方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将训练后的该第一深度语义分割模型每个权重矩阵添加对应的低秩矩阵之前，还包含：
3.根据权利要求1所述的方法，其特征在于，
4.根据权利要求1所述的方法，其特征在于，
5.根据权利要求1所述的方法，其特征在于，还包含：
6.根据权利要求5所述的方法，其特征在于，
7.根据权利要求1所述的方法，其特征在于，所述第一深度语义分割模型与所述第二深度语义分割模型均包含：
8.根据权利要求7所述的方法，其特征在于，所述第一深度语义分割模型与所述第二深度语义...
【专利技术属性】
技术研发人员：梅继林，周君宝，胡瑜，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。