【技术实现步骤摘要】
本专利技术属于三维点云处理，具体涉及一种基于弱监督动态卷积的点云实例分割方法。
技术介绍
1、三维点云实例分割旨在从三维点云数据中识别和分割出不同的物体实例，便于获取三维空间中物体的相对位置、方向和距离等信息。近年来，基于卷积神经网络的三维点云实例分割方法不断被提出，卷积神经网络可以自动学习点云特征，不需要人工设计或选择特征提取器，提高了分割效率。但是，现有的三维点云实例分割模型大部分都基于自底向上的策略，这种策略主要存在两个缺点：（1）分割模型的性能对需要手动调整的超参数很敏感；例如，li jiang等人提出的pointgroup[1]方法通过逐步合并具有相同类别标签的邻近点来生成实例，原始点和质心偏移点都利用手动指定的搜索半径进行探索，实例大小的变化会导致这种方法对神经网络超参数的调节变得特别敏感，导致模型的鲁棒性和泛化性较差。（2）包含复杂的后处理过程；由francis engelmann等人提出的3d-mpa[2]方法，需要一个额外具有10层的图网络和一个聚类后处理步骤来生成最终的实例分割掩码，导致其很难应用于要求实时性的分割任务中。
2、后来，由研究者提出的dyco3d[3]是一种通过对三维点云进行动态卷积的鲁棒性实例分割方法，将动态卷积加入到三维点云实例分割网络中，考虑到点云数据的稀疏性（三维场景中物体表面附近点密集而其他其余稀疏），利用稀疏卷积神经网络来提取点云特征，基于聚类对点进行分组，通过对点的特征进行动态卷积生成实例掩码。
3、现有的三维点云实例分割方法虽然取得了不错的效果，但是当场景
技术实现思路
1、针对现有技术的不足，本专利技术拟解决的技术问题是：提供一种基于弱监督动态卷积的点云实例分割方法。
2、本专利技术解决所述技术问题采用如下的技术方案：
3、一种基于弱监督动态卷积的点云实例分割方法，包括以下步骤：
4、第一步：获取场景的三维点云数据，并进行预处理；
5、第二步：构建三维点云实例分割模型，包括主干网络、预测头、实例编码器和实例解码器，每个语义类对应一个实例编码器和实例解码器；预测头包括语义分割预测头和实例核预测头；
6、利用主干网络提取点云特征，将点云特征输入到语义分割预测头中进行逐点语义分割预测，得到各点的语义类预测标签；
7、实例核预测头根据语义分割预测结果，从属于同一语义类的各个实例中分别选取一个候选点，一共选取个候选点，表示属于同一语义类的实例数量；基于候选点对前景点进行采样，得到候选点的近邻点集，满足下式：
8、（1）
9、式中，是第个候选点的近邻点集，是第个采样点，是前景点集合，是基于第个候选点的第个采样点的实例掩码，为超参数；
10、计算候选点与各个近邻点之间的距离，并对距离进行归一化，得到候选点的邻域；通过多层感知机将各个候选点的点云特征与邻域分别转化为实例特征，各个实例特征分别经过一个线性层预测得到实例核；
11、将属于同一语义类的所有实例核输入到一个实例编码器中，通过并行的卷积层进行实例特征映射，特征映射过程表示为：
12、（3）
13、式中，是第个实例特征映射，表示卷积操作，是第个候选点的点云特征，是第个实例的包围盒，是第个实例的包围盒与点云特征的绝对差值向量，是第个实例核；
14、将属于同一语义类的所有实例特征映射进行注意力动态聚合，得到实例编码特征，表示为：
15、（4）
16、式中，是第个语义类的实例编码特征，是第个实例特征映射的注意力权重，是卷积核偏置向量；
17、实例解码器对实例编码特征进行解码得到实例掩码，完成实例分割；
18、第三步：对三维点云实例分割模型进行训练，将训练后的三维点云实例分割模型用于点云实例分割。
19、进一步的，所述主干网络是对3d u-net模型的改进，包括编码器和解码器；编码器包含四个编码层，每个编码层均包含两个卷积层，每个卷积层之后都依次连接一个relu激活函数和最大池化层；四个编码层的卷积核大小分别是8×8×2、16×16×2、32×32×2、64×64×2，2代表通道数，最大池化层大小均为2×2×2；解码器包括四个解码层，每个解码层均包含两个卷积层，每个卷积层之后都依次连接一个relu激活函数和最大池化层；四个解码层的卷积核大小分别是64×64×2、32×32×2、16×16×2、8×8×2，最大池化层大小均为2×2×2。
20、进一步的，所述实例解码器包括三个卷积层，每层之后连接一个relu激活函数。
21、进一步的，注意力权重提取过程为：将实例核进行全局平均池化，得到全局空间特征；全局空间特征依次经过两个全连接层，得到注意力权重。
22、进一步的，在模型训练过程中，通过下式计算训练损失；
23、（6）
24、式中，表示用于计算语义分割预测损失的交叉熵损失函数，表示实例编码器的损失，表示实例掩码与真实实例之间的相似度损失；
25、实例编码器的损失满足下式：
26、（8）
27、式中，为语义类数量，为归一化项，为点的数量，为第个点的语义类预测标签，为第个实例编码器的语义类标签；是指示函数，时，其值为1，否则为0；为第个点的实例掩码和真实标签的交叉熵损失。
28、与现有技术相比，本专利技术的有益效果是：
29、（1）本专利技术通过对实例的局部特征进行建模得到实例核，将实例表示为核，能够有效处理边界模糊和因对象密集堆积而导致的遮挡问题，能够更好地区分邻近的重叠实例。
30、（2）本专利技术提出了一种弱监督动态卷积的弱监督学习方式，弱监督具体是指利用已标注的实例的包围盒对模型进行训练，实例的包围盒可以作为动态卷积的附加几何线索，为分割模型提供几何先验，更好地区分各个实例；为属于同一语义类的所有实例生成一个实例编码器，进而为每个语义类都设计了一个实例编码器，每个实例编码器都对应一个实例解码器，对实例编码特征进行解码，克服了现有方法对具有相同语义类的邻近实例重叠或者密集堆积分割效果差的缺陷。
31、（3）本专利技术在三维点云实例分割模型中加入了动态卷积，相较于传统分割模型具有更少的超参数和后处理步骤，克服了现有的三维实例分割方法对超参数的调整较为敏感而导致鲁棒性和泛化性差的缺陷。使用改进后的u-net网络提取点云特征，增强了模型的感受野和特征表达能力，进而提高了分割效率。
本文档来自技高网...【技术保护点】
1.一种基于弱监督动态卷积的点云实例分割方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于弱监督动态卷积的点云实例分割方法，其特征在于，所述主干网络是对3D U-Net模型的改进，包括编码器和解码器；编码器包含四个编码层，每个编码层均包含两个卷积层，每个卷积层之后都依次连接一个ReLU激活函数和最大池化层；四个编码层的卷积核大小分别是8×8×2、16×16×2、32×32×2、64×64×2，2代表通道数，最大池化层大小均为2×2×2；解码器包括四个解码层，每个解码层均包含两个卷积层，每个卷积层之后都依次连接一个ReLU激活函数和最大池化层；四个解码层的卷积核大小分别是64×64×2、32×32×2、16×16×2、8×8×2，最大池化层大小均为2×2×2。
3.根据权利要求1所述的基于弱监督动态卷积的点云实例分割方法，其特征在于，所述实例解码器包括三个卷积层，每层之后连接一个ReLU激活函数。
4.根据权利要求1～3任一所述的基于弱监督动态卷积的点云实例分割方法，其特征在于，注意力权重提取过程为：将实例核进行全局平均池化，得
5.根据权利要求4所述的基于弱监督动态卷积的点云实例分割方法，其特征在于，在模型训练过程中，通过下式计算训练损失；
...【技术特征摘要】
1.一种基于弱监督动态卷积的点云实例分割方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于弱监督动态卷积的点云实例分割方法，其特征在于，所述主干网络是对3d u-net模型的改进，包括编码器和解码器；编码器包含四个编码层，每个编码层均包含两个卷积层，每个卷积层之后都依次连接一个relu激活函数和最大池化层；四个编码层的卷积核大小分别是8×8×2、16×16×2、32×32×2、64×64×2，2代表通道数，最大池化层大小均为2×2×2；解码器包括四个解码层，每个解码层均包含两个卷积层，每个卷积层之后都依次连接一个relu激活函数和最大池化层；四个解码层的卷积...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。