【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种结合体素和空间坐标进行新类别发现的语义分割方法。
技术介绍
1、在新类别发现领域，近年来取得了显著的进展，最早的解决方案引入了成对相似性预测和可学习的聚类目标，以增强跨领域和跨任务的迁移学习。这些基础工作为更复杂的方法奠定了基础，例如对深度嵌入聚类的修改，自监督学习框架，以及多模态数据方法。最近的进展引入了各种创新策略，包括用于视觉类别发现的双分支学习框架，邻域对比学习，以及简化发现过程和提高模型鲁棒性的统一目标。此外，还开发了基于元学习的方法和处理动态性质的类增量框架。该领域的进一步贡献包括为特定挑战开发框架，如利用互知识蒸馏，以及实现新损失函数以提高潜在空间可分离性。这些多种方法的整合显著提高了在复杂和动态环境中有效发现和学习新类别的能力。
2、2018年佐治亚理工学院在国际表征学习大会iclr发表论文《learning tocluster in order to transfer across domains and tasks》，该论文被认为是新类别发现问题的首个解决方案。这种创新方法利用了学习的成对相似性预测，促进了跨各种领域和任务的无监督学习。通过将可学习的聚类目标整合到神经网络中，它显著增强了跨领域和跨任务的迁移学习，标志着该领域的重要进展，并为未来的研究设定了基础标准。2019年牛津大学视觉几何组在国际计算机视觉大会iccv发表论文《learning to discover novelvisual categories via deep transfer clus
3、2020年，牛津大学视觉几何组在国际表征学习大会iclr发表论文《automaticallydiscovering and learning new visual categories with ranking statistics》，其定义了“novel category discovery”这个术语，为后来称为新类别发现问题的研究奠定了基础。这项研究引入了一个框架，用于在没有预标记数据的情况下在图像数据集中识别新类别，使用三种关键策略：自监督学习在标记和未标记数据上训练图像表示以减少偏差；在聚类未标记图像时进行知识转移的秩统计；以及在标记和未标记数据集上联合优化目标函数以增强分类和聚类性能。
4、2021年，特伦托大学在ieee国际计算机视觉与模式识别会议cvpr发表论文《neighborhood contrastive learning for novel class discovery》，其扩展了之前的研究，将“novel class discovery”定义为一个独立的研究领域，建立了一个更加集中的研究框架。文章开发了邻域对比学习(ncl)，通过利用嵌入空间中的局部邻域，专注于为聚类学习不同的表示。该方法通过混合标记和未标记数据的特征，收集伪阳性对并生成难负样本，增强了模型区分未标记样本中新类别的能力。
5、2022年，谷歌研究院在欧洲计算机视觉会议eccv发表论文《novel classdiscovery without forgetting》，专注于在识别未标记数据中新类别的同时保留先前学习类别的准确性。文章使用伪潜表示减少遗忘，基于互信息的正则化增强新类别发现，并使用已知类别标识符进行更好的泛化推理。该方法解决了在动态、真实世界应用中增量识别新类别的需求，同时保持对已知类别的性能。
6、2023年，上海科技大学在国际计算机视觉大会iccv发表论文《class-relationknowledge distillation for novel class discovery》，强调从已知类别到新类别的知识转移。该方法围绕类关系表示进行，基于已知类别的预测类分布。这通过独特的知识蒸馏策略来补充，在训练新类别时保持信息丰富的类关系。此外，该框架具有一个可学习的加权函数，允许基于已知和新类别之间的语义相似性进行自适应知识转移。
7、目前，三维点云语义分割在自动驾驶、机器人和城市规划等应用中具有重要意义。然而，现有的三维语义分割方法存在一些显著的缺陷。传统方法主要分为基于体素和基于点的方法。基于体素的方法提供了结构化的数据表示，但由于空间离散化，容易丢失细粒度细节。另一方面，基于点的方法虽然保留了详细的空间信息，但在处理大规模点云数据时会面临复杂性问题，导致计算效率低下。此外，传统方法通常仅关注预定义的语义类别，缺乏对训练阶段未见类别的泛化能力。这使得它们在实际应用中难以适应动态变化的环境和新的类别，尤其是在大规模和复杂环境中，现有方法难以保持高精度的分割效果，并且随着环境中物体和条件的不断变化，这一问题更加突出。
技术实现思路
1、本专利技术的目的是为了解决现有技术中存在的问题，而提出的一种结合体素和空间坐标进行新类别发现的语义分割方法。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种结合体素和空间坐标进行新类别发现的语义分割方法，包括以下步骤：
4、输入三维点云数据，将点云数据体素化，并生成集成数据集，对集成数据集进行特征提取；
5、将特征向量集合进行聚类，计算每个聚类的质心，并选择代表点；
6、将特征向量映射到低维哈希空间，根据代表点的空间分布动态识别其邻域半径；
7、对代表性点和其邻域点的特征向量进行线性变换，生成查询、键和值向量，通过查询向量和键向量的点积计算注意力得分，生成注意力向量，计算和分配聚类注意力向量，将局部注意力特征与从数据集中提取的全局空间特征融合；
8、将融合特征输入到多层感知机中，得到已知类别和未知类别的语义分割结果。
9、优选地，为保证体素化表示和点云的原始空间框架之间的信息转换，还包括建立一个双射映射，将每个体素链接到其对应的点集。
10、优选地，所述对集成数据集进行特征提取时，使用minkowskinet模型对集成数据集进行特征提取，输出每个体素的高维特征表示。
11、优选地，所述将特征向量集合进行聚类的过程具体为：将特征向量集合输入到minibatchkmeans算法中，根据特征相似性将点云数据组织成多个聚类。
12、优选地，所述质心为聚类中所有特征向量的平均值，所述代表点为聚类中通过最小化欧几里得距离选择与质心最近的点。
13、优选地，所述根据代表点的空间分布动态识别其邻域半径的过程中，该半径根据聚类内的空间差异性进行调整，以确保邻域大小与点的分布上下文相关。
<本文档来自技高网...【技术保护点】
1.一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：为保证体素化表示和点云的原始空间框架之间的信息转换，还包括建立一个双射映射，将每个体素链接到其对应的点集。
3.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：所述对集成数据集进行特征提取时，使用MinkowskiNet模型对集成数据集进行特征提取，输出每个体素的高维特征表示。
4.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：所述将特征向量集合进行聚类的过程具体为：将特征向量集合输入到MiniBatchKMeans算法中，根据特征相似性将点云数据组织成多个聚类。
5.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：所述质心为聚类中所有特征向量的平均值，所述代表点为聚类中通过最小化欧几里得距离选择与质心最近的点。
6.根据权利要求1所述的一种结
7.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：所述邻域点在相应代表性点的半径范围内识别，用于评估哈希桶中落在代表性点半径范围内的点，其利用点云的原始空间坐标计算距离，邻域点的选择根据其与代表性点的空间接近度决定，确保空间相关性和精确性。
8.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：所述通过查询向量和键向量的点积计算注意力得分时，通过函数进行归一化，得到注意力权重。
9.根据权利要求8所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：所述注意力向量利用注意力权重计算值向量的加权和生成。
...【技术特征摘要】
1.一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：为保证体素化表示和点云的原始空间框架之间的信息转换，还包括建立一个双射映射，将每个体素链接到其对应的点集。
3.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：所述对集成数据集进行特征提取时，使用minkowskinet模型对集成数据集进行特征提取，输出每个体素的高维特征表示。
4.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：所述将特征向量集合进行聚类的过程具体为：将特征向量集合输入到minibatchkmeans算法中，根据特征相似性将点云数据组织成多个聚类。
5.根据权利要求1所述的一种结合体素和空间坐标进行新类别发现的语义分割方法，其特征在于：所述质心为聚类中所有特征向量的平均值，所述代表点为聚类...
【专利技术属性】
技术研发人员：李军，杜静，张德栋，马凌飞，童自华，郑杰，陆超，
申请(专利权)人：南京国础科学技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。