一种基于多级对抗对比的多模态点云分割方法及系统技术方案

本发明专利技术提出了一种基于多级对抗对比的多模态点云分割方法及系统，涉及图像分割技术领域，对获取的点云数据集进行预处理，为每张点云生成对应的增强点云和2D图像，得到训练集；构建点云分割模型，基于训练集，进行点云与增强点云、点云与2D图像的对比学习，直至达到预设的训练轮次，保存损失函数最小或者验证效果最好的模型；将待分割的点云输入到训练好的点云分割模型中进行分割，得到点云的分割图像；本发明专利技术引入对抗对比和跨模态多级对比，通过点云数据与增强后的点云数据的对抗对比、2D图像与点云图像的跨模态多级对比，有助于点云学习视觉概念，丰富点云的语义信息，提升特征的表达能力和区分性，从而得到更精准的分割图像。从而得到更精准的分割图像。从而得到更精准的分割图像。

【技术实现步骤摘要】
一种基于多级对抗对比的多模态点云分割方法及系统


[0001]本专利技术属于图像分割
，尤其涉及一种基于多级对抗对比的多模态点云分割方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]3D视觉是实现全自主机器人的关键，在机器人行进时，需要三维数据来协助感知周围环境、更新自身位置、构建三维环境；由于点云更接近于设备的原始表征，因此点云被越来越多地应用于雷达自动驾驶中，其中，点云分割是理解三维环境的基础，具有重要的应用价值；然而，由于点云的不规则结构，人工标记的代价十分昂贵。
[0004]点云具有转换不变性，但当将三维点云应用于图像分割方法时，很难获取精确的点云特征，从而影响分割结果的准确性；另外，在现有的点云分割方法中，还未解决点云中的边界问题，使得无法得到高质量的分割边界。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提供了一种基于多级对抗对比的多模态点云分割方法及系统，引入对抗对比和跨模态多级对比，通过点云数据与增强后的点云数据的对抗对比、2D图像与点云图像的跨模态多级对比，有助于点云学习视觉概念，丰富点云的语义信息，提升特征的表达能力和区分性，从而得到更精准的分割图像。
[0006]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0007]本专利技术第一方面提供了一种基于多级对抗对比的多模态点云分割方法；
[0008]一种基于多级对抗对比的多模态点云分割方法，包括：
[0009]对获取的点云数据集进行预处理，为每张点云生成对应的增强点云和2D图像，得到训练集。
[0010]构建点云分割模型，基于训练集，进行点云与增强点云、点云与2D图像的对比学习，直至达到预设的训练轮次，保存损失函数最小或者验证效果最好的模型。
[0011]将待分割的点云输入到训练好的点云分割模型中进行分割，得到点云的分割图像。
[0012]进一步的，所述增强点云，利用旋转、平移、翻转对点云进行特征增强；
[0013]所述2D图像，从点云采集设备的随机相机视角中捕获。
[0014]进一步的，所述点云分割模型，包括特征提取模块、分割预测模块。
[0015]进一步的，所述特征提取模块，通过点云与增强点云的对比学习、点云与2D图像的对比学习，提取点云特征。
[0016]进一步的，所述点云与增强点云的对比学习，生成器提取特征，鉴别器区分特征是否来源于增强点云，减少点云特征与增强点云特征之间的距离，增加点云特征与增强点云
特征之间的相似度。
[0017]进一步的，所述点云与2D图像的对比学习，对不同模态的特征进行多级粒度的对比约束，建立2D图像和点云之间的联系，利用对比损失拉近模态间的相似度，学习2D图像的视觉特征信息，最终得到点云特征。
[0018]进一步的，所述分割预测模块，基于提取的点云特征，对点云进行分割，得到分割图像。
[0019]本专利技术第二方面提供了一种基于多级对抗对比的多模态点云分割系统。
[0020]一种基于多级对抗对比的多模态点云分割系统，包括数据处理单元、模型构建单元和点云分割单元：
[0021]数据处理单元，被配置为：对获取的点云数据集进行预处理，为每张点云生成对应的增强点云和2D图像，得到训练集；
[0022]模型构建单元，被配置为：构建点云分割模型，基于训练集，进行点云与增强点云、点云与2D图像的对比学习，直至达到预设的训练轮次，保存损失函数最小或者验证效果最好的模型；
[0023]点云分割单元，被配置为：将待分割的点云输入到训练好的点云分割模型中进行分割，得到点云的分割图像。
[0024]本专利技术第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的一种基于多级对抗对比的多模态点云分割方法中的步骤。
[0025]本专利技术第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的一种基于多级对抗对比的多模态点云分割方法中的步骤。
[0026]以上一个或多个技术方案存在以下有益效果：
[0027]本专利技术提出了一种基于多级对抗对比的多模态点云分割方法，相对于之前仅使用单模态且忽略点云转移不变性的分割方法，本方法在图像分割方面表现出了优异性：
[0028](1)本专利技术引入对抗对比模块，将对抗训练引入对比学习网络中，增强了模型的特征提取能力，更加有效地获取具有转移不变性的点云特征。
[0029](2)本专利技术引入跨模态多级对比模块，利用2D图像丰富点云的特征，通过对比网络保持不同模态的分布一致性，加强了模态之间的信息交互，提高了特征的表达能力和区分性，从而获得更加精准的分割图像。
[0030]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0031]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0032]图1为第一个实施例的方法流程图。
[0033]图2为第一个实施例点云分割模型的结构图。
[0034]图3为第二个实施例的系统结构图。
具体实施方式
[0035]下面结合附图与实施例对本专利技术作进一步说明。
[0036]实施例一
[0037]本实施例公开了一种基于多级对抗对比的多模态点云分割方法；
[0038]如图1所示，一种基于多级对抗对比的多模态点云分割方法，包括：
[0039]步骤S1：对获取的点云数据集进行预处理，为每张点云生成对应的增强点云和2D图像，得到训练集。
[0040]为了便于后续模型中的对比学习，在构建训练集时，为每张点云生成对应的增强点云和2D图像，组成点云
‑
增强点云
‑
2D图像的对应图像组。
[0041]增强点云，是通过对点云图像进行旋转、平移、翻转等特征增强方法得到的，而2D图像是从点云采集设备的随机相机视角中捕获的。
[0042]在输入到模型中前，还要对点云、增强点云和2D图像进行尺寸变换，以满足模型的尺寸要求，采用利用python中transforms算法对尺寸变换，将其变换为预设的尺寸，本实施例中，预设的尺寸采用224
×
224。
[0043]步骤S2：构建点云分割模型，基于训练集，进行点云与增强点云、点云与2D图像的对比学习，直至达到预设的训练轮次，保存损失函数最小或者验证效果最好的模型。
[0044]图2是点云分割模型的结构图，如图2所示，包括特征提取模块、分割预测模块，特征提取模块用于提取有更好表达能力和区分性的特征，而分割预测模块基于特征对点云进行分割。...

【技术保护点】

【技术特征摘要】
1.一种基于多级对抗对比的多模态点云分割方法，其特征在于，包括：对获取的点云数据集进行预处理，为每张点云生成对应的增强点云和2D图像，得到训练集；构建点云分割模型，基于训练集，进行点云与增强点云、点云与2D图像的对比学习，直至达到预设的训练轮次，保存损失函数最小或者验证效果最好的模型；将待分割的点云输入到训练好的点云分割模型中进行分割，得到点云的分割图像。2.如权利要求1所述的一种基于多级对抗对比的多模态点云分割方法，其特征在于，所述增强点云，利用旋转、平移、翻转对点云进行特征增强；所述2D图像，从点云采集设备的随机相机视角中捕获。3.如权利要求1所述的一种基于多级对抗对比的多模态点云分割方法，其特征在于，所述点云分割模型，包括特征提取模块、分割预测模块。4.如权利要求3所述的一种基于多级对抗对比的多模态点云分割方法，其特征在于，所述特征提取模块，通过点云与增强点云的对比学习、点云与2D图像的对比学习，提取点云特征。5.如权利要求4所述的一种基于多级对抗对比的多模态点云分割方法，其特征在于，所述点云与增强点云的对比学习，生成器提取特征，鉴别器区分特征是否来源于增强点云，减少点云特征与增强点云特征之间的距离，增加点云特征与增强点云特征之间的相似度。6.如权利要求4所述的一种基于多级对抗对比的多模态点云分割方法，其特征在于，所述点云与2D图像的对比学习，对不同模态的...

【专利技术属性】
技术研发人员：庞守恩，孙振行，徐龙生，杨纪冲，
申请(专利权)人：山东省凯麟环保设备股份有限公司，
类型：发明
国别省市：