System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及计算机视觉,尤其涉及的是一种无监督三维点云物体分割方法、系统、终端及介质。
技术介绍
1、目前,三维点云物体分割方法主要是基于监督学习来实现,该方法一方面对点云训练数据有很高要求,需要大规模人工标注的数据集,但由于点云非结构化的特性,标注过程对人力和时间成本都有很大消耗。另一方面难以处理差异较大的场景,而这种情况在实际应用中普遍存在,因此基于监督学习的分割方法的泛化性较低。可见,现有技术中的三维点云物体分割方法存在泛化性较低和成本较高的问题。
技术实现思路
1、鉴于上述现有技术的不足,本专利技术的目的在于提供一种无监督三维点云物体分割方法、系统、终端及介质,旨在解决现有技术中存在的泛化性较低和成本较高的问题。
2、为了实现上述目的,本专利技术第一方面提供一种无监督三维点云物体分割方法,包括:
3、获取目标三维点云;
4、将所述目标三维点云输入训练好的物体分割网络进行分割处理,获得物体分割结果,所述训练好的物体分割网络包括一个训练好的3d特征主干网络和一个训练好的transformer解码器。
5、在一种实施方式中,所述将所述目标三维点云输入训练好的物体分割网络进行分割处理,获得物体分割结果,包括:
6、利用所述训练好的3d特征主干网络对所述目标三维点云进行特征提取,获得目标点云特征;
7、利用所述训练好的transformer解码器对所述目标点云特征进行解码处理,获得目标物体特征;
8
9、在一种实施方式中,所述基于所述目标物体特征和所述目标点云特征,获得物体分割结果,包括:
10、计算所述目标点云特征的维度,获得目标维度;
11、基于所述目标维度,利用预设的多层感知机对所述目标物体特征进行维度转换,获得转换物体特征;
12、将所述转换物体特征和所述目标点云特征进行点积和分割操作,获得物体分割结果。
13、在一种实施方式中,所述将所述转换物体特征和所述目标点云特征进行点积和分割操作,获得物体分割结果,包括:
14、对所述目标点云特征进行特征嵌入,获得每个所述目标点云特征对应的中间特征;
15、将所述转换物体特征和所述中间特征进行点积和分割操作,获得物体分割结果。
16、在一种实施方式中,所述物体分割网络包括3d特征主干网络和transformer解码器,所述物体分割网络的训练过程,包括:
17、获取不同预设场景下的若干帧三维点云;
18、利用所述3d特征主干网络对所有所述三维点云进行下采样处理,获得若干点云特征;
19、利用所述transformer解码器对所述点云特征进行解码处理,获得若干重构点云特征;
20、基于所述重构点云特征和所述点云特征,获得潜在分割结果;
21、计算所述潜在分割结果的损失,获得分割损失,并基于所述分割损失和预设的损失阈值进行迭代训练,获得训练好的3d特征主干网络和训练好的transformer解码器;
22、基于所述训练好的3d特征主干网络和所述训练好的transformer解码器,获得训练好的物体分割网络。
23、在一种实施方式中,所述基于所述重构点云特征和所述点云特征,获得潜在分割结果,包括:
24、计算所述点云特征的维度,获得点云特征维度;
25、利用预设的多层感知机将所述重构点云特征转换到所述点云特征维度,获得重构物体特征;
26、将所述重构物体特征和所述点云特征进行点积和分割操作,获得物体分割掩膜;
27、基于所述物体分割掩膜,计算每个所述三维点云被分配到各个预设场景的概率,获得潜在分割结果。
28、在一种实施方式中,所述计算所述潜在分割结果的损失,获得分割损失,包括:
29、基于所述三维点云所处的场景,估计所述潜在分割结果对应的刚体变换矩阵;
30、计算所述刚体变换矩阵对应的刚体运动和已知场景流之间的偏差,获得动态刚性损失;
31、基于所述三维点云对应的多个邻域内的潜在分割结果,计算几何平滑性正则项损失;
32、计算场景变换前、后的潜在分割结果的配对损失,获得场景变换损失;
33、基于所述动态刚性损失、所述几何平滑性正则项损失和所述场景变换损失,获得分割损失。
34、本专利技术第二方面提供一种无监督三维点云物体分割系统,所述系统包括:
35、数据采集模块,用于获取目标三维点云;
36、物体分割模块,用于将所述目标三维点云输入训练好的物体分割网络进行分割处理,获得物体分割结果,所述训练好的物体分割网络包括一个训练好的3d特征主干网络和一个训练好的transformer解码器。
37、本专利技术第三方面提供一种智能终端,所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的无监督三维点云物体分割程序,所述无监督三维点云物体分割程序被所述处理器执行时实现任意一项上述无监督三维点云物体分割方法的步骤。
38、本专利技术第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有无监督三维点云物体分割程序,所述无监督三维点云物体分割程序被处理器执行时实现任意一项上述无监督三维点云物体分割方法的步骤。
39、与现有技术相比,本方案的有益效果如下:
40、本专利技术利用3d特征主干网络和transformer解码器构建并训练得到训练好的物体分割网络,能够在单个场景中的点云上直接分割物体,表现出良好的泛化能力。对于所构建的物体分割网络而言,在训练阶段,利用点云序列中包含的运动信息作为监督信号,在点云上实现无监督的物体分割,无需任何人工标注;在推理阶段,能够在单帧点云上分割多个物体,无需多帧点云作为输入,能够将动态序列中学习到的物体分割能力泛化到静态物体,表现出了良好的泛化能力。
本文档来自技高网...【技术保护点】
1.一种无监督三维点云物体分割方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的无监督三维点云物体分割方法,其特征在于,所述将所述目标三维点云输入训练好的物体分割网络进行分割处理,获得物体分割结果,包括:
3.根据权利要求2所述的无监督三维点云物体分割方法,其特征在于,所述基于所述目标物体特征和所述目标点云特征,获得物体分割结果,包括:
4.根据权利要求3所述的无监督三维点云物体分割方法,其特征在于,所述将所述转换物体特征和所述目标点云特征进行点积和分割操作,获得物体分割结果,包括:
5.根据权利要求1所述的无监督三维点云物体分割方法,其特征在于,所述物体分割网络包括3D特征主干网络和Transformer解码器,所述物体分割网络的训练过程,包括:
6.根据权利要求5所述的无监督三维点云物体分割方法,其特征在于,所述基于所述重构点云特征和所述点云特征,获得潜在分割结果,包括:
7.根据权利要求5所述的无监督三维点云物体分割方法,其特征在于,所述计算所述潜在分割结果的损失,获得分割损失,包括:
< ...【技术特征摘要】
1.一种无监督三维点云物体分割方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的无监督三维点云物体分割方法,其特征在于,所述将所述目标三维点云输入训练好的物体分割网络进行分割处理,获得物体分割结果,包括:
3.根据权利要求2所述的无监督三维点云物体分割方法,其特征在于,所述基于所述目标物体特征和所述目标点云特征,获得物体分割结果,包括:
4.根据权利要求3所述的无监督三维点云物体分割方法,其特征在于,所述将所述转换物体特征和所述目标点云特征进行点积和分割操作,获得物体分割结果,包括:
5.根据权利要求1所述的无监督三维点云物体分割方法,其特征在于,所述物体分割网络包括3d特征主干网络和transformer解码器,所述物体分割网络的训练过程,包括:
6.根据权利要求5所述的无监督三维点云物体分割方...
【专利技术属性】
技术研发人员:杨波,宋子扬,
申请(专利权)人:香港理工大学深圳研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。