【技术实现步骤摘要】
本专利技术涉及三维计算机视觉领域，特别涉及一种基于扩散模型的交互式三维点云语义分割细化方法，用于提高三维点云语义分割质量。
技术介绍
1、三维点云语义分割是三维计算机视觉领域的一项重要的任务，旨在为点云中的每个数据点分配包含语义信息的标签，是自动驾驶、机器人导航、三维场景重建等下游任务的基础。三维点云语义分割掩码的质量对下游任务至关重要。
2、现有点云分割方法主要分为两种，一种是基于图割或随机游走算法等启发式算法的传统点云分割，可通过构建点云局部关系图并采用最小割算法实现颜色相近的连通区域分割，亦可采用随机游走算法对流程工厂管道点云进行分割；另一种则是基于深度学习的三维点云语义分割方法，包括一种基于位置关系卷积与深度残差连接的点云分割网络和一种弱监督点云分割算法，前者通过将点云嵌入至高维空间，并依次进行卷积、深度残差、全连接层和解码实现点云分割，后者则基于稀疏的语义标注信息实现点云分割。
3、现有点云分割方法，存在如下问题：
4、1、基于启发式算法的点云分割大多只能在特定点云对象上获得较好的分割结果，缺乏通用性，且依赖于底层特征，难以进行语义分割，无法满足下游任务需求。
5、2、基于深度学习的三维点云语义分割方法忽略了测试数据与训练数据的分布差异，易导致分割错误，无法满足高精度分割掩码的需求。
技术实现思路
1、本专利技术的目的在于提供一种基于扩散模型的交互式三维点云语义分割细化方法，以提供一种基于用户交互修正的交互式三维点云语义分割
2、实现本专利技术目的的技术解决方案为：
3、一种基于扩散模型的交互式三维点云语义分割细化方法，包括：
4、设计点云特征提取网络，提取逐点语义特征；
5、设计交互点击特征嵌入方式，获取交互特征图；
6、设计点云分割细化网络，基于粗略分割掩码、逐点语义特征和交互特征图，输出预测细化分割掩码和置信概率；
7、设计交互式语义分割细化网络，模拟用户交互；
8、设计扩散模型，构建状态转移矩阵；
9、构建训练数据，设计损失函数，训练并优化点云分割细化网络、交互式语义分割细化网络和扩散模型参数；
10、执行反向扩散过程，对粗略分割掩码进行逐步细化。
11、进一步的，设计点云特征提取网络，提取逐点语义特征包括以下具体步骤：
12、通过point transformer网络提取点云的高维语义特征；
13、基于粗略分割掩码，定位语义分割边界区域；
14、采用注意力机制强化高维语义特征和语义分割边界区域的特征，获取逐点语义特征。
15、进一步的，设计交互点击特征嵌入方式，获取交互特征图包括以下具体步骤：
16、将所有交互点置于空间直角坐标系中，获取第个交互点的坐标，并将交互特征图中第行第列元素置0；
17、以第个交互点为中心，构建棱长为的立方体，判断第个交互点的坐标是否在立方体，；
18、若第个交互点在立方体内，将交互特征图中第行第列元素与第行第列元素置1，反之则置0；
19、依次遍历所有交互点，构建交互特征图。
20、进一步的，设计点云分割细化网络，基于粗略分割掩码、逐点语义特征和交互特征图，输出预测细化分割掩码和置信概率，包括以下具体步骤：
21、根据交互点坐标，定位粗略分割边界区域；
22、对粗略分割边界区域进行二值化处理，转化多类别分割问题为二类分割问题；
23、将粗略分割边界区域、粗略分割掩码、逐点语义特征和交互特征图进行特征串联；
24、通过逐点二分类器获取二类分割结果，经反投影映射回多类别分割空间，获取预测细化分割掩码和置信概率。
25、进一步的，设计交互式语义分割细化网络，模拟用户交互，包括以下具体步骤：
26、基于预测细化分割掩码与实际细化分割掩码的差值获取误分割掩码图和多个误分割区域；
27、分别聚类每个误分割区域，定位区域面积最大的个误分割区域；
28、对单一误分割区域的点云进行局部密度估计，获取待交互点集，赋予实际语义标签，模拟用户交互。
29、进一步的，设计扩散模型，构建状态转移矩阵包括以下具体步骤：
30、定义交互点状态存在细化态和退化态，分别对应细化分割掩码和粗略分割掩码；
31、设计扩散模型的前向扩散过程，将细化分割掩码逐步退化成粗略分割掩码，获取第个交互点的初始状态；
32、基于状态转移概率计算前向状态转移矩阵，将时间步的状态乘以前向状态转移矩阵实现前向扩散过程的单步退化；
33、通过递推可获取状态的状态概率分布；
34、设计扩散模型的反向扩散过程，将粗略分割掩码逐步细化为细化分割掩码，获取点云分割细化网络输出的预测细化分割掩码和置信概率；
35、基于前向扩散过程和贝叶斯理论，获取反向扩散过程的后验概率分布，具体公式如下
36、，
37、其中，为前向扩散过程中第个交互点的初始状态；
38、基于第个交互点的置信度计算反向状态转移矩阵，反向扩散过程的单步细化可由时间步的状态乘以反向状态转移矩阵实现。
39、进一步的，构建训练数据，设计损失函数，训练并优化点云分割细化网络、交互式语义分割细化网络和扩散模型参数包括以下具体步骤：
40、构建训练数据，采用一基准分割网络进行训练；
41、每隔固定轮次记录参数，获取若干点云分割细化网络模型，输出不同细化程度的预测细化分割掩码；
42、基于不同细化程度的预测细化分割掩码进一步训练交互式语义分割细化网络和扩散模型，更新参数；
43、选择交叉熵和聚焦损失的组合作为损失函数。
44、进一步的，执行反向扩散过程，对点云粗略分割掩码进行逐步细化包括以下具体步骤：
45、设置交互点的状态为退化态；
46、通过点云分割细化网络处理时间步的粗略分割掩码获取预测细化分割掩码和置信概率；
47、计算第个交互点的反向状态转移矩阵并获得时间步第个交互点的状态；
48、计算当前时间步的细化分割掩码；
49、将时间步的细化分割掩码再次作为时间步的粗略分割掩码输入点云分割细化网络，经反向扩散过程的单步细化获取时间步的细化分割掩码；
50、重复上述过程直至获取最终的细化分割掩码。
51、本专利技术与现有技术相比，其显著优点在于：
52、1、设计点云特征网络，充分挖掘点云数据高维的逐点语义特征，设计交互点击特征嵌入方式，考虑用户交互点击，使交互特征图融入逐点语义特征；
53、2、设计点云分割细化网络、交互式语义分割细化网络和扩散模型联合分割细化的方案，设计损失函数兼顾点云分本文档来自技高网...
【技术保护点】
1.一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述设计点云分割细化网络，获取预测细化分割掩码和置信概率，包括以下具体步骤：
3.如权利要求1所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述设计交互式语义分割细化网络，包括以下具体步骤：
4.如权利要求1所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述设计扩散模型以构建状态转移矩阵包括以下具体步骤：
5.如权利要求1所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述执行反向扩散过程，对粗略分割掩码进行逐步细化包括以下步骤：
6.如权利要求1所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述设计交互点击特征嵌入方式，获取交互特征图包括以下步骤：
7.如权利要求1所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述设计点云特征提取网络，提
8.如权利要求1-7任意一项所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述构建训练数据，设计损失函数，训练并优化参数包括以下步骤：
...【技术特征摘要】
1.一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述设计点云分割细化网络，获取预测细化分割掩码和置信概率，包括以下具体步骤：
3.如权利要求1所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述设计交互式语义分割细化网络，包括以下具体步骤：
4.如权利要求1所述的一种基于扩散模型的交互式三维点云语义分割细化方法，其特征在于，所述设计扩散模型以构建状态转移矩阵包括以下具体步骤：
5.如权利要求1所述的一种基于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。