一种基于双向增强网络的3D牙齿模型分割方法技术

本发明专利技术公开了一种基于双向增强网络的3D牙齿模型分割方法，包括：使用quadricedge collapse网格化简算法对原始3D牙齿模型进行化简，得到化简后的3D牙齿模型的初始化坐标矩阵P和法向量矩阵V；将化简后的3D牙齿模型输入特征提取器，得到其语义信息F；将每个网格的坐标p和语义信息f输入双向增强模块，得到增强后的网格特征s；将每个网格增强后的网格特征s输入多层感知机，得到每个网格所属特定牙齿种类的概率矩阵M，训练3D牙齿模型分割网络；利用训练好的3D牙齿模型分割网络对测试实例中每个网格所属特定牙齿种类进行预测。本发明专利技术方法分割精度高，并应用于牙齿分割领域。并应用于牙齿分割领域。并应用于牙齿分割领域。

【技术实现步骤摘要】
一种基于双向增强网络的3D牙齿模型分割方法


[0001]本专利技术涉及一种牙齿模型分割技术，特别是一种基于双向增强网络的3D牙齿模型分割方法。

技术介绍

[0002]对数字化的3D牙齿模型进行准确的牙齿分割是计算机辅助牙齿正畸治疗中一项基本任务。准确的分割信息可以帮助牙医进行临床诊断，为病人的正畸手术提供数字化的牙齿形状信息，量化预期和临床治疗结果之间的差异等。然而，从牙龈中准确的分割出每颗牙齿是一个富有挑战性的问题，其挑战性主要体现在以下几个方面：(1)虽然大多数人的牙齿都具有一些相同的几何特征，但它们的形状是独特的且在个体之间存在巨大的差异；(2)正畸患者的牙齿通常都比较特殊，他们的牙齿往往会出现缺失、拥挤或者错位等情况，这些都可能产生模糊的牙齿边界；(3)扫描过程中的噪声可能会导致牙齿模型表面部分缺失。
[0003]为了应对上述的挑战，传统的方法通常通过使用预先选择的几何属性，例如：坐标、法向量或者曲率，来对牙齿模型进行分割。还有一些方法将三维的网格投影成二维图像以此进行牙齿模型分割。然而，这些传统方法的有效性比较依赖专业的知识和经验。同时，这些方法的鲁棒性较差，因为只使用那些低级的几何特性不能准确地分割具有极端外观的牙齿。最近，许多基于深度学习的方法被提出来，通过学习面向任务的特征表示，以实现牙齿模型的自动分割。其中一些方法将三维网格转换为有序的二维图像，然后应用一般的卷积神经网络进行牙齿分割。
[0004]然而，这些方法往往忽略了几何数据的无序性，在转换的过程中，还会引入额外的计算成本和量化误差。
[0005]为了避免额外的数据预处理过程，最近的方法通过扩展现有的点云分割网络来对三维牙齿模型进行分割。它们基于预先定义的邻居来表示一个网格。然而，在邻域的构建过程中，邻域之间的重叠是很难避免的，特别是当网格紧密分布在不同牙齿的边界附近时。

技术实现思路

[0006]专利技术目的：本专利技术的目的是提供一种基于双向增强网络的3D牙齿模型分割方法，以一种双向的方式同时利用网格的坐标信息和语义信息来增强网格的局部上下文信息。还提供了一种装置及存储介质。
[0007]技术方案：本专利技术的一种基于双向增强网络的3D牙齿模型分割方法，包括以下步骤：
[0008]S1、使用quadric edge collapse网格化简算法对原始3D牙齿模型进行化简，得到化简后的3D牙齿模型的初始化坐标矩阵P和法向量矩阵V；
[0009]S2、将化简后的3D牙齿模型输入特征提取模块，得到其语义信息F；
[0010]S3、将每个网格的坐标p和语义信息f作为输入，送入双向增强网络的双向增强模块，得到增强后的网格特征s；
[0011]S4、将每个网格增强后的特征s输入预测感知机，得到每个网格所属特定牙齿种类的概率矩阵M，训练出一个3D牙齿模型分割网络；
[0012]S5、利用训练好的3D牙齿模型分割网络对测试实例中每个网格所属特定牙齿种类进行预测。
[0013]进一步的，步骤S1具体为：
[0014]利用quadric edge collapse网格化简算法将原始3D牙齿模型网格数量下采样到N，得到保留原始3D牙齿模型拓扑信息，去除冗余信息的化简后的3D牙齿模型，化简后的3D牙齿模型对应的坐标矩阵P∈R
N
×9，其中每一行代表每个三角形网格三个顶点的3D空间坐标；对应的法向量矩阵V∈R
N
×3，其中每一行代表每个三角形网格的法向量。
[0015]进一步的，步骤S2具体为：
[0016]第i个网格的语义信息f
i
的计算公式为：
[0017][0018]其中，特征提取器被实现为多层感知机，用MLP表示，表示按通道连接，p
i
表示第i个网格的坐标，v
i
表示第i个网格的法向量，f
i
表示第i个网格的语义信息；
[0019]则化简后的3D牙齿模型的语义信息F∈R
N
×
16
，其中每一行代表每个三角形网格的语义信息，即f
i
。
[0020]进一步的，步骤S3具体为：
[0021]将每个网格视为中心，利用k近邻算法构造其邻域；设中心网格的坐标为p
i
，语义信息为f
i
，其邻域表示为邻域内的邻居的坐标信息为p
j
，语义信息为f
j
；
[0022]首先使用第一多层感知机和第二多层感知机分别为每个中心网格校准其邻域内每个邻居的坐标信息和语义信息：
[0023][0024][0025]其中，为校准后的邻居的坐标信息；为校准后的邻居的语义信息；MLP1为第一多层感知机，MLP2为第二多层感知机；
[0026]接着基于每个网格的语义信息来增强其坐标信息；具体的：估计中心网格的不同邻居的几何偏移量，计算公式为：
[0027][0028]其中，Δf
j
＝f
i
‑
f
j
；操作被实现为多层感知机；因此，偏移后的邻居的坐标信息被表示为：
[0029][0030]然后，将偏移后的邻居的坐标信息和校准后的邻居的坐标信息连接起来送入第三多层感知机，得到每个网格增强后的邻居坐标信息为：
[0031][0032]其中，MLP3表示第三多层感知机；
[0033]同样，基于每个网格的坐标信息来增强其语义信息；偏移后的邻居的语义信息被表示为：
[0034][0035]其中，Δp
j
＝p
i
‑
p
j
；
[0036]同样，基于偏移后的邻居的语义信息和校准后的邻居的语义信息，每个网格增强后的邻居语义信息被表示为：
[0037][0038]其中，MLP4表示第四多层感知机；
[0039]最后，采用最大池化操作从每个网格增强后的邻居坐标信息和增强后的邻居语义信息中获取更具区分性的能表示该网格的特征，具体来说，第i个网格的特征被表示为：
[0040][0041]进一步的，步骤S4中利用步骤S3中得到的增强后的网格特征预测每个网格所属特定牙齿种类的概率，计算公式为：
[0042]M＝MLP
pred
(S)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)；
[0043]其中，S表示增强后的网格特征矩阵，每一行代表每个网格增强后的特征，即s
i
，M∈R
N
×
C
，每一行代表特定网格属于C个不同类别的概率，MLP
pred
为预测感知机。
[0044]进一步的，步骤S4中3D牙齿模型分割网络训练方法为：通过最小化交叉熵损失函数来训练得到一个牙齿分割网络；其中，交叉熵损失函数的计算公式为：
[0045][0046]其中，m
ic...

【技术保护点】

【技术特征摘要】
1.一种基于双向增强网络的3D牙齿模型分割方法，其特征在于，包括以下步骤：S1、使用quadric edge collapse网格化简算法对原始3D牙齿模型进行化简，得到化简后的3D牙齿模型的初始化坐标矩阵p和法向量矩阵V；S2、将化简后的3D牙齿模型输入特征提取模块，得到其语义信息F；S3、将每个网格的坐标p和语义信息f作为输入，送入双向增强网络的双向增强模块，得到增强后的网格特征s；S4、将每个网格增强后的特征s输入预测感知机，得到每个网格所属特定牙齿种类的概率矩阵M，训练出一个3D牙齿模型分割网络；S5、利用训练好的3D牙齿模型分割网络对测试实例中每个网格所属特定牙齿种类进行预测。2.根据权利要求1所述的一种基于双向增强网络的3D牙齿模型分割方法，其特征在于，步骤S1具体为：利用quadric edge collapse网格化简算法将原始3D牙齿模型网格数量下采样到N，得到保留原始3D牙齿模型拓扑信息，去除冗余信息的化简后的3D牙齿模型，化简后的3D牙齿模型对应的坐标矩阵P∈R
N
×9，其中每一行代表每个三角形网格三个顶点的3D空间坐标；对应的法向量矩阵V∈R
N
×3，其中每一行代表每个三角形网格的法向量。3.根据权利要求1所述的一种基于双向增强网络的3D牙齿模型分割方法，其特征在于，步骤S2具体为：第i个网格的语义信息f
i
的计算公式为：其中，特征提取器被实现为多层感知机，用MLP表示，表示按通道连接，p
i
表示第i个网格的坐标，v
i
表示第i个网格的法向量，f
i
表示第i个网格的语义信息；则化简后的3D牙齿模型的语义信息F∈R
N
×
16
，其中每一行代表每个三角形网格的语义信息，即f
i
。4.根据权利要求1所述的一种基于双向增强网络的3D牙齿模型分割方法，其特征在于，步骤S3具体为：将每个网格视为中心，利用k近邻算法构造其邻域；设中心网格的坐标为p
i
，语义信息为f
i
，其邻域表示为邻域内的邻居的坐标信息为p
j
，语义信息为f
j
；首先使用第一多层感知机和第二多层感知机分别为每个中心网格校准其邻域内每个邻居的坐标信息和语义信息：邻居的坐标信息和语义信息：其中，为校准后的邻居的坐标信息；为校准后的邻居的语义信息；MLP1为第一多层感知机，MLP2为第二多层感知机；接着基于每个网格的语义信息来增强其坐标信息；具体的：估计中心网格的不同邻居的几何偏移量，计算公式为：其中，Δf
j
＝f
i
‑
f
j
；操作被实现为多层感知机；因此，偏移后的邻居的坐标信息被
表示为：然后，将偏移后的邻居的坐标信息和校准后的邻居的坐标信息连接起来送入第三多层感知机，得到每个网格增强后的邻居坐标信息为：其中，MLP3表示第三多层感知机；同样，基于每个网格的坐标信息来增强其语义信息；偏移后的邻居的语义信息被表示为：其中，Δp
j
＝p
i
‑
p
j
；同...

【专利技术属性】
技术研发人员：贾修一，李自刚，张长东，刘婷婷，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：