基于多视图颌姿态估计的正畸治疗监测方法及装置制造方法及图纸

本发明专利技术公开了一种基于多视图颌姿态估计的正畸治疗监测方法及装置。给定正畸前3D颌模型和正畸后RGB口腔扫描视频，首先训练牙齿视频实例分割模型，得到每个牙齿的实例分割掩码，其中设计了实例传播模块，只需要使用框位置、类分数和语义分割掩码就可以构造时域中的实例关系；本发明专利技术设计了时间一致性损失，用来学习相同实例在帧之间保持高度相似性的特征编码；然后利用数据驱动的方法结合多视图几何关系优化估计固定牙齿框架的颌姿态，通过双向约束的姿态跟踪推断不包含固定牙齿的帧中的颌姿态；最后利用基于迭代的方法估计每个正畸牙齿的相对位姿变化。本发明专利技术方法能够在未获取正畸后3D颌模型时准确估计正畸牙齿的姿态变化，实现正畸治疗的有效监测。实现正畸治疗的有效监测。

【技术实现步骤摘要】
基于多视图颌姿态估计的正畸治疗监测方法及装置


[0001]本专利技术涉及计算机
，尤其涉及一种基于多视图颌姿态估计的正畸治疗监测方法及装置。

技术介绍

[0002]正畸治疗是一种重要的齿科治疗方法，因为牙齿咬合不正会增加龋齿的发生率，引起心理不适，危害健康，降低生活质量。虽然正畸治疗很有帮助，但患者需要定期访问牙科诊所，以评估每个阶段的正畸结果是否符合预期，这使得正畸过程繁琐且复杂。随着人工智能的发展，让患者使用简单和便携式RGB/RGB
‑
D设备扫描和捕捉他们的牙齿情况，实现对于正畸患者的远程监测，在医学和学术界受到关注，因为它不仅减少了正畸医生的时间成本，而且还减少了社会成本，为正畸患者提供了便利。
[0003]然而，正畸治疗监测不同于基于图像的物体6D姿态估计，因为在正畸治疗监测中，当前的图像只与正畸治疗前个阶段重建的三维模型进行比较，而物体6D姿态估计则同时比较同个时刻的三维模型和图像。并且，正畸治疗监测关注的是正畸治疗前后单个牙齿的相对姿态变化，而物体6D姿态估计则用于估计物体的相对相机的姿态。同时，在正畸治疗监测中，牙齿的纹理较弱，且在不同帧中的位置也会变化，这使得对于每颗牙齿的分割具有挑战性。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足，提供一种基于多视图颌姿态估计的正畸治疗监测方法及装置。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种基于多视图颌姿态估计的正畸治疗监测方法，该方法包括以下步骤：
[0006]S1，获取当前阶段患者的RGB口腔扫描视频；
[0007]S2，基于所述口腔扫描视频训练牙齿视频实例分割模型，得到视频中每个牙齿的实例分割掩码；
[0008]S3，采用多视图颌姿态估计方法推断每帧的颌姿态，包括以下子步骤：
[0009]S3.1，基于固定牙齿的多视图颌6D姿态估计，具体为：针对具有固定牙齿的帧，根据ZebraPose算法预测得到固定牙齿的初始6D姿态，根据不同帧中相同固定牙齿的姿态得到相机相对姿态，通过固定牙齿的相邻牙齿判断相机相对姿态的合理性，采用合理的相机相对姿态基于bundle adjustment损失更新固定牙齿姿态；
[0010]S3.2，双向颌6D姿态跟踪，具体为：将不包含固定牙齿的帧作为待跟踪的目标帧，利用与其前后最近邻的包含固定牙齿的帧的视觉特征，通过双向循环神经网络来估计目标帧中的颌姿态；
[0011]S4，利用基于迭代的方法估计每个正畸牙齿在正畸治疗过程中的相对位姿变化，在每次迭代过程中最小化正畸前的正畸牙齿3D模型的投影与正畸后的正畸牙齿前景图像
的像素匹配损失。
[0012]进一步地，所述牙齿视频实例分割模型的输入为视频中提取的长度为T的帧集合{I
t
}，t＝1,2,...,T，将这些帧通过骨干网络进行特征提取，得到每帧的特征图{x
t
}；然后将这些特征图使用添加了位置编码PE的transformer编码器进行编码；接下来将帧查询输入到transformer解码器中，获得实例查询，然后将实例查询通过实例传播模块得到预测的实例框和实例类别，再结合transformer编码器编码通过反卷积和上采样层得到的像素级的语义信息，得到牙齿实例分割掩码。
[0013]进一步地，所述实例传播模块包括两个分支：实例框预测分支和实例类别预测分支；所述实例传播模块的输入中，假设第t帧的第i个实例查询为通过初始化的查询权值传播到第t+1帧；
[0014](1)实例框预测分支：每个实例的实例框通过学习帧间位置和尺度的偏移量来进行帧间传播，第t帧的第i个实例框r
ti
通过如下公式得到：
[0015][0016]其中，σ(
·
)是sigmoid函数，W
r
是需要学习的权重矩阵；在视频的第1帧中，实例框r
1i
通过实例查询的映射函数得到，即
[0017](2)实例类别预测分支：由于实例在不同帧中的外观不一致，实例的类别概率分布会发生变化，第i个实例在第t帧的类别向量为：
[0018][0019]其中，σ(
·
)是sigmoid函数，W
c
和W
t
是需要学习的权重矩阵，f是存储帧的索引，对于第t帧，其存储帧为第t
‑
d帧到第t
‑
1帧，d是预设的存储帧数，Concate(
·
)为拼接函数。
[0020]进一步地，所述牙齿视频实例分割模型中设计时间一致性损失L
tc
；出现在不同帧中的相同实例构成一个正集，而出现在不同帧中的不同实例构成一个负集，时间一致性损失L
tc
计算公式如下：
[0021][0022]其中，d是预设的存储帧数，f是存储帧的索引，k是实例对应的类别向量最高概率值高于设定阈值的实例数，τ是衰减系数。
[0023]进一步地，总损失函数是实例分类损失L
cls
、实例框损失L
box
、语义分割损失L
mask
，以及时间一致性损失L
tc
的线性组合，公式如下：
[0024]L
total
＝λ
c
L
cls
+λ
b
L
box
+λ
m
L
mask
+L
tc
[0025]其中，λ
c
，λ
b
，λ
m
是用于平衡不同约束的系数。
[0026]进一步地，所述基于固定牙齿的多视图颌6D姿态估计具体为：
[0027]将视频中每一帧实例分割得到的牙齿前景区域作为输入，其中t是帧的索引，根据ZebraPose算法预测得到第t帧中固定牙齿lm的初始6D姿态T
t,lm
；
[0028]假设第s帧和第t帧中均包含固定牙齿lm，将作为相机相对姿态，通过以下方式评估相机相对姿态的合理性：
[0029]令n作为与固定牙齿lm相邻的牙齿的索引，并且这些牙齿在相同的帧中同时出现，T
s,n
和T
s,t
T
t,n
之间的距离度量如下：
[0030][0031]其中，γ
n
是牙齿n的表面点云集合；
[0032]将计算的距离D与预设阈值C进行比较，如果D＜C则判定相机相对姿态合理可用于后续损失函数的计算，否则不合理进行舍弃；
[0033]固定牙齿lm的姿态T
t,lm
通过bundle adjustment损失函数进行恢复，公式如下：
[0034][0035]其中，χ
lm
是固定牙齿lm的表面点云集合，S
s,lm
是通过实例分割提取的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视图颌姿态估计的正畸治疗监测方法，其特征在于，包括以下步骤：S1，获取当前阶段患者的RGB口腔扫描视频；S2，基于所述口腔扫描视频训练牙齿视频实例分割模型，得到视频中每个牙齿的实例分割掩码；S3，采用多视图颌姿态估计方法推断每帧的颌姿态，包括以下子步骤：S3.1，基于固定牙齿的多视图颌6D姿态估计，具体为：针对具有固定牙齿的帧，根据ZebraPose算法预测得到固定牙齿的初始6D姿态，根据不同帧中相同固定牙齿的姿态得到相机相对姿态，通过固定牙齿的相邻牙齿判断相机相对姿态的合理性，采用合理的相机相对姿态基于bundle adjustment损失更新固定牙齿姿态；S3.2，双向颌6D姿态跟踪，具体为：将不包含固定牙齿的帧作为待跟踪的目标帧，利用与其前后最近邻的包含固定牙齿的帧的视觉特征，通过双向循环神经网络来估计目标帧中的颌姿态；S4，利用基于迭代的方法估计每个正畸牙齿在正畸治疗过程中的相对位姿变化，在每次迭代过程中最小化正畸前的正畸牙齿3D模型的投影与正畸后的正畸牙齿前景图像的像素匹配损失。2.根据权利要求1所述的方法，其特征在于，所述牙齿视频实例分割模型的输入为视频中提取的长度为T的帧集合{I
t
}，t＝1,2,...,T，将这些帧通过骨干网络进行特征提取，得到每帧的特征图{x
t
}；然后将这些特征图使用添加了位置编码PE的transformer编码器进行编码；接下来将帧查询输入到transformer解码器中，获得实例查询，然后将实例查询通过实例传播模块得到预测的实例框和实例类别，再结合transformer编码器编码通过反卷积和上采样层得到的像素级的语义信息，得到牙齿实例分割掩码。3.根据权利要求2所述的方法，其特征在于，所述实例传播模块包括两个分支：实例框预测分支和实例类别预测分支；所述实例传播模块的输入中，假设第t帧的第i个实例查询为通过初始化的查询权值传播到第t+1帧；(1)实例框预测分支：每个实例的实例框通过学习帧间位置和尺度的偏移量来进行帧间传播，第t帧的第i个实例框通过如下公式得到：其中，σ(
·
)是sigmoid函数，W
r
是需要学习的权重矩阵；在视频的第1帧中，实例框r
1i
通过实例查询的映射函数得到，即(2)实例类别预测分支：由于实例在不同帧中的外观不一致，实例的类别概率分布会发生变化，第i个实例在第t帧的类别向量为：其中，σ(
·
)是sigmoid函数，W
c
和W
t
是需要学习的权重矩阵，f是存储帧的索引，对于第t帧，其存储帧为第t
‑
d帧到第t
‑
1帧，d是预设的存储帧数，Concate(
·
)为拼接函数。4.根据权利要求1所述的方法，其特征在于，所述牙齿视频实例分割模型中设计时间一致性损失L
tc
；出现在不同帧中的相同实例构成一个正集，而出现在不同帧中的不同实例构成一个负集，时间一致性损失L
tc
计算公式如下：
其中，d是预设的存储帧数，f是存储帧的索引，k是实例对应的类别向量最高概率值高于设定阈值的实例数，τ是衰减系数。5.根据权利要求4所述的方法，其特征在于，所述牙齿视频实例分割模型中，总损失函数是实例分类损失L
cls
、实例框损失L
box
、语义分割损失L
mask
，以及时间一致性损失L
tc
的线性组合，公式如下：L
total
＝λ
c
L
cls
+λ
b
L
box
+λ
m
L
mask
+L
tc
其中，λ
c
，λ
b
，λ
m
是用于平衡不同约束的系数。6.根据权利要求1所述的方法，其特征在于，所述基于固定牙齿的多视图颌6D姿态估计具体为：将视频中每一帧实例分割得到的牙齿前景区域作为输入，其中t是帧的索引，根据ZebraPose算法预测得到第t帧中固定牙齿lm的初始6D姿态T
t,lm
；假设第s帧和第t帧中均包含固定牙齿lm，将作为相机相对姿态，通过以下方式评估相机相对姿态的合理性：令n作为与固定牙齿lm相邻的牙齿的索引，并且这些牙...

【专利技术属性】
技术研发人员：田彦，付汉侍，徐永川，王昊，林毅龙，朱云芳，江照意，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：