【技术实现步骤摘要】
本专利技术实施例涉及机器人，尤其涉及一种颌骨关键点识别及关键点识别模型的训练方法、口腔机器人系统。
技术介绍
1、颌骨，作为人类口腔结构的重要组成部分，可以被细致地划分为上颌骨和下颌骨。这两部分骨头以及它们所附着的肌肉组织共同构成了我们口腔的上下两部分。通常情况下，口腔的上半部分被称为上颌，而下半部分则被称为下颌。为了能够精确地对颌骨的结构进行定量分析，以及为了更有效地规划和设计口腔修复手术方案，对颌骨关节的cbct（锥形束计算机断层扫描）图像中的关键点进行准确识别显得尤为重要。在传统的操作流程中，这些关键点的识别工作通常是由具有丰富经验的医师来完成的，他们需要手动在图像上标记出这些关键点。然而，这种手动标记的方法效率低下，且智能化程度不高，这在一定程度上限制了口腔修复手术的效率和精确度。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种颌骨关键点识别及关键点识别模型的训练方法、口腔机器人系统，以至少部分解决上述问题。
2、根据本专利技术实施例的第一方面，提供了一种颌骨关键点识别方法，其包括：
3、待训练关键点识别模型根据颌骨多模态数据预测颌骨关键点位置以生成多个任务输出；
4、调用配置的多个损失函数，根据所述多个任务输出，计算多个损失值；
5、基于为不同损失值分配的融合权重，对所述多个损失值进行融合，得到融合损失值；
6、根据所述融合损失值对所述待训练关键点识别模型的网络参数进行调整，直至模型训练结束得到颌骨关键点识
7、基于所述颌骨关键点识别模型从输入的颌骨cbct数据上识别出颌骨关键点。
8、可选地，所述颌骨多模态数据包括：颌骨cbct数据样本、上颌骨和下颌骨分割结果样本、关键点偏差值样本和原始关键点坐标样本；
9、所述待训练关键点识别模型根据颌骨多模态数据预测颌骨关键点位置以生成多个任务输出，包括：
10、所述待训练关键点识别模型对所述颌骨cbct数据样本、上颌骨和下颌骨分割结果样本进行特征提取，以生成多个任务输出。
11、可选地，所述待训练关键点识别模型包括：下采样网络、特征融合网络、特征提取网络，所述待训练关键点识别模型对所述颌骨cbct数据样本、上颌骨和下颌骨分割结果样本进行特征提取，以生成多个任务输出，包括：
12、基于所述下采样网络，对所述颌骨cbct数据样本进行下采样，得到第一下采样特征；
13、基于所述下采样网络，对所述上颌骨和下颌骨分割结果样本进行下采样，得到第二下采样特征；
14、基于所述特征融合网络，对所述第一下采样特征和所述第二下采样特征进行特征融合，得到下采样融合特征；
15、基于所述特征提取网络，对所述下采样融合特征进特征提取，以生成多个任务输出。
16、可选地，所述特征提取网络包括具有并行的多个特征提取子网络，不同的特征提取子网络具有不同的分辨率；
17、所述基于所述特征提取网络，对所述下采样融合特征进特征提取，以预测所述颌骨cbct数据样本上的颌骨关键点位置，包括：
18、基于每个特征提取子网络按照对应的分辨率对所述下采样融合特征进行逐级特征提取，并在逐级特征提取的过程不同的特征提取子网络进行特征的跨尺度特征交错融合，以生成多个任务输出。
19、可选地，所述特征融合网络包括：加和层、跳跃连接层、卷积层；
20、所述基于所述特征融合网络，对所述第一下采样特征和所述第二下采样特征进行特征融合，得到下采样融合特征，包括：
21、对所述第一下采样特征和所述第二下采样特征进行加和处理得到加和特征；
22、通过所述跳跃连接层将所述加和特征分别添加到所述第一下采样特征和所述第二下采样特征中，得到第一下采样加和特征和第二下采样加和特征；
23、基于所述卷积层对所述第一下采样加和特征和第二下采样加和特征进行投影，得到所述下采样融合特征。
24、可选地，所述多个任务输出包括：预测热力图，预测误差偏移，所述预测热力图，所述预测热力图用于计算预测的关键点的位置，所述预测误差偏移用于计算预测的关键点的误差偏移值。
25、可选地，所述调用配置的多个损失函数，根据所述多个任务输出，计算多个损失值，包括：
26、调用配置的热力损失函数，根据所述预测热力图表征的所述预测的关键点的位置的概率，计算预测的热力损失值；
27、调用配置的误差偏移损失函数，根据所述误差偏移值计算误差偏移损失值；
28、调用配置的位置损失函数，根据所述预测的关键点的位置与所述原始关键点坐标样本，计算预测位置损失值。
29、可选地，所述的方法，还包括：基于颌骨分割模型，对所述颌骨cbct数据样本进行分割得到所述上颌骨和下颌骨分割结果样本。
30、可选地，所述颌骨分割模型包括图像编码器、标签解码器、提示编码器；
31、所述基于颌骨分割模型，对所述颌骨cbct数据样本进行分割得到所述上颌骨和下颌骨分割结果样本，包括：
32、基于所述图像编码器对所述颌骨cbct数据样本进行编码，得到对应的cbct图像向量；
33、基于所述提示编码器对输入的分割提示进行编码，得到对应的分割提示向量，所述分割提示基于在所述颌骨cbct数据样本上对分割区域的框选、点选操作生成；
34、基于所述标签解码器基于所述分割提示向量对所述cbct图像向量进行解码，得到所述上颌骨和下颌骨分割结果样本。
35、根据本专利技术实施例的第二方面，提供了一种关键点识别模型的训练方法，其包括：
36、待训练关键点识别模型根据颌骨多模态数据预测颌骨关键点位置以生成多个任务输出；
37、调用配置的多个损失函数，根据所述多个任务输出，计算多个损失值；
38、基于为不同损失值分配的融合权重，对所述多个损失值进行融合，得到融合损失值；
39、根据所述融合损失值对所述待训练关键点识别模型的网络参数进行调整，直至模型训练结束得到颌骨关键点识别模型。
40、根据本专利技术实施例的第三方面，提供了一种口腔机器人系统，其包括：机械臂、主机、台车，机械臂和主机装配在所述台车上，主机用于执本申请实施例任一项所述的关键点识别方法和/或所述的训练方法。
41、在本专利技术实施例的方案中，至少具有如下技术好处：
42、1） 本方案采用包含图像编码器、标签解码器、提示编码器的颌骨分割模型对颌骨cbct数据样本进行分割以得到上颌骨和下颌骨分割结果样本。在此过程中，基于在颌骨cbct数据样本上对分割区域的框选、点选操作生成分割提示，先通过图像编码器对颌骨cbct数据样本进行编码得到对应的cbct图像向量，再利用提示编码器对输入的分割提示进行编码得到对应的分割提示向量，最后由标签解码器基于分割提示向量对cbct图像向量进行解码，从而获得上颌骨和下颌骨本文档来自技高网...
【技术保护点】
1.一种颌骨关键点识别方法，其特征在于，包括：
2.根据权利要求1所述颌骨关键点识别方法，其特征在于，所述颌骨多模态数据包括：颌骨CBCT数据样本、上颌骨和下颌骨分割结果样本、关键点偏差值样本和原始关键点坐标样本；
3.根据权利要求2所述颌骨关键点识别方法，其特征在于，所述待训练关键点识别模型包括：下采样网络、特征融合网络、特征提取网络，所述待训练关键点识别模型对所述颌骨CBCT数据样本、上颌骨和下颌骨分割结果样本进行特征提取，以生成多个任务输出，包括：
4.根据权利要求3所述颌骨关键点识别方法，其特征在于，所述特征提取网络包括具有并行的多个特征提取子网络，不同的特征提取子网络具有不同的分辨率；
5.根据权利要求3所述颌骨关键点识别方法，其特征在于，所述特征融合网络包括：加和层、跳跃连接层、卷积层；
6.根据权利要求1-5任一项所述颌骨关键点识别方法，其特征在于，所述多个任务输出包括：预测热力图，预测误差偏移，所述预测热力图，所述预测热力图用于计算预测的关键点的位置，所述预测误差偏移用于计算预测的关键点的误差偏移值。p>
7.根据权利要求6所述颌骨关键点识别方法，其特征在于，所述调用配置的多个损失函数，根据所述多个任务输出，计算多个损失值，包括：
8.一种关键点识别模型的训练方法，其特征在于，包括：
9.一种口腔机器人系统，其特征在于，包括：机械臂、主机、台车，机械臂和主机装配在所述台车上，主机用于执行权利要求1-7任一项所述的颌骨关键点识别方法和/或权利要求8所述的训练方法。
10.一种颌骨关键点识别方法，其特征在于，包括：
...【技术特征摘要】
1.一种颌骨关键点识别方法，其特征在于，包括：
2.根据权利要求1所述颌骨关键点识别方法，其特征在于，所述颌骨多模态数据包括：颌骨cbct数据样本、上颌骨和下颌骨分割结果样本、关键点偏差值样本和原始关键点坐标样本；
3.根据权利要求2所述颌骨关键点识别方法，其特征在于，所述待训练关键点识别模型包括：下采样网络、特征融合网络、特征提取网络，所述待训练关键点识别模型对所述颌骨cbct数据样本、上颌骨和下颌骨分割结果样本进行特征提取，以生成多个任务输出，包括：
4.根据权利要求3所述颌骨关键点识别方法，其特征在于，所述特征提取网络包括具有并行的多个特征提取子网络，不同的特征提取子网络具有不同的分辨率；
5.根据权利要求3所述颌骨关键点识别方法，其特征在于，所述特征融合网络包括...
【专利技术属性】
技术研发人员：李润超，刘达，
申请(专利权)人：北京柏惠维康科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。