一种基于单目视觉的口腔建模方法、系统和存储介质技术方案

本发明专利技术公开了一种基于单目视觉的口腔建模方法、系统和存储介质，通过将标定物贴附于牙龈前表面，然后采用单目相机获取带有标定物的口腔图像，以生成包含口腔和标定物特征的第一点云数据，然后对第一点云数据去除离群点和干扰信息后，对其进行分离以获取牙齿点云数据、标定物点云数据和牙龈点云数据，将标定物点云数据与预存的标定物实际模型进行比对确定标定物缩放因子，根据所述缩放因子对牙齿点云数据重建获得牙齿三维模型。整个口内扫描过程只需依赖单面相机即可完成，克服了现有的依靠双目重建或RGBD方式对口腔内牙齿进行三维重建的口内扫描仪的设备成本较高且难以小型化的问题。化的问题。化的问题。

【技术实现步骤摘要】
一种基于单目视觉的口腔建模方法、系统和存储介质


[0001]本专利技术涉及智慧医疗
，具体涉及一种基于单目视觉的口腔建模方法方法、系统和存储介质。

技术介绍

[0002]在临床口腔诊疗和修复过程中，通过三维扫描获得口腔内部的三维数字化模型的方法主要分为口外扫描和口内扫描两种。口外扫描方式需要医生先对口腔进行印模获取牙齿的石膏模型，再利用三维扫描设备对石膏牙模进行扫描得到其三维数字模型；口内扫描方式则是将口腔扫描器伸进口腔直接对牙齿进行扫描从而获得牙齿的三维数字模型，该方式操作简单、高效且测量速度快，因而节省了医生椅边操作的时间，又因无需手工印模，也避免了因制模和翻模引起的误差，测量精度较高。目前，口内扫描技术大部分是通过双目重建或RGBD方式对口腔内牙齿进行三维重建，得到数字化的口腔三维模型。这些双目相机与RGBD传感器可以分别通过视差图与结构光等技术对距离进行测量从而得到尺度。但是这类利用双目相机或RGBD传感器来进行三维重建的口腔扫描件成本较高且难以小型化。而如果能通过单目相机来进行三维重建则能有效降低扫描仪成本并扫描仪体积，但是由于单目三维重建自身的局限性，其自身无法仅凭图片就能确定模型的实际尺度。

技术实现思路

[0003]本专利技术的目的就在于为解决上述问题而公开了一种基于单目视觉的口腔建模方法方法、系统和存储介质，包括如下步骤：
[0004]S1，通过单目相机获取带有标定物的口腔图像，所述标定物被贴附于牙龈前表面，生成包含口腔和标定物特征的第一点云数据；
[0005]S2，通过第一神经网络分类器对第一点云数据进行分类形成第一类点和第二类点，所述第一类点为附着于牙齿、牙龈或标定物表面的点云，所述第二类点为离散点云；
[0006]S3，遍历各帧口腔图像，删除各帧图像中作为第二类点的特征点和约束关系，将剩余所有帧图像中的特征点作为第一类点的候选特征点，并删除其中不包含第一类点的整帧图像，获取由第一类点组成的第二点云数据；
[0007]S4，通过第二神经网络分类器对第二点云数据进行筛选分类，分别获取牙齿点云数据、标定物点云数据和牙龈点云数据；
[0008]S5，将标定物点云数据与预存的标定物实际模型进行比对确定标定物缩放因子，根据所述缩放因子对牙齿点云数据重建获得牙齿三维模型。
[0009]优选的，所述步骤S2包括：获取作为样本的第一点云数据并进行标注，将附着于牙齿、牙龈或标定物表面的点云标注为第一类点，将离散点云标注为第二类点，将标注完成的第一类点和第二类点送入第一神经网络分类器进行训练用于筛选第一类点。
[0010]优选的，所述步骤S2还包括：
[0011]对作为样本的第一点云数据中的各特征点分别进行判断，如果特征点大于周围领
域则保留该特征点，否则将其右侧相邻特征点作为极大值候选点；
[0012]采用单调递增的方式向右查找，直至找到满足I[i]>I[i+1]的特征点，若i<＝W
‑
1，则保留该点；
[0013]计算该特征点质量如果该点质量大于特定阈值则保留该点并乘以周围点对该点的贡献权重，否则将该点质量设置为零；
[0014]判断该点与前后帧相邻位置特征点是否存在冗余，若存在冗余则删除该特征点，否则将该特征点保留标注为第一类点。
[0015]优选的，所述步骤S4包括：所述标定物为长方体标定物，获取作为样本的第二点云数据，对第二点云数据中的属于长方体标定物和牙齿的点云分别进行不同标注，将标注完成的第二点云数据送入第二神经网络分类器进行训练用于筛选标定物点云数据和牙齿点云数据。
[0016]优选的，所述步骤S5包括：
[0017]对标定物单独进行三维模型均匀采样获得第一采样数据；
[0018]对第一采样数据进行平面提取，获取两两互相接触的标定物四个平面的点数据作为相邻面点云数据；
[0019]对第一采样数据添加平面正则化约束获得第二采样数据，所述平面正则化约束为所述相邻面点云数据的各面关联点到当前面的距离最小，且所含点云数据较少的两面夹角趋近于零，以及所含点云数据较少的两面与所含的点云数据较多两面夹角趋近于90度；
[0020]将第二采样数据与标定物点云数据比对确定标定物缩放因子。
[0021]本专利技术还公开了一种基于单目视觉的口腔扫描系统，包括单面相机和与所述单目相机连接的控制器，所述控制器被配置为：通过单目相机获取带有标定物的口腔图像，所述标定物被贴附于牙龈前表面，生成包含口腔和标定物特征的第一点云数据；通过第一神经网络分类器对第一点云数据进行分类形成第一类点和第二类点，所述第一类点为附着于牙齿、牙龈或标定物表面的点云，所述第二类点为离散点云；遍历各帧口腔图像，删除各帧图像中作为第二类点的特征点和约束关系，将剩余所有帧图像中的特征点作为第一类点的候选特征点，并删除其中不包含第一类点的整帧图像，获取由第一类点组成的第二点云数据；通过第二神经网络分类器对第二点云数据进行筛选分类，分别获取牙齿点云数据、标定物点云数据和牙龈点云数据；将标定物点云数据与预存的标定物实际模型进行比对确定标定物缩放因子，根据所述缩放因子对牙齿点云数据重建获得牙齿三维模型。
[0022]优选的，所述控制器还被配置为对获取的作为样本的第一点云数据进行标注，将附着于牙齿、牙龈或标定物表面的点云标注为第一类点，将离散点云标注为第二类点，将标注完成的第一类点和第二类点送入第一神经网络分类器进行训练用于筛选第一类点。
[0023]优选的，所述控制器还被配置为获取作为样本的第二点云数据，对第二点云数据中的属于长方体标定物和牙齿的点云分别进行不同标注，将标注完成的第二点云数据送入第二神经网络分类器进行训练用于筛选标定物点云数据和牙齿点云数据。
[0024]本专利技术还公开了一种基于单目视觉的口腔建模装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程
序时实现如上述任一所述方法的步骤。
[0025]本专利技术还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述方法的步骤。
[0026]本专利技术公开的基于单目视觉的口腔建模方法、系统和存储介质通过将标定物被贴附于牙龈前表面，然后采用单目相机获取带有标定物的口腔图像，并生成包含口腔和标定物特征的第一点云数据，然后对第一点云数据去除离群点和干扰信息后，对其进行分离以获取牙齿点云数据、标定物点云数据和牙龈点云数据，将标定物点云数据与预存的标定物实际模型进行比对确定标定物缩放因子，根据所述缩放因子对牙齿点云数据重建获得牙齿三维模型。整个口内扫描过程只需依赖单面相机即可完成，克服了现有的依靠双目重建或RGBD方式对口腔内牙齿进行三维重建的口内扫描仪的设备成本较高且难以小型化的问题。
附图说明
[0027]图1为本专利技术一实施例公开的基于单目视觉的口腔建模方法的步骤示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目视觉的口腔建模方法，其特征在于，包括如下步骤：S1，通过单目相机获取带有标定物的口腔图像，所述标定物被贴附于牙龈前表面，生成包含口腔和标定物特征的第一点云数据；S2，通过第一神经网络分类器对第一点云数据进行分类形成第一类点和第二类点，所述第一类点为附着于牙齿、牙龈或标定物表面的点云，所述第二类点为离散点云；S3，遍历各帧口腔图像，删除各帧图像中作为第二类点的特征点和约束关系，将剩余所有帧图像中的特征点作为第一类点的候选特征点，并删除其中不包含第一类点的整帧图像，获取由第一类点组成的第二点云数据；S4，通过第二神经网络分类器对第二点云数据进行筛选分类，分别获取牙齿点云数据、标定物点云数据和牙龈点云数据；S5，将标定物点云数据与预存的标定物实际模型进行比对确定标定物缩放因子，根据所述缩放因子对牙齿点云数据重建获得牙齿三维模型。2.根据权利要求2所述的基于单目视觉的口腔建模方法，其特征在于，所述步骤S2包括：获取作为样本的第一点云数据并进行标注，将附着于牙齿、牙龈或标定物表面的点云标注为第一类点，将离散点云标注为第二类点，将标注完成的第一类点和第二类点送入第一神经网络分类器进行训练用于筛选第一类点。3.根据权利要求2所述的基于单目视觉的口腔建模方法，其特征在于，所述步骤S2还包括：对作为样本的第一点云数据中的各特征点分别进行判断，如果特征点大于周围领域则保留该特征点，否则将其右侧相邻特征点作为极大值候选点；采用单调递增的方式向右查找，直至找到满足I[i]>I[i+1]的特征点，若i<＝W
‑
1，则保留该点；计算该特征点质量如果该点质量大于特定阈值则保留该点并乘以周围点对该点的贡献权重，否则将该点质量设置为零；判断该点与前后帧相邻位置特征点是否存在冗余，若存在冗余则删除该特征点，否则将该特征点保留标注为第一类点。4.根据权利要求3所述的基于单目视觉的口腔建模方法，其特征在于，所述步骤S4包括：所述标定物为长方体标定物，获取作为样本的第二点云数据，对第二点云数据中的属于长方体标定物和牙齿的点云分别进行不同标注，将标注完成的第二点云数据送入第二神经网络分类器进行训练用于筛选标定物点云数据和牙齿点云数据。5.根据权利要求4所述的基于单目视觉的口腔建模方法，其特征在于，所述步骤S5包括：对标定物单独进行三维模型均匀采样获得第一采样数据；对第一采样数据进行平面提取，获取两两互相接...

【专利技术属性】
技术研发人员：吴龙永，何蕊，邢济慈，尚建嘎，王地，
申请(专利权)人：杭州捷扫科技有限公司，
类型：发明
国别省市：