本公开涉及一种三维动态跟踪方法、装置、电子设备和存储介质，跟踪方法包括：获取人脸微笑数据、三维牙数据以及人脸模板数据；将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据；将初始深度点云数据进行融合获取等值面，并获取等值面对应的目标深度点云数据；将目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；根据目标深度点云数据优化初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；将目标人脸模板点云数据与初始纹理数据识别的牙齿区域与初始三维牙数据在拟合区域拟合，提高三维牙齿跟踪的准确性。高三维牙齿跟踪的准确性。高三维牙齿跟踪的准确性。
【技术实现步骤摘要】
一种三维动态跟踪方法、装置、电子设备和存储介质
[0001]本公开涉及三维形变
，尤其涉及一种三维动态跟踪方法、装置、电子设备和存储介质。
技术介绍
[0002]目前，数据采集技术和三维重建技术的快速发展使得物理模型的高精度数字化成为可能。在齿科数字化领域，通过扫描和3D重建可以得到三维牙颌数字化模型，从而实现齿科产品的后续加工和定制化生产。通过三维重建技术，用户在牙齿矫正之前，可通过三维牙齿模型看到自己的牙齿被矫正之后的效果。
[0003]现有技术中一般采用2D脸+2D牙，即根据拍摄的2D图片，手动调节牙齿模型以获取矫正后的牙齿，或者2D脸+3D牙，即根据拍摄的2D图片，将3D牙模投影到图片上的对应牙齿区域。由于2D的图片下颌露出一般都较少，且只有在保持露牙较多的姿势下才能实现对下颌跟踪，因此跟踪效果较差。此外，采用2D进行牙齿跟踪时没有人脸尺度信息，视觉效果一般。
技术实现思路
[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种三维动态跟踪方法、装置、电子设备和存储介质，提高三维牙齿跟踪的准确性。
[0005]第一方面，本公开实施例提供了一种三维动态跟踪方法，包括：
[0006]获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，所述人脸微笑数据包括纹理数据和深度数据；
[0007]将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，其中，所述初始点云数据包括初始深度点云数据、初始纹理数据、初始三维牙点云数据和初始人脸模板点云数据；
[0008]将所述初始深度点云数据进行融合获取等值面，并获取所述等值面对应的目标深度点云数据；
[0009]将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；
[0010]根据所述目标深度点云数据优化所述初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；
[0011]将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合。
[0012]可选的，所述将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据包括：
[0013]获取人脸微笑数据、三维牙数据以及人脸模板数据的源点云数据；
[0014]确定迭代最近点算法中的旋转参数、平移参数以及误差阈值；
[0015]根据旋转参数、平移参数以及误差阈值将源点云数据注册到预设坐标系下得到初始点云数据。
[0016]可选的，所述将所述初始深度点云数据进行融合获取等值面，根据所述等值面确定目标深度点云数据，包括：
[0017]采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值；
[0018]根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面；
[0019]根据所述等值面对应的点云数据确定目标深度点云数据。
[0020]可选的，所述采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值，包括：
[0021]建立初始点云数据对应的长方形体包围盒；
[0022]将初始点云数据对应的长方形体包围盒体素化；
[0023]采用TSDF算法计算各体素化中初始深度点云数据对应的TSDF值以及权重值。
[0024]可选的，所述根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面，包括：
[0025]将截断符号距离函数值和权重值进行预处理并读入特定的数组中；
[0026]获取不同体素化对应的单元体的位置信息；
[0027]根据各所述单元体位置信息确定各所述单元体对应的状态表；
[0028]根据各所述单元体的状态表，获取与等值面相交的各所述单元体棱边，并采用线性插值的方法计算出各所述单元体与等值面相交处的位置坐标；
[0029]利用中心差分法，获取各所述单元体中各顶点的法向量，并采用线性插值的方法，得到三角面片各个顶点的法向量；
[0030]根据各所述单元体与等值面相交处的位置坐标以及顶点法向量确定等值面。
[0031]可选的，所述将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸动态数据对应的目标纹理数据，包括：
[0032][0033]其中：(p)表示p点投影到第i个相机视角的权重值，表示p点投影到第i个相机视角下的像素值。
[0034]可选的，所述将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合，包括：
[0035]将目标人脸模板点云数据与初始纹理数据识别的牙齿区域采用高斯牛顿法与初始三维牙数据在拟合区域拟合。
[0036]第二方面，本公开实施例还提供一种三维动态跟踪装置，包括：
[0037]数据获取模块，用于获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，所述人脸微笑数据包括纹理数据和深度数据；
[0038]初始云点数据获取模块，用于将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，其中，所述初始点云数据包括初始深度点云
数据、初始纹理数据、初始三维牙点云数据和初始人脸模板点云数据；
[0039]目标深度点云数据获取模块，用于将所述初始深度点云数据进行融合获取等值面，并获取所述等值面对应的目标深度点云数据；
[0040]目标纹理数据获取模块，将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；
[0041]人脸模板跟踪模块，用于根据所述目标深度点云数据优化所述初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；
[0042]三维牙齿跟踪模块，用于将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合。
[0043]第三方面，本公开实施例还提供一种电子设备，包括：
[0044]一个或多个处理器；
[0045]存储装置，用于存储一个或多个程序，
[0046]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的三维动态跟踪方法。
[0047]第四方面，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一所述的三维动态跟踪方法。
[0048]本公开实施例提供的技术方案与现有技术相比具有如下优点：
[0049]本公开实施例提供的三维动态跟踪方法、装置、电子设备和存储介质，通过将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标下得到初始点云数据，将获取的初始点云数据中的初始深度点云数据进行融合获取等值面，进而获取到等值面对应的目标深度点云数据，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维动态跟踪方法，其特征在于，包括：获取人脸微笑数据、三维牙数据以及人脸模板数据，其中，所述人脸微笑数据包括纹理数据和深度数据；将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据，其中，所述初始点云数据包括初始深度点云数据、初始三维牙点云数据和初始人脸模板点云数据；将所述初始深度点云数据进行融合获取等值面，并获取所述等值面对应的目标深度点云数据；将所述目标深度点云数据反投影至初始纹理数据，并获取反投影后人脸微笑数据对应的目标纹理数据；根据所述目标深度点云数据优化所述初始人脸模板点云数据获取目标人脸模板点云数据，实现人脸表情变化跟踪；将所述目标人脸模板点云数据与所述初始纹理数据识别的牙齿区域与所述初始三维牙数据在拟合区域拟合。2.根据权利要求1所述的方法，其特征在于，所述将获取的人脸微笑数据、三维牙数据以及人脸模板数据注册到预设坐标系下得到初始点云数据包括：获取人脸微笑数据、三维牙数据以及人脸模板数据的源点云数据；确定迭代最近点算法中的旋转参数、平移参数以及误差阈值；根据旋转参数、平移参数以及误差阈值将源点云数据注册到预设坐标系下得到初始点云数据。3.根据权利要求1所述的方法，其特征在于，所述将所述初始深度点云数据进行融合获取等值面，根据所述等值面确定目标深度点云数据，包括：采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值；根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面；根据所述等值面对应的点云数据确定目标深度点云数据。4.根据权利要求3所述的方法，其特征在于，所述采用TSDF算法获取所述初始深度点云数据对应的截断符号距离函数值和权重值，包括：建立初始点云数据对应的长方形体包围盒；将初始点云数据对应的长方形体包围盒体素化；采用TSDF算法计算各体素化中初始深度点云数据对应的TSDF值以及权重值。5.根据权利要求4所述的方法，其特征在于，所述根据所述截断符号距离函数值和权重值采用水泡动画模拟算法获取初始深度点云数据对应的等值面，包括：将截断符号距离函数值和权重值进行预处理并读入特定的数组中；获取不同体素化对应的单元体的位置信息；根据各所述单元体位置信息确定各所述单元体对应的状态表；根据各所述单元体的状态表，获取与等值面相交的各所述单元体棱边，...
【专利技术属性】
技术研发人员：华昀峰，田彦，江腾飞，许威威，段子恒，陶泓羽，
申请(专利权)人：先临三维科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。