渲染牙模型制造技术

本发明专利技术涉及用于在脸部的二维图像(20)中真实显示三维虚拟牙模型(1)的方法，该方法包括估计或假定脸部图像中的光照情况，确定图像中嘴区域的边界，基于所述嘴区域的边界、基于三维脸部几何体并且基于光照情况计算所述嘴区域中的阴影，至少基于计算得到的阴影计算所述牙模型(1)的光照，以及显示所述牙模型(2)和所述二维图像(20)，其中至少图像中的嘴区域与具有计算得到的光照的牙模型的显示(21)重叠。

Rendering tooth models

【技术实现步骤摘要】
渲染牙模型
本专利技术涉及计算机实施的方法，其用于在人脸的图像或图像流中真实显示义齿或其它牙齿假体(牙齿模型)的三维模型。具体说，所描述的方法允许在牙虚拟模型应用中比如牙科增强现实应用中真实显示牙模型。在本专利技术的上下文中，术语“义齿”不一定被限制为全口义齿，而是也包括局部义齿或矫正情况/调整或牙修复体比如牙齿假体，包括牙冠、牙冠层、贴面、嵌体和高嵌体、桥接件、牙种植体、种植体修复体。相应地，术语“牙模型”包括用于口腔修复的牙齿假体的所有模型，比如全口义齿或局部义齿的模型。该牙模型还可包括附接至义齿或真牙的器械，比如牙套和保持架或用于多种目的的护牙托。
技术介绍
对于牙医和患者而言，感兴趣的是获得具有调整后的牙齿情况的患者脸部外观的视觉印象，即在患者脸部的图像中显示调整后的牙齿情况。同样，在决定经受此项治疗之前对于患者而言重要的是牙齿治疗过程中或治疗后的外观。为此目的，由牙齿治疗调整过的齿系的虚拟预览(虚拟模型)对于牙医而言是有帮助的并且还可在交互式调整治疗计划的过程中使用以获得最有利的美学效果。在牙虚拟模型应用中，虚拟牙齿在患者脸部或其部分的图片或视频中示出。真实显示在这个领域中是重要的，因为人们对于与真实人脸的偏差非常敏感。这是一个被称作“恐怖谷理论”的公知问题。为了克服在脸部图片或视频内显示虚拟牙齿时的该“恐怖谷理论”问题，三维(3D)渲染内容的真实光照是关键。由此，渲染的虚拟内容的光照应与真实场景即脸部的基本光照相匹配。到目前为止，在牙科中渲染三维虚拟齿系的应用中尚不存在此种光照。<br>在渲染虚拟角色的计算机游戏中，该角色的三维脸部几何体被用于产生光照和阴影效果。但是，脸部的图像或视频是二维(2D)的并且由此无法提供三维脸部几何体。对于此问题的另一种常用解决方案为光线追踪。这通过将许多物理影响考虑在内而实现真实渲染。但是，这个方法对于实时应用而言通常过慢。
技术实现思路
由此本专利技术的目的是提供一种计算机实施的方法，其允许真实渲染和照亮尤其显示全口义齿或局部义齿的虚拟三维牙模型。另一个目的是提供一种方法，其中所得到的渲染的虚拟牙模型适于脸部的相机图像。另一个目的是提供能够允许克服恐怖谷理论问题的方法。另一个目的是提供允许实时真实渲染和照亮模型的方法。另一个目的是提供在增强现实(AR)应用中允许真实渲染和照亮模型的方法。另一个目的是提供一种方法，其可在具有有限的计算能力和/或能提供实况视频的移动装置上被执行(尤其实时)。另一个目的是提供全自动或半自动地执行的方法。再一个目的是提供用于执行此方法的手持移动装置。这些目的中的至少一个通过权利要求1的方法、权利要求14的移动装置和/或本申请的其中一个从属权利要求实现。本专利技术的第一方面涉及用于在脸部的二维图像中真实显示虚拟牙模型的方法，该图像至少包括脸部的嘴区域。该牙模型包括牙齿假体(或其部分)的三维显示。例如，该模型可为全口义齿或者局部义齿的模型。特别地，该牙模型是包括一个或多个牙齿、尤其是具有或没有牙龈(齿龈)的多个牙齿例如六个或更多颗牙齿的数字三维模型。该方法包括估计或假定脸部图像中的光照情况并且确定图像中嘴区域的边界，尤其其中所述边界由脸部的唇的内边界限定。该光照情况包括一个或多个光源，尤其也包括光源的位置、所基于的图像或者全局的光照、球谐光照或定向光源。基于嘴区域的边界、基于三维脸部几何体并且基于光照情况计算嘴区域中(或者空间上在嘴区域的后方区域中)的阴影。至少基于计算得到的阴影，计算牙模型的光照。最后三维牙模型和二维图像一起显示，牙模型的显示(例如牙模型的二维显示)具有计算得到的光照。具体地，至少图像中的嘴区域与牙模型的显示重叠。根据该方法的一个实施例，三维脸部几何体是指脸部即在图像中示出的同一脸部的几何形状，其中该脸部几何体采用深度传感器获取。特别地，该三维脸部几何体可与二维图像一起或者作为距离图像被获得。根据该方法的替代实施例，该三维脸部几何体至少接近人脸(或者至少嘴区域)的几何形状，其中至少包括嘴区域的边界的图像平面投影到三维几何体上。特别地，该三维脸部几何体可至少包括圆柱或棱柱的一部分侧表面，至少包括所述嘴区域的图像部分的图像平面投影到部分侧表面上。根据该方法的一个实施例，计算光照包括-为所述虚拟牙模型的表面上的多个表面点(如虚拟牙模型的顶点)生成到达多个虚拟点光源中的每一个的第一光线，-为每束第一光线生成到达虚拟相机的第二光线，所述第一光线与所述三维脸部几何体的交汇点被用作为所述第二光线的起点，和-所述第二光线与图像平面的交汇点被用作为用于确定对应表面点的光照的观察位置，其中如果所述第二光线与所述图像平面在所述嘴区域处相交，那么表面点被假设由虚拟点光源照亮，根据该方法的另一个实施例，在二维图像中显示牙模型包括基于图像的上色调适牙模型的上色。在一个实施例中调适上色包括-识别牙齿、牙龈和唇中的至少一个在所述图像中的参考颜色。例如，所述参考颜色可指平均颜色，并且识别参考颜色可包括对图像中的与牙齿、牙龈和/或唇相关的图像像素进行自动划分。采用一种参考颜色或多种参考颜色来估计所述图像的颜色空间。采用所述图像的估计的颜色空间来转换所述牙模型的颜色空间。尤其是所述图像的估计的颜色空间被用作所述牙模型的颜色空间。例如，该牙模型的颜色空间可被转换以匹配图像的颜色空间。根据该方法的另一个实施例，基于估计的光照情况计算该牙模型的光照。该光照情况可基于图像中脸部的光照进行估计。在一个实施例中，估计光照情况包括-估计尤其具有球谐光照和虚拟点光源的低频光照，和/或-检测所述脸部的眼中的反射以估计光源的位置，尤其是高频光照。根据该方法的另一个实施例，由确定的边界计算得出嘴区域的柔和的或者模糊的边缘，其中基于柔和或模糊的边缘计算阴影以避免生硬的阴影边缘。根据该方法的另一个实施例，计算所述牙模型的光照包括施加光照和着色效果，所述效果包括镜面反射、颜色或环境光遮挡中的至少一个。根据该方法的另一个实施例，显示所述牙模型包括模拟相机效果以使所述牙模型的外观接近所述图像中的脸部的外观，模拟的相机效果包括动态范围、对比度、饱和度、噪声、镜头失真、白平衡、散焦和运动模糊中的至少一个。根据该方法的另一个实施例，所述图像是图像流的部分，并且至少对于所述图像流中的多帧图像实时执行所述方法。根据一个实施例，显示所述二维图像中的所述牙模型包括基于所述图像流的多帧图像的颜色调整所述牙模型的颜色，像例如包括所述图像流的现有图像和先前图像，尤其是其中采用来自多帧连续图像的平均值调适上色。根据另一个实施例，该方法还包括借助于相机采集所述图像流以及在显示装置上向用户显示所述牙模型和所述二维图像，尤其是其中所述脸部是指用户的脸部。根据另一个实施例，所述相机和所述显示装置是同一移动装置的部件，其中所述方法借助于安装至所述移动装置的计算单元上的一个或多个本文档来自技高网...

【技术保护点】
1.一种用于在脸部的二维图像(20)中真实显示虚拟牙模型(1)的方法，该图像至少包括脸部的嘴区域(22)，所述牙模型(1)包括义齿或其它牙齿假体的三维显示，所述方法包括：/n-估计或假定在脸部图像(20)中的光照情况，该光照情况包括一个或多个光源(5)，/n-确定图像中所述嘴区域(22)的边界，尤其其中所述边界由脸部的唇的内边界限定，/n-基于所述嘴区域(22)的边界、基于三维脸部几何体(2)并且基于光照情况计算所述嘴区域(22)中的阴影，/n-至少基于计算得到的阴影计算所述牙模型(1)的光照，和/n-显示所述牙模型(1)和所述二维图像(20)，其中所述牙模型(1)的显示(21)具有计算得到的光照。/n

【技术特征摘要】
20180928 EP 18197524.41.一种用于在脸部的二维图像(20)中真实显示虚拟牙模型(1)的方法，该图像至少包括脸部的嘴区域(22)，所述牙模型(1)包括义齿或其它牙齿假体的三维显示，所述方法包括：
-估计或假定在脸部图像(20)中的光照情况，该光照情况包括一个或多个光源(5)，
-确定图像中所述嘴区域(22)的边界，尤其其中所述边界由脸部的唇的内边界限定，
-基于所述嘴区域(22)的边界、基于三维脸部几何体(2)并且基于光照情况计算所述嘴区域(22)中的阴影，
-至少基于计算得到的阴影计算所述牙模型(1)的光照，和
-显示所述牙模型(1)和所述二维图像(20)，其中所述牙模型(1)的显示(21)具有计算得到的光照。


2.根据权利要求1所述的方法，其特征是，所述三维脸部几何体(2)包括脸部的几何形状并采用深度传感器来获取，特别是其中所述三维脸部几何体(2)与脸部的二维图像(20)一起被获取和/或作为距离图像被获取。


3.根据权利要求1所述的方法，其特征是，所述三维脸部几何体(2)至少接近人脸的几何形状，其中至少包括所述嘴区域(22)的边界的图像平面(3)被投影到所述三维几何体(2)上，特别是其中所述三维脸部几何体(2)至少包括圆柱或棱柱的一部分侧表面，至少包括所述嘴区域的图像部分的图像平面(3)被投影到该一部分侧表面上。


4.根据前述权利要求中任一项所述的方法，其特征是，计算所述光照，包括
-为所述虚拟牙模型(1)的表面上的多个表面点(6)生成到达多个虚拟点光源(5)中的每一个的第一光线，
-为每束第一光线生成到达虚拟相机的第二光线，所述第一光线与所述三维脸部几何体(2)的交汇点(7)被用作为所述第二光线的起点，和
-所述第二光线与图像平面(3)的交汇点(8)被用作为用于确定对应表面点(6)的光照的观察位置，其中如果所述第二光线与所述图像平面(3)在所述嘴区域(22)处相交，那么表面点(6)被假定为由虚拟点光源(5)照亮，
尤其是其中多个所述表面点(6)是所述虚拟牙模型(1)的顶点。


5.根据前述权利要求中任一项所述的方法，其特征是，在所述二维图像(20)中显示所述牙模型(1)包括基于所述图像(20)的上色调适所述牙模型(1)的上色，尤其是其中调适上色包括
-识别牙齿、牙龈和唇中的至少一个在所述图像(20)中的参考颜色，尤其是其中
-所述参考颜色是平均颜色，和/或
-识别参考颜色包括对图像(20)中的与牙齿、牙龈和/或唇相关的图像像素进行自动划分，
-采用一种参考颜色或多种参考颜色来估计所述图像(20)的颜色空间，和
-采用所述图像(20)的颜色空间来转换所述牙模型(1)的颜色空间，尤其是其中所述图像(20)的颜色空间被用于所述牙模型(1)的颜色空间。

【专利技术属性】
技术研发人员：M·朗塞勒，R·米奥尔辛格，N·德根，G·索罗斯，B·内马尼娅，
申请(专利权)人：义获嘉伟瓦登特公司，
类型：发明
国别省市：列支敦士登;LI