一种口腔种植手术增强现实导航方法和系统技术方案

本发明专利技术涉及一种口腔种植手术增强现实导航方法和系统，口腔医师通过佩戴AR眼镜后，将待导航虚拟信息以虚实结合的方式投影在AR眼镜上，以三维形式直接在术区对位显示，符合人类自然视觉信息获取习惯，口腔医师不需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，辅助口腔医师进行高精度地口腔种植手术，风险低，且无需使用种植导板、有创标志钉等，不会对患者造成损伤且不存在种植导板加工误差和体积过大等问题。

An augmented reality navigation method and system for oral implant surgery

【技术实现步骤摘要】
一种口腔种植手术增强现实导航方法和系统
本专利技术涉及口腔种植手术领域，尤其涉及基于视觉SLAM技术的口腔种植手术增强现实导航方法和系统。
技术介绍
精准医疗和智能医疗是近年国际医疗设备领域的主要发展方向。过去数十年间，医疗设备上的许多重大技术突破都发生在诊断性影像学上，比如超声波、乳腺X线摄影、CT、MRI等技术的应用。这些技术让医生们能够在行医过程中更好的通过图像来诊断和治疗。目前，医学影像能够做到即时诊断。然而，在医疗设备向着精准医疗和智能医疗迅速变革的同时，图像呈现的形式却基本和上世纪50年代没有区别。视觉数据依然通过2D的平面显示屏来呈现，迫使医生或者护士在操作的过程中必须将病人身上的视线挪开。同时，这些图像也不是从观看者的角度来展示的，更多的是从设备本身：医生们必须用想象力和技巧来理解这些图像，同时还要在手术过程中将这些图像投射在病人的身上。最后，不同类型的视觉数据是分开呈现的，因此医生也必须要用额外的精力来更好的将多种图像融合在一起，这种技巧需要多年的练习和实践。在口腔医疗领域，通常情况下只会有1个医生和1个护士负责整个操作，而病人的生理情况经常很不稳定。口腔手术房间并不是专门设计的，尤其是牵涉到医学影像的设备。医生在追踪不同的图像和数据显示屏的过程中，非常容易错过和病人体征相关的关键信息。目前，在口腔种植手术中，多采用种植导板，该技术存在的问题包括：使用有创标志钉，患者难以接受；导航图像显示方式为在计算机屏幕上的二维截面显示方式，术者必须实时关注屏幕上种植机导航参数显示，不仅需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，而且无法同时关注术区及患者的术中反应，存在一定的风险等。
技术实现思路
本专利技术所要解决的技术问题是针对现有技术的不足，提供了一种口腔种植手术增强现实导航方法。本专利技术的一种口腔种植手术增强现实导航方法的技术方案如下：通过设置在AR眼镜上的单目相机获取口腔内环境的图像，并对所述图像应用SLAM算法，得到口内实景以及所述口内实景在单目相机坐标系下的第一位姿；将所述口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准，得到所述待导航虚拟信息在世界坐标系下的第二位姿；通过预设坐标转换关系将所述第一位姿、所述第二位姿处理和所述第五位姿后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，并将所述第三位姿投射在所述AR眼镜上。本专利技术的一种口腔种植手术增强现实导航方法的有益效果如下：口腔医师通过佩戴AR眼镜后，将待导航虚拟信息以虚实结合的方式投影在AR眼镜上，以三维形式直接在术区对位显示，符合人类自然视觉信息获取习惯，口腔医师不需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，辅助口腔医师进行高精度地口腔种植手术，风险低，且无需使用种植导板、有创标志钉等，不会对患者造成损伤且不存在种植导板加工误差和体积过大等问题。在上述方案的基础上，本专利技术的一种口腔种植手术增强现实导航方法还可以做如下改进。进一步，所述通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，包括：根据所述单目相机坐标系与眼镜坐标系之间的第一转换关系对所述第一位姿进行转换后，得到所述口内实景在眼镜坐标系下的第四位姿；根据所述眼镜坐标系和所述世界坐标系之间的第二转换关系对所述第四位姿进行转换后，得到所述第五位姿；并根据所述第二转换关系对所述第二位姿进行转换后，得到所述待导航虚拟信息在所述眼镜坐标系下的第六位姿；根据所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系对所述第六位姿进行转换后，得到所述待导航虚拟信息在所述投影主观坐标系下的第三位姿。采用上述进一步方案的有益效果是：阐述得到待导航虚拟信息在投影主观坐标系下的第三位姿的过程。进一步，还包括：在场景三维传感器上建立所述世界坐标系，所述场景三维传感器包括两台固定基线的工业相机；在所述AR眼镜上设置定位标记，对所述定位标记建立所述眼镜坐标系，获取定位标记在所述眼镜坐标系的第一定位标记三维坐标；通过两个工业相机分别获取两张具有定位标记的现实图像；将所述两张具有定位标记的现实图像通过预设算法进行处理后，得到两个定位标记在世界坐标系中的第二定位标记三维坐标；根据所述第一定位标记三维坐标和所述第二定位标记三维坐标得到所述眼镜坐标系和所述世界坐标系之间的第二转换关系。采用上述进一步方案的有益效果是：阐述得到眼镜坐标系和世界坐标系之间的第二转换关系的过程。进一步，还包括：利用所述场景传感器获取平面靶标在世界坐标系下的第一平面靶标位姿，所述平面靶标位于标定场景中，利用所述单目相机获取所述平面靶标在单目相机坐标系下的第二平面靶标位姿，根据所述第一平面靶标位姿和所述第二平面靶标位姿得到眼镜单目相机坐标系与世界坐标系之间的第四转换关系；利用所述第二转换关系和所述第四转换关系得到单目相机坐标系与眼镜坐标系之间的第一转换关系。采用上述进一步方案的有益效果是：通过在标定场景中放置平面靶标，得到单目相机坐标系与眼镜坐标系之间的第一转换关系。进一步，还包括：将所述AR眼镜在投影主观坐标系下的视频中心点与所述平面靶标重合时的位置确定为所述AR眼镜的初始位置；在初始位置，获得所述平面靶标在投影主观坐标系下的第三平面靶标位姿，并通过场景三维传感器获取所述平面靶标在世界坐标系下的第四平面靶标位姿，根据所述第三平面靶标位姿和所述第四平面靶标位姿得到眼镜投影主观坐标系和世界坐标系的第五转换关系；利用所述第二转换关系和所述第五转换关系得到所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系。采用上述进一步方案的有益效果是：阐述得到投影主观坐标系和眼镜坐标系之间的第三转换关系的过程。本专利技术的一种口腔种植手术增强现实导航系统的技术方案如下：包括处理器、AR眼镜；在所述AR眼镜上设置单目相机，通过所述单目相机获取口腔内环境的图像，并通过所述处理器对所述图像应用SLAM算法，得到口内实景以及所述口内实景在单目相机坐标系下的第一位姿；所述处理器对所述口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准，得到所述待导航虚拟信息在世界坐标系下的第二位姿；所述处理器还通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，并将所述第三位姿投射在所述AR眼镜上。本专利技术的一种口腔种植手术增强现实导航系统的有益效果如下：口腔医师通过佩戴AR眼镜后，将待导航虚拟信息以虚实结合的方式投影在AR眼镜上，以三维形式直接在术区对位显示，符合人类自然视觉信息获取习惯，口腔医师不需要在脑海中实时进行屏幕二维图像和患者口内情况的拼合，辅助口腔医师进行高精度地口腔种植手术，风险低，且无需使用种植导板、有创标志钉等，不会对患者造成损伤且不存在种植导板加工误差和体积过大等问题。本文档来自技高网...

【技术保护点】
1.一种口腔种植手术增强现实导航方法，其特征在于，包括：/n通过设置在AR眼镜上的单目相机获取口腔内环境的图像，并对所述图像应用SLAM算法，得到口内实景以及所述口内实景在单目相机坐标系下的第一位姿；/n将所述口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准，得到所述待导航虚拟信息在世界坐标系下的第二位姿；/n通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，并将所述第三位姿投射在所述AR眼镜上。/n

【技术特征摘要】
1.一种口腔种植手术增强现实导航方法，其特征在于，包括：
通过设置在AR眼镜上的单目相机获取口腔内环境的图像，并对所述图像应用SLAM算法，得到口内实景以及所述口内实景在单目相机坐标系下的第一位姿；
将所述口内实景在世界坐标系下的第五位姿与待导航虚拟信息配准，得到所述待导航虚拟信息在世界坐标系下的第二位姿；
通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，并将所述第三位姿投射在所述AR眼镜上。


2.根据权利要求1所述的一种口腔种植手术增强现实导航方法，其特征在于，所述通过预设坐标转换关系将所述第一位姿、所述第二位姿和所述第五位姿处理后，得到所述待导航虚拟信息在投影主观坐标系下的第三位姿，包括：
根据所述单目相机坐标系与眼镜坐标系之间的第一转换关系对所述第一位姿进行转换后，得到所述口内实景在眼镜坐标系下的第四位姿；
根据所述眼镜坐标系和所述世界坐标系之间的第二转换关系对所述第四位姿进行转换后，得到所述第五位姿；
并根据所述第二转换关系对所述第二位姿进行转换后，得到所述待导航虚拟信息在所述眼镜坐标系下的第六位姿；
根据所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系对所述第六位姿进行转换后，得到所述待导航虚拟信息在所述投影主观坐标系下的第三位姿。


3.根据权利要求2所述的一种口腔种植手术增强现实导航方法，其特征在于，还包括：
在场景三维传感器上建立所述世界坐标系，所述场景三维传感器包括两台固定基线的工业相机；
在所述AR眼镜上设置定位标记，对所述定位标记建立所述眼镜坐标系，获取定位标记在所述眼镜坐标系的第一定位标记三维坐标；
通过两个工业相机分别获取两张具有定位标记的现实图像；
将所述两张具有定位标记的现实图像通过预设算法进行处理后，得到两个定位标记在世界坐标系中的第二定位标记三维坐标；
根据所述第一定位标记三维坐标和所述第二定位标记三维坐标得到所述眼镜坐标系和所述世界坐标系之间的第二转换关系。


4.根据权利要求3所述的一种口腔种植手术增强现实导航方法，其特征在于，还包括：
利用所述场景传感器获取平面靶标在世界坐标系下的第一平面靶标位姿所述平面靶标位于标定场景中；
利用所述单目相机获取所述平面靶标在单目相机坐标系下的第二平面靶标位姿；
根据所述第一平面靶标位姿和所述第二平面靶标位姿得到眼镜单目相机坐标系与世界坐标系之间的第四转换关系；
利用所述第二转换关系和所述第四转换关系得到单目相机坐标系与眼镜坐标系之间的第一转换关系。


5.根据权利要求4所述的一种口腔种植手术增强现实导航方法，其特征在于，还包括：
将所述AR眼镜在投影主观坐标系下的视频中心点与所述平面靶标重合时的位置确定为所述AR眼镜的初始位置；
在初始位置，获得所述平面靶标在投影主观坐标系下的第三平面靶标位姿，并通过场景三维传感器获取所述平面靶标在世界坐标系下的第四平面靶标位姿，根据所述第三平面靶标位姿和所述第四平面靶标位姿得到眼镜投影主观坐标系和世界坐标系的第五转换关系；
利用所述第二转换关系和所述第五转换关系得到所述投影主观坐标系和所述眼镜坐标系之间的第三转换关系。


6.一种口腔种植手术增强现实导航系统，其特征...

【专利技术属性】
技术研发人员：梁宵月，王帅，朱旭东，
申请(专利权)人：北京牡丹电子集团有限责任公司，
类型：发明
国别省市：北京;11