基于三维地图的人体腔道导航方法和系统技术方案

本发明专利技术提供了一种基于三维地图的人体腔道导航方法和系统，包括如下步骤：步骤1：通过内窥镜头部相机采集人体腔道实时图像并传输到计算机，构建基于视觉SLAM的人体腔道三维地图；步骤2：在计算机端对人体腔道实时图像进行分析处理，得到内窥镜头部相机的当前位姿；步骤3：控制和调节内窥镜头部相机的姿态，使内窥镜顺利进入人体腔道。本发明专利技术结合SLAM与力反馈技术，解决了传统肠镜检测中的定位与辅助导航问题，有效减轻了患者肠镜检测中的不适感。有效减轻了患者肠镜检测中的不适感。有效减轻了患者肠镜检测中的不适感。

【技术实现步骤摘要】
基于三维地图的人体腔道导航方法和系统


[0001]本专利技术涉及人体腔道导航
，具体地，涉及一种基于三维地图的人体腔道导航方法和系统。

技术介绍

[0002]肠镜是医疗内窥镜的主要应用之一，对结肠癌的早期预防和治疗有着十分重要的地位。结肠癌占现代工业国家癌症发病率的第二位，在美国，每年约有150,000例结肠癌发病者，而90％的结肠癌是由良性息肉发展而来，据统计结肠息肉的发病率约为10％左右。因此及早的发现及时切除息肉是预防和治疗结肠癌的重要措施。然而大多数的结肠息肉并无特殊的症状，诊断主要依靠临床检查，采用内窥镜进行诊疗则是近年来最为重要、最精确的诊疗方式。但是，现有的内窥镜在人体结肠检查中仍然存在着许多难以克服的缺陷，它是利用操作人员的外部推力介入到人体检查腔道，如图1所示。由于这种推入方式对操作人员的技术要求较高，很可能由于操作不当或人体结肠本身的病理原因而导致结肠的穿孔，致使医疗事故的发生。因此，有必要研究肠镜的辅助导航技术，以克服现有肠镜的不足。
[0003]专利文献CN111839426A公开了一种基于图像识别和3D
‑
SLAM实时建模的新型内窥镜智能导航器系统，其特征在于，包括：图像采集单元和三维UWB接受器系统、以及图像处理单元、胶囊肠道机器人，所述图像采集单元为装有高速摄像机(2)和能够发送数据的RFID标签(3)的肠镜(11)；所述三维UWB接受器系统包括：6个位置固定信号接收器，通过6个信号接收器接收信号的时间差来分三个维度去定位相机的位置，经过多次拍照标记位置，获得患者的带有坐标的肠道内部图库；所述图像处理单元，能够利用图像处理融合技术，根据这些图片的定位信息和图片信息将这些图片融合成一张完整的患者肠道内部图；通过所述患者肠道内部图确定病灶的位置坐标；所述胶囊肠道机器人用于通过患者肠道内部图和病灶位置坐标能够快速自动找到病灶位置取出活体样本。
[0004]在传统的结肠内窥镜检查中，医生注视着一个监控器，其上显示着由结肠内窥镜头部的图像传感器得到的实时图像。当医生把结肠内窥镜推入肠道时，会通过转动结肠内窥镜末端的手术控制手柄，来调整角度使内窥镜的头部对准肠道的腔道，只有内窥镜的前端正对着腔道时，内窥镜才能顺利的进入肠道。这是一种被动的方式，带有一定柔性的装置在腔道组织上滑行时，对腔道壁面产生压力，有可能对人体内部软组织造成擦伤和拉伤，一旦这个压力超过一定的阈值，还可能造成组织破损(穿孔)。同时人体内腔管道的结构比较复杂，存在多处弯道，仅凭手感要把内窥镜顺利插入到深处并非易事。据统计，经过专业训练、有经验的医务人员把内窥镜插入到结肠远端的概率仅为85
‑
90％。为了能够克服现有内窥镜检查中所存在的上述缺陷，提高内窥镜的智能化水平、简化对操作医师的技术依赖、减少医疗事故的发生率，因此，有必要研究结肠内窥镜的辅助导航技术，并实现相关技术的产品化，以改善现有肠镜的不足，同时促进国内医疗装备技术水平的提高，提升国内医疗器械的国际竞争力。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于三维地图的人体腔道导航方法和系统。
[0006]根据本专利技术提供的基于三维地图的人体腔道导航方法，包括如下步骤：
[0007]步骤1：通过内窥镜头部相机采集人体腔道实时图像并传输到计算机，结合ORB
‑
SLAM3算法、SURF特征点、Hessian矩阵和视觉关联图，构建基于视觉SLAM的人体腔道三维地图；
[0008]步骤2：在计算机端对人体腔道实时图像进行分析处理，得到内窥镜头部相机的当前位姿；
[0009]步骤3：控制和调节内窥镜头部相机的姿态，使内窥镜顺利进入人体腔道。
[0010]优选的，使用ORB
‑
SLAM3算法通过内窥镜所携带的深度相机对图像、ORB特征进行采集与关键帧提取，对于运动目标的某一视频帧，通过对视频序列采用镜头分割的方式对其中关键帧进行提取。
[0011]优选的，引入SURF特征点进行回环检测，当相机运动到已经探索过的原环境时，依赖ORB
‑
SLAM3算法内部的拓扑图进行主动式的闭环检测，当发现新的闭环信息后，对原先的位姿拓扑地图进行修正，同时对所处环境进行稀疏采样，对于每个节点，通过检测和匹配三维环境之间的SURF特征来计算点云特征点，从而构建环境稠密三维点云地图。
[0012]优选的，构建Hessian矩阵，使生成的特征具有稳定的边缘点，每个特征点的Hessian矩阵表示为：
[0013][0014]其中，X为当前图像的函数信息；L
xx
、L
xy
、L
yy
为高斯滤波后的图像；σ为各个方向的二阶导数；
[0015]当Hessian矩阵判别式det(H)＝L
xx
*L
yy
‑
(0.9*L
xy
)2取得局部极大值时，判定当前点是比周围邻域内其他点更亮或更暗的点，由此来定位和优化关键点的位置。
[0016]优选的，引入视觉关联图对局部地图进行优化更新，所述视觉关联图由共享一部分观测空间点的关键帧组成，将与当前帧共享α个空间点的关键帧作为节点，将共享的空间点数作为其权重，其中拥有大权重的节点称为关键节点，通过调整关键点的阈值α控制视觉图中关键帧的数量，通过对关键帧的筛选与提取，从而对局部地图进行更新，进一步通过对深度图生成的三维点云进行点云分割、去噪、平滑和数据精简处理，生成最终的人体腔道三维地图。
[0017]根据本专利技术提供的基于三维地图的人体腔道导航系统，包括如下模块：
[0018]模块M1：通过内窥镜头部相机采集人体腔道实时图像并传输到计算机，结合ORB
‑
SLAM3算法、SURF特征点、Hessian矩阵和视觉关联图，构建基于视觉SLAM的人体腔道三维地图；
[0019]模块M2：在计算机端对人体腔道实时图像进行分析处理，得到内窥镜头部相机的当前位姿；
[0020]模块M3：控制和调节内窥镜头部相机的姿态，使内窥镜顺利进入人体腔道。
[0021]优选的，使用ORB
‑
SLAM3算法通过内窥镜所携带的深度相机对图像、ORB特征进行
采集与关键帧提取，对于运动目标的某一视频帧，通过对视频序列采用镜头分割的方式对其中关键帧进行提取。
[0022]优选的，引入SURF特征点进行回环检测，当相机运动到已经探索过的原环境时，依赖ORB
‑
SLAM3算法内部的拓扑图进行主动式的闭环检测，当发现新的闭环信息后，对原先的位姿拓扑地图进行修正，同时对所处环境进行稀疏采样，对于每个节点，通过检测和匹配三维环境之间的SURF特征来计算点云特征点，从而构建环境稠密三维点云地图。
[0023]优选的，构建Hessian矩阵，使生成的特征具有稳定的边缘点，每个特征点的Hessian矩阵表示为：
...

【技术保护点】

【技术特征摘要】
1.一种基于三维地图的人体腔道导航方法，其特征在于，包括如下步骤：步骤1：通过内窥镜头部相机采集人体腔道实时图像并传输到计算机，结合ORB
‑
SLAM3算法、SURF特征点、Hessian矩阵和视觉关联图，构建基于视觉SLAM的人体腔道三维地图；步骤2：在计算机端对人体腔道实时图像进行分析处理，得到内窥镜头部相机的当前位姿；步骤3：控制和调节内窥镜头部相机的姿态，使内窥镜顺利进入人体腔道。2.根据权利要求1所述的基于三维地图的人体腔道导航方法，其特征在于，使用ORB
‑
SLAM3算法通过内窥镜所携带的深度相机对图像、ORB特征进行采集与关键帧提取，对于运动目标的某一视频帧，通过对视频序列采用镜头分割的方式对其中关键帧进行提取。3.根据权利要求1所述的基于三维地图的人体腔道导航方法，其特征在于，引入SURF特征点进行回环检测，当相机运动到已经探索过的原环境时，依赖ORB
‑
SLAM3算法内部的拓扑图进行主动式的闭环检测，当发现新的闭环信息后，对原先的位姿拓扑地图进行修正，同时对所处环境进行稀疏采样，对于每个节点，通过检测和匹配三维环境之间的SURF特征来计算点云特征点，从而构建环境稠密三维点云地图。4.根据权利要求1所述的基于三维地图的人体腔道导航方法，其特征在于，构建Hessian矩阵，使生成的特征具有稳定的边缘点，每个特征点的Hessian矩阵表示为：其中，X为当前图像的函数信息；L
xx
、L
xy
、L
yy
为高斯滤波后的图像；σ为各个方向的二阶导数；当Hessian矩阵判别式det(H)＝L
xx
*L
yy
‑
(0.9*L
xy
)2取得局部极大值时，判定当前点是比周围邻域内其他点更亮或更暗的点，由此来定位和优化关键点的位置。5.根据权利要求1所述的基于三维地图的人体腔道导航方法，其特征在于，引入视觉关联图对局部地图进行优化更新，所述视觉关联图由共享一部分观测空间点的关键帧组成，将与当前帧共享α个空间点的关键帧作为节点，将共享的空间点数作为其权重，其中拥有大权重的节点称为关键节点，通过调整关键点的阈值α控制视觉图中关键帧的数量，通过对关键帧的筛选与提取，从而对局部地图进行更新，进一步通过对深度图生成的三维点云进行点云分割、去噪、平滑和数据精简处理，生成最终的人体腔道三维地图。6.一种基于三维地...

【专利技术属性】
技术研发人员：杜囚鹏，孙兵，范学顺，任毅，吴慧卿，刘彦彤，郭军，顾永峰，杨东，付东梅，马树梅，
申请(专利权)人：苏州火象医疗技术有限公司，
类型：发明
国别省市：