一种用于单目内窥镜手术中的多基线融合的深度估计方法技术

本发明专利技术属于深度估计领域和医学图像处理技术领域，更具体地，涉及一种用于单目内窥镜手术中的多基线融合的深度估计方法。能够应用到临床中，起到在术中辅助手术的作用。通过水平移动小段距离对当前手术画面获取两张不同视角的照片，可以对组织纹理较少的手术画面估计出较为准确的深度信息。本发明专利技术还提出了一种多基线深度图融合的方法，针对不同的深度范围在合适的基线附近选择多个基线，将不同基线得到的深度图进行融合，保证在不同深度范围时都能生成准确的深度图。能生成准确的深度图。能生成准确的深度图。

【技术实现步骤摘要】
一种用于单目内窥镜手术中的多基线融合的深度估计方法


[0001]本专利技术属于深度估计领域和医学图像处理
，更具体地，涉及一种用于单目内窥镜手术中的多基线融合的深度估计方法。

技术介绍

[0002]目前，有一些深度估计或三维重建的方法已经应用在内窥镜场景中，比如微创手术中准稠密重建的SLAM方法，但是这种方法需要人为细致地调整参数，而且重建的准确率不能满足内镜手术的精度要求。卷积神经网络在内窥镜图像深度估计中展现出了一定的效果，但这类方法需要有稠密的深度真值图加入训练中，这种真值图在手术中获取难度很大。而且内窥镜图像中光线变化会使得同一个组织的成像发生很大变化，不利于神经网络学习到深度特征。
[0003]图像融合是图像处理中常用的技巧之一，主要用于将多张图像的有利信息提取出来，综合成高质量的图像。但是传统的图像融合方法中并没有针对内窥镜手术场景的，也没有针对不同基线深度图的。
[0004]中国专利2019105958931，公开了一种白内障手术显微镜下单目深度估计方法，采用的是垂直位移拍照，画面有缩放，但是对画面中每个物体的视角并没有太大变化，在组织纹理较少的情况下无法为深度估计提供充分的信息，另外也没有给出基线的测量方法。中国专利201710866551X，公开了一种手术导航定位方法及装置，需要获取多光谱、不同角度、不同位置的荧光图像和白光图像，无法实时对画面中的物体做出深度估计。

技术实现思路

[0005]本专利技术为克服上述现有技术中的缺陷，提供一种用于单目内窥镜手术中的多基线融合的深度估计方法，可以对组织纹理较少的手术画面估计出较为准确的深度信息。
[0006]为解决上述技术问题，本专利技术采用的技术方案是：一种用于单目内窥镜手术中的多基线融合的深度估计方法，包括以下步骤：
[0007]S1.采集内窥镜拍摄的照片；
[0008]S2.根据内窥镜的内参矩阵和畸变系数对照片进行校正；
[0009]S3.对校正后的照片进行深度估计；
[0010]S4.用基线选取方法选出当前内窥镜画面中物体所处的深度范围下的最优基线；
[0011]S5.将最优基线附近的几个基线对应的深度图进行融合，得到最终的深度图；
[0012]S6.根据融合后的深度图在照片中标注出每个物体的深度值；
[0013]S7.将标注深度后的照片显示在屏幕上，根据照片中的深度信息判断画面中物体的位置。
[0014]在其中一个实施例中，所述的步骤S1具体包括：
[0015]对内窥镜进行标定；将一张间距已知的棋盘格贴在模拟手术台的台面上，移动内窥镜并在不同位置、角度对棋盘格拍摄多张照片，用张氏标定法估算出内窥镜的内参矩阵
A、外参矩阵[R|T]以及畸变参数[k1，k2，k3，p1，p2]；
[0016]在进行手术时，用内窥镜分别向左和向右水平移动一定距离，并每隔相同距离采集一张照片，向左移动后拍摄的照片与向右移动后拍摄的照片分别一一对应组成多对左右图；并将上述照片传回计算机。
[0017]在一些实施例中，用内窥镜向左、向右分别移动20毫米，每隔1毫米采集一张照片。
[0018]进一步的，在所述的步骤S5中，基线的选取包括以下步骤：
[0019]首先设定基线可变化的范围；
[0020]然后进行第一次迭代：在基线可变范围内等间隔取出N个基线，分别计算对应深度图的评价得分，取出最小得分对应的基线；
[0021]第二次迭代：在第一次迭代得到的最优基线附近再等间隔取基线，再次取出最小得分对应的基线，即得到最终使用的基线。
[0022]进一步的，对深度图进行评价，采用以下深度图评价函数：
[0023]imgQ＝Q1×
k1+Q2×
k2[0024]其中，Q1是评价指标1：黑点数量，用于判断基线是否过大，Q1过大，说明基线过大；Q2是评价指标2：深度
‑
视差函数的斜率的绝对值，用于判断基线是否过小，Q2过大，说明基线过小。
[0025]进一步的，在所述的步骤S6中，将最优基线附近的几个基线对应的深度图进行融合，其中深度图融合具体包括以下步骤：
[0026]用基线距离相邻的几张深度图进行融合；对于每个像素点，取出5个深度图中的非0深度值相加再取平均，得到融合图在该像素点的深度值；
[0027]对某一个像素点，取出同一张深度图中以该像素点为中心的5*5方块，以其中的非0深度值的均值代替该像素点的深度值。
[0028]进一步的，所述的步骤S4中对每对左右图进行深度估计，深度估计的具体步骤包括：
[0029]S41.计算每对左右图中两张照片的匹配代价；对两张照片进行水平Sobel处理，之后计算得到BT代价值1，对水平Sobel处理前的两张照片直接计算BT代价值2；将BT代价值1和BT代价值2计算得到的代价值进行相加融合；
[0030]S42.对融合后的代价值进行成块计算；对每个像素的代价值用周围领域代价值的总和来代替，提高匹配的鲁棒性；
[0031]S43.对代价值进行SGM优化；对每个像素点P都进行多个路径像素代价的聚合，聚合公式如下：
[0032][0033]S44.计算两张照片的视差；用胜者为王算法，选择代价最优的点作为对应的匹配点；
[0034]S45.进行视差后处理；包括置信度检测和左右一致性检测；
[0035]S46.计算深度值z；根据内窥镜内参中的焦距f和外参矩阵[R|T]估算出内窥镜在拍摄两张图片之间移动的基线距离b，根据深度计算公式计算出深度值；深度计算公式如下：
[0036]z＝f
×
b/d
[0037]式中，f是内窥镜焦距，b是基线距离，d是视差值。
[0038]进一步的，所述的置信度检测具体包括以下步骤：
[0039]定义视差窗口范围内匹配像素点最低代价为C1，次低代价为C2；检查是否满足以下不等式：
[0040][0041]其中uniqRatio是置信度检测参数；
[0042]如果不满足，则说明最低代价和次低代价相差太小，即匹配的区分度不够，认为当前匹配像素点是误匹配；使最佳视差值与一定范围内的视差值在代价值上面保持一定的全局最优关系，避免算法中经常遇到的局部最优解问题。
[0043]进一步的，所述的左右一致性检测具体包括：
[0044]通过得到的左视差图计算右视差图，对于左视差图中的一个点p，求得的视差值是d1，那么p在右图里的对应点为点(p
‑
d1)，点(p
‑
d1)的视差值记作d2；若|d1‑
d2|＞threshold；将p标记为遮挡点；再分别水平往左和往右找到第一个非遮挡点，将点p的视差值赋值成左右两个非遮拦点中视差值较小的那一个。
[0045]本专利技术还提供一种计算机设备，包括存储器和处理器，所述的存储器存储有计算机程序，所述的处理器执行所述的计算机程序时实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，包括以下步骤：S1.采集内窥镜拍摄的照片；S2.根据内窥镜的内参矩阵和畸变系数对照片进行校正；S3.对校正后的照片进行深度估计；S4.用基线选取方法选出当前内窥镜画面中物体所处的深度范围下的最优基线；S5.将最优基线附近的几个基线对应的深度图进行融合，得到最终的深度图；S6.根据融合后的深度图在照片中标注出每个物体的深度值；S7.将标注深度后的照片显示在屏幕上，根据照片中的深度信息判断画面中物体的位置。2.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，所述的步骤S1具体包括：对内窥镜进行标定；将一张间距已知的棋盘格贴在模拟手术台的台面上，移动内窥镜并在不同位置、角度对棋盘格拍摄多张照片，用张氏标定法估算出内窥镜的内参矩阵A、外参矩阵[R|T]以及畸变参数[k1,k2,k3,p1,p2]；在进行手术时，用内窥镜分别向左和向右水平移动一定距离，并每隔相同距离采集一张照片，向左移动后拍摄的照片与向右移动后拍摄的照片分别一一对应组成多对左右图；并将上述照片传回计算机。3.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，在所述的步骤S5中，基线的选取包括以下步骤：首先设定基线可变化的范围；然后进行第一次迭代：在基线可变范围内等间隔取出N个基线，分别计算对应深度图的评价得分，取出最小得分对应的基线；第二次迭代：在第一次迭代得到的最优基线附近再等间隔取基线，再次取出最小得分对应的基线，即得到最终使用的基线。4.根据权利要求3所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，对深度图进行评价，采用以下深度图评价函数：imgQ＝Q1×
k1+Q2×
k2其中，Q1是评价指标1：黑点数量，用于判断基线是否过大，Q1过大，说明基线过大；Q2是评价指标2：深度
‑
视差函数的斜率的绝对值，用于判断基线是否过小，Q2过大，说明基线过小。5.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，在所述的步骤S6中，将最优基线附近的几个基线对应的深度图进行融合，其中深度图融合具体包括以下步骤：用基线距离相邻的几张深度图进行融合；对于每个像素点，取出多个深度图中的非0深度值相加再取平均，得到融合图在该像素点的深度值；对某一个像素点，取出同一张深度图中以该像素点为中心的l*l方块，以其中的非0深度值的均值代替该像素点的深度值。6.根据权利要求1至5任一项所述的...

【专利技术属性】
技术研发人员：黄凯，宋日辉，谭志东，凌晔华，
申请(专利权)人：中山大学，
类型：发明
国别省市：