一种面向胶囊内窥镜图像的自适应特征提取方法技术

本发明专利技术公开了一种面向胶囊内窥镜图像的自适应特征提取方法，属于计算机视觉与生物医学相结合的交叉学科技术领域。所述方法首先构建一个尺度空间，支持特征点的尺度不变性；其次基于FAST实现对阈值的自适应；再次，设计了基于FREAK的特征描述子，增强了对胃部特征点的有效区分。最后实现了对特征的两级匹配，并通过RANSAC完成了对错误特征点的有效剔除；本发明专利技术的特征提取方法，解决了内窥镜图像中存在弱纹理、光照等联合因素的共同干扰，很难有效提取特征点的问题，更好的支撑了胶囊内窥镜胃部图像特征的提取，且在光照发生变化时，能稳定的提取特征点；在特征点描述阶段使用FREAK描述子能更准确的区分胃部图像的特征。描述子能更准确的区分胃部图像的特征。描述子能更准确的区分胃部图像的特征。

【技术实现步骤摘要】
一种面向胶囊内窥镜图像的自适应特征提取方法


[0001]本专利技术涉及一种面向胶囊内窥镜图像的自适应特征提取方法，属于计算机视觉与生物医学相结合的交叉学科


技术介绍

[0002]图像携带大量冗余信息，图像的特征是对图中重要区域进行提炼后的表达，特征点是图像特征表达的常规方式。特征点具有可重复性，在一张图像经过旋转、尺度、光照视角变换后，仍能在相同位置重复提出同一特征点。特征点提取的结果对后续特征匹配、位姿估计等提供支撑，是三维重建工作的第一步。常规的特征点提取方法在自然场景下具有良好的效果，但是面对胶囊内窥镜下的人体器官场景不能有效地提取足够多的特征点。
[0003]现有的可用于胶囊内窥镜下特征提取方法有：Scale Invariant Feature Transform(SIFT)、Speeded Up Robust Features(SURF)、Features From Accelerated Segment Test(FAST)、ORB(Oriented Fast and Rotated Brief)等，这些算法被广泛应用在目标检测和图像跟踪等多个领域。
[0004]SIFT算法在图像尺度变化的情况下具有很强的鲁棒性，在特征提取工作上具有一定的里程碑意义。之后研究人员利用SIFT进行内窥镜图像的特征点提取，特别是后续工作在SIFT基础上进行持续改进，这些改进的算法简化了特征点提取的过程，并且在自然场景下取得了一定的效果，且在清晰高的手持式内窥镜图像上也能达到良好的效果。但是SIFT及其这些改进后的方法在提取特征点时由于消除了边缘的响应，因此对光滑边缘特征点提取时就不能很好的适应胶囊内窥镜图像且速度不佳。
[0005]此外，为了更快速的提取特征点，Rosten提出了FAST角点检测算法。由于FAST角点并不具备尺度不变性与旋转不变性，Rublee提出了ORB算法，该方法在保证特征点提取精确率的同时，降低了算法复杂度，效果较好，更受研究者青睐。ORB在尺度空间上进行了FAST角点检测，并用rBRIEF(Rotation
‑
Aware BRIEF)描述符对特征点进行描述，赋予了特征点的旋转不变性。ORB算法在内窥镜图像的环境下对肝脏等器官也能取得良好的特征点提取效果，然而在胶囊内窥镜的胃部场景下，ORB算法不能稳定准确地工作，除了由于内窥镜图像中存在低纹理、镜面反射、高光等联合因素的共同干扰之外，ORB的rBRIEF描述符在构建时采用贪婪穷举的方法得到了相关性较低的随机点对，虽然速度较快但是降低了准确率，特别是ORB算法的描述子无法很好的区分特征点。
[0006]此外，ORB在特征提取阶段采用FAST方法，FAST方法本质上是采用像素点灰度值的比较，与其它方法相比，在胶囊内镜狭长的视野内，图像的阴影和光照不均匀是常见的现象，而FAST方法采用的固定的阈值也会导致特征提取的不稳定，对于光照变化的场景，一个固定的阈值无法在同一位置重复提取同一特征点，导致正确的特征点无法被用于匹配等后续的工作。
[0007]特征提取方法的结果包含提取错误的结果，为了保证后续工作的有效展开，将准确的特征点用于三维重建上，节省后续计算工作量，需要对特征提取的结果进行优化。

技术实现思路

[0008]为了解决现有的特征提取方法无法在胶囊内窥镜所获取的胃部图像上进行特征提取并准确描述的问题，本专利技术提供了一种胶囊内窥镜图像特征提取方法，包括如下步骤：
[0009]步骤1：获取胶囊内窥镜图像，构造图像金字塔；
[0010]步骤2：根据所述图像金字塔，计算自适应阈值，在每层图像上依据图像局部邻域内像素点灰度值的对比度来计算像素点的阈值，实现基于金字塔每层图像特征点提取的自适应；
[0011]步骤3：根据步骤2计算得到的所述自适应阈值，在图像块中提取FAST角点作为特征点；
[0012]步骤4：采用FREAK特征描述符对步骤3处理完的特征点进行描述；
[0013]步骤5：特征点优选，根据步骤4的结果进行粗匹配和精匹配；经过所述粗匹配和精匹配，并且剔除误匹配点后，最终得到特征点为有效特征点。
[0014]可选的，所述步骤2中计算自适应阈值的过程包括：以像素点为圆心，3个相邻像素点为半径的圆上16个像素点作为邻域，所述自适应阈值t的计算如式(1)所示：
[0015][0016]其中，δ为全局固定参数，I
min
是灰度最小值，I
max
是灰度最大值，I
a
是16个像素灰度的平均值。
[0017]可选的，所述步骤3中提取FAST角点作为特征点的过程包括：
[0018]对于图像上的任意一个像素点p，以点p为圆心，3为半径的圆周上16个像素，如果这16个像素点中有连续的12个像素点与p点的像素差的绝对值大于所述自适应阈值，则将像素点p选作FAST特征点。
[0019]可选的，所述步骤4最终构成的FREAK描述符为一个二进制位字符串，根据采样点对的灰度值比较结果构成，设F表示描述子，其计算如式(2)所示：
[0020]F＝∑
0≤a≤N2a
T(P
a
)
ꢀꢀ
(2)
[0021]其中，P
a
为第a个采样点的感受域，N为描述符的长度，T(P
a
)表示采样点对之间的比较结果，T(P
a
)计算如式(3)所示：
[0022][0023]其中，和为经过高斯模糊后的点对像素值，和为点对在图像中的坐标。
[0024]可选的，所述粗匹配的过程包括：计算特征点描述符的汉明距离，通过暴力匹配在另一个特征点集合中寻找汉明距离最小的点。
[0025]可选的，所述精匹配的过程包括：采用GMS算法根据运动平滑性假设，完成精匹配。
[0026]可选的，所述步骤5中剔除误匹配点采用RANSAC方法。
[0027]可选的，所述步骤1构造图像金字塔的过程包括：
[0028]将原始图像作为第0层，对所述原始图像进行高斯滤波、模拟尺度变化、降低分辨率，并且按1.5倍的缩放比例进行降采样，得到第二层图像，之后按照上述步骤对新的图像
层进行处理，一共得到8张图像。
[0029]本专利技术的第二个目的在于提供一种基于胶囊内窥镜图像的消化道三维重建方法，采用上述的胶囊内窥镜图像特征提取方法提取图像特征点，然后根据提取的特征点进行三维重建。
[0030]本专利技术的第三个目的在于提供一种基于胶囊内窥镜图像的消化道三维重建系统，包括：
[0031]图像采集模块，用于采集所述胶囊内窥镜图像并进行预处理；
[0032]特征提取模块，采用上述的胶囊内窥镜图像特征提取方法，对预处理后的胶囊内窥镜图像进行特征提取；
[0033]三维重建模块，用于根据提取的特征进行三维重建，并输出重建的消化道模型。
[0034]本专利技术有益效果是：...

【技术保护点】

【技术特征摘要】
1.一种胶囊内窥镜图像特征提取方法，其特征在于，所述方法包括如下步骤：步骤1：获取胶囊内窥镜图像，构造图像金字塔；步骤2：根据所述图像金字塔，计算自适应阈值，在每层图像上依据图像局部邻域内像素点灰度值的对比度来计算像素点的阈值，实现基于金字塔每层图像特征点提取的自适应；步骤3：根据步骤2计算得到的所述自适应阈值，在图像块中提取FAST角点作为特征点；步骤4：采用FREAK特征描述符对步骤3处理完的特征点进行描述；步骤5：特征点优选，根据步骤4的结果进行粗匹配和精匹配；经过所述粗匹配和精匹配，并且剔除误匹配点后，最终得到特征点为有效特征点。2.根据权利要求1所述的胶囊内窥镜图像特征提取方法，其特征在于，所述步骤2中计算自适应阈值的过程包括：以像素点为圆心，3个相邻像素点为半径的圆上16个像素点作为邻域，所述自适应阈值t的计算如式(1)所示：其中，δ为全局固定参数，I
min
是灰度最小值，I
max
是灰度最大值，I
a
是16个像素灰度的平均值。3.根据权利要求2所述的胶囊内窥镜图像特征提取方法，其特征在于，所述步骤3中提取FAST角点作为特征点的过程包括：对于图像上的任意一个像素点p，以点p为圆心，3为半径的圆周上16个像素，如果这16个像素点中有连续的12个像素点与p点的像素差的绝对值大于所述自适应阈值，则将像素点p选作FAST特征点。4.根据权利要求2所述的胶囊内窥镜图像特征提取方法，其特征在于，所述步骤4最终构成的FREAK描述符为一个二进制位字符串，根据采样点对的灰度值比较结果构成，设F表示描述子，其计算如式(2)所示：F＝∑
0≤a≤N2a
T(P
a
)
ꢀꢀꢀꢀ
(2)其...

【专利技术属性】
技术研发人员：王映辉，吴鼎昌，
申请(专利权)人：江南大学，
类型：发明
国别省市：