组织腔体的三维图像的重建方法技术

本公开描述一种组织腔体的三维图像的重建方法，其包括以下步骤：胶囊内窥镜运动并采集第一图像和第二图像；获取第一图像内的第一像素区域与第二图像内与第一像素区域对应的第二像素区域的光流；在第一像素区域中提取包括多个特征点的第一特征点集，并基于第一特征点集和光流获得在第二像素区域中与第一特征点集对应的第二特征点集；基于第一特征点集和第二特征点集计算胶囊内窥镜的本质矩阵；并且基于本质矩阵计算第一像素区域和第二像素区域的各个像素点的空间坐标，获得点云并利用点云进行三维图像重建。由此，能够对组织腔体的三维图像进行重建。三维图像进行重建。三维图像进行重建。

【技术实现步骤摘要】
组织腔体的三维图像的重建方法
[0001]本申请是申请日为2020年10月19日、申请号为2020111205814、专利技术名称为基于光流获得组织腔体三维图像的处理方法的专利申请的分案申请。


[0002]本公开涉及一种组织腔体的三维图像的重建方法。

技术介绍

[0003]目前，在对腔体进行病理诊断的过程中，常常通过观察腔体的内部结构来获取病理信息。然而对于例如胃部等封闭腔体，人们难以在腔体外侧进行观察，因此一般通过导入拍摄装置收集信息，并通过特征点法进行三维重建。
[0004]现有的特征点三维重建方法中，首先是分别提取两幅图像的特征点，然后对两幅图像的特征点进行一一配对，通过配对好的特征点对可以计算出两幅图像之间的相对位姿，从而计算出摄影装置的位置和姿态并根据摄影装置的位置和姿态进一步计算出腔体内壁的三维图像。
[0005]但是，现有的特征点三维重建方法，在纹理缺乏且相似度高的场景内效果并不令人满意。对于例如胃部等纹理少且纹理之间相似度高的腔体而言，所获得的图像容易受腔体内的光照影响，无法获取足够的特征点和准确的匹配关系。因此，使用传统特征点法进行的三维重建不适用于胃部等纹理少且纹理之间相似度高的腔体。

技术实现思路

[0006]本公开是鉴于上述现有技术的状况而提出的，其目的在于提供一种能够对纹理少且纹理之间相似度高的组织腔体(例如胃腔)的图像进行三维重建且提高该图像的特征点识别准确性的基于光流获得组织腔体三维图像的处理方法。
[0007]为此，本公开提供了一种基于光流获得组织腔体三维图像的处理方法，利用胶囊内窥镜在具有褶皱内壁的组织腔体内沿着第一方向针对所述组织腔体内的重建区域采集第一图像，并使所述胶囊内窥镜在组织腔体内沿着第二方向针对所述重建区域采集第二图像，所述第一方向与所述第二方向形成有夹角；计算所述重建区域在所述第一图像内的第一像素区域与所述重建区域在第二图像内与所述第一像素区域对应的第二像素区域的光流；在所述第一像素区域中提取包括多个特征点的第一特征点集，并基于所述第一特征点集和所述光流获得在所述第二像素区域中与所述第一特征点集对应的第二特征点集；基于所述第一特征点集和所述第二特征点集计算所述胶囊内窥镜的本质矩阵；并且基于所述本质矩阵计算所述第一像素区域和所述第二像素区域的各个像素点的空间坐标，获得点云并利用所述点云进行三维图像重建。
[0008]在这种情况下，能够准确地获取第一图像和第二图像之间的光流，并且能够根据光流在第一图像和第二图像中提取相对应的特征点，从而能够实现在纹理少、纹理之间相似度高且受光照影响严重的组织腔体内壁图像中提取足够的特征点以及准确的匹配关系，
由此能够利用准确匹配的特征点完成组织腔体内壁的三维重建。
[0009]另外，在本公开所涉及的基于光流获得组织腔体三维图像的处理方法中，可选地，所述第一图像和所述第二图像由所述胶囊内窥镜连续采集获得，所述胶囊内窥镜为单目胶囊内窥镜，所述光流由所述胶囊内窥镜的运动而产生。在这种情况下，能够利用单目胶囊内窥镜的运动获得光流。
[0010]另外，在本公开所涉及的基于光流获得组织腔体三维图像的处理方法中，可选地，所述第一图像和所述第二图像为相邻帧的两幅图像，所述第一图像为当前帧的图像，所述第二图像为下一帧的图像。在这种情况下，能够减少胃腔蠕动对光流的影响。
[0011]另外，在本公开所涉及的基于光流获得组织腔体三维图像的处理方法中，可选地，所述多个特征点包括至少8个特征点。由此，能够提高本质矩阵的精确度。
[0012]另外，在本公开所涉及的基于光流获得组织腔体三维图像的处理方法中，可选地，通过基于深度学习的神经网络计算所述光流。在这种情况下，能够通过基于深度学习的神经网络准确地得到组织腔体内壁图像中各像素点的运动信息。
[0013]另外，在本公开所涉及的基于光流获得组织腔体三维图像的处理方法中，可选地，所述基于深度学习的神经网络的训练步骤包括：准备多组的组织腔体内壁图像对，所述组织腔体内壁图像对为对具有褶皱内壁的组织腔体内的同一区域以不同的方向进行采集获得的两幅图像，且分别为第一训练图像和第二训练图像；将每组组织腔体内壁图像对的第一训练图像和第二训练图像依次输入所述神经网络以获取所述第一训练图像内的第一像素点的前向光流；交换第一训练图像和第二训练图像的输入顺序以获取所述第二训练图像内与所述第一像素点对应的第二像素点的后向光流；基于所述前向光流和所述后向光流计算损失函数；并且基于所述损失函数对所述神经网络进行评估并优化。在这种情况下，能够以无监督的方式训练神经网络，并且能够利用未进行标注的组织腔体内壁图像进行训练。
[0014]另外，在本公开所涉及的基于光流获得组织腔体三维图像的处理方法中，可选地，所述损失函数包括结构相似性损失项、几何前后一致性损失项以及光流平滑度损失项。在这种情况下，能够通过损失函数对神经网络进行训练。
[0015]另外，在本公开所涉及的基于光流获得组织腔体三维图像的处理方法中，可选地，所述结构相似性损失项包括第一预测图像与所述第一训练图像的第一结构相似性损失项和第二预测图像与所述第二训练图像的第二结构相似性损失项，所述第一预测图像通过所述前向光流作用于所述第二训练图像生成，所述第二预测图像通过所述后向光流作用于所述第一训练图像生成。在这种情况下，能够评估计算出的前向光流和后向光流的准确度，从而通过训练神经网络提高神经网络所计算的光流的准确度。
[0016]另外，在本公开所涉及的基于光流获得组织腔体三维图像的处理方法中，可选地，所述光流平滑度损失项包括所述前向光流的全变分损失与所述后向光流的全变分损失。在这种情况下，能够提高光流的平滑度，从而能够保持光流图像的光滑性并降低噪声对光流图像影响。
[0017]另外，在本公开所涉及的基于光流获得组织腔体三维图像的处理方法中，可选地，所述几何前后一致性损失项为所述第一训练图像内的第一像素点的前向光流与所述第二训练图像内与第一像素点对应的第二像素点的后向光流的差值。在这种情况下，能够使训练后的神经网络所计算出的前向光流和后向光流保持前后一致性。
[0018]根据本公开，能够提供一种能够对纹理少且纹理之间相似度高的组织腔体(例如胃腔)的图像进行三维重建且提高该图像的特征点识别准确性的基于光流获得组织腔体三维图像的处理方法。
附图说明
[0019]现在将通过参考附图的例子进一步详细地解释本公开的实施例，其中：
[0020]图1示出了本公开的示例所涉及的基于光流获得组织腔体三维图像的实施流程的示意图。
[0021]图2示出了本公开的示例所涉及的获取第一图像和第二图像的场景示意图。
[0022]图3示出了本公开的示例所涉及的基于深度学习的神经网络的示意图。
[0023]图4示出了本公开的示例所涉及的基于深度学习的神经网络中的第一预处理模块的示意图。
[0024]图5示出了本公开的示例所涉及的基于深度学习的神经网络中第一神经网络的示意图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种组织腔体的三维图像的重建方法，其特征在于，胶囊内窥镜运动并采集第一图像和第二图像；获取所述第一图像内的第一像素区域与第二图像内与所述第一像素区域对应的第二像素区域的光流；在所述第一像素区域中提取包括多个特征点的第一特征点集，并基于所述第一特征点集和所述光流获得在所述第二像素区域中与所述第一特征点集对应的第二特征点集；基于所述第一特征点集和所述第二特征点集计算所述胶囊内窥镜的本质矩阵；并且基于所述本质矩阵计算所述第一像素区域和所述第二像素区域的各个像素点的空间坐标，获得点云并利用所述点云进行三维图像重建。2.根据权利要求1所述的重建方法，其特征在于，所述第一图像和所述第二图像为相邻帧的两幅图像，所述第一图像为当前帧的图像，所述第二图像为下一帧的图像。3.根据权利要求1所述的重建方法，其特征在于，所述胶囊内窥镜为单目胶囊内窥镜或多目胶囊内窥镜，所述光流由所述胶囊内窥镜的运动而产生。4.根据权利要求1所述的重建方法，其特征在于，所述多个特征点包括至...

【专利技术属性】
技术研发人员：黄培海，
申请(专利权)人：深圳硅基智控科技有限公司，
类型：发明
国别省市：