内窥镜图像的处理方法、装置、可读介质和电子设备制造方法及图纸

本公开涉及一种内窥镜图像的处理方法、装置、可读介质和电子设备，涉及图像处理技术领域，该方法包括：获取当前时刻内窥镜采集的组织图像，根据组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、组织图像与历史组织图像之间的姿态参数，并根据组织图像、深度图像和姿态参数确定组织图像对应的三维组织图像，历史组织图像为当前时刻之前内窥镜采集的图像，将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，根据可见区域和盲区区域，确定内窥镜检查过程中的盲区比例。本公开能够及时反应检查范围，以避免漏检，保证检查有效。保证检查有效。保证检查有效。

【技术实现步骤摘要】
内窥镜图像的处理方法、装置、可读介质和电子设备


[0001]本公开涉及图像处理
，具体地，涉及一种内窥镜图像的处理方法、装置、可读介质和电子设备。

技术介绍

[0002]内窥镜上设置有光学镜头、图像传感器、光源等组件，能够进入人体内部的组织进行检查，使得医生能够直观地观察到人体内部的情况，在医疗领域得到了广泛应用。在内窥镜进入人体内部的组织进行检查时，由于组织(例如肠道、胃等)会发生蠕动，组织存在褶皱，或者检查人员的冲水、解襻行为等原因，都容易导致内窥镜的视野中存在盲区，进一步可能导致漏检，无法保证检查的有效性。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]第一方面，本公开提供一种内窥镜图像的处理方法，所述方法包括：
[0005]获取当前时刻内窥镜采集的组织图像；
[0006]根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；
[0007]将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；
[0008]根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。
[0009]第二方面，本公开提供一种内窥镜图像的处理装置，所述装置包括：
[0010]获取模块，用于获取当前时刻内窥镜采集的组织图像；
[0011]重建模块，用于根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；
[0012]投影模块，用于将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；
[0013]处理模块，用于根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。
[0014]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
[0015]第四方面，本公开提供一种电子设备，包括：
[0016]存储装置，其上存储有计算机程序；
[0017]处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
[0018]通过上述技术方案，本公开首先获取当前时刻内窥镜采集的组织图像，之后根据组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、组织图像与历史组织图像之间的姿态参数，并根据组织图像、深度图像和姿态参数确定组织图像对应的三维组织图像。其中，历史组织图像为当前时刻之前内窥镜采集的图像。最后将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区域，和三维组织图像中投影与组织模板不重叠的盲区区域，并根据可见区域和盲区区域确定内窥镜检查过程中的盲区比例。本公开通过三维重建模型根据组织图像确定深度图像、姿态参数，以此进行三维重建，能够快速得到准确的三维组织图像。并在三维组织图像的基础上结合组织模板确定盲区比例，能够及时反应检查过程中的检查范围，从而避免漏检，保证检查有效。
[0019]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0020]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0021]图1是根据一示例性实施例示出的一种内窥镜图像的处理方法的流程图；
[0022]图2是根据一示例性实施例示出的一种三维重建模型的示意图；
[0023]图3是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
[0024]图4是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
[0025]图5是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
[0026]图6是根据一示例性实施例示出的一种三维重建模型与光流模型连接关系示意图；
[0027]图7是根据一示例性实施例示出的一种联合训练三维重建模型和光流模型的示意图；
[0028]图8是根据一示例性实施例示出的另一种联合训练三维重建模型和光流模型的示意图；
[0029]图9是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
[0030]图10是根据一示例性实施例示出的一种内窥镜图像的处理装置的框图；
[0031]图11是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
[0032]图12是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
[0033]图13是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
[0034]图14是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
[0035]图15是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0036]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0037]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0038]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0039]需要注意，本公开中提及的“第一”、“第二”等概念仅本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内窥镜图像的处理方法，其特征在于，所述方法包括：获取当前时刻内窥镜采集的组织图像；根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。2.根据权利要求1所述的方法，其特征在于，所述三维重建模型包括：深度子模型、姿态子模型和融合子模型；所述根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，包括：将所述组织图像输入所述深度子模型，以得到所述深度子模型输出的所述深度图像；将所述组织图像和历史组织图像输入所述姿态子模型，以得到所述姿态子模型输出的所述姿态参数，所述姿态参数包括旋转矩阵和平移向量；通过所述融合子模型根据所述组织图像、所述深度图像和所述姿态参数进行三维融合，以得到所述三维组织图像。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述内窥镜的运动轨迹，并对所述运动轨迹进行平滑处理；以平滑处理后的所述运动轨迹作为中心线，按照预设的模板半径建立所述组织模板。4.根据权利要求1所述的方法，其特征在于，所述将所述三维组织图像投影至组织模板，以确定所述三维图像中投影与所述组织模板重叠的可见区域，和所述三维图像中投影与所述组织模板不重叠的盲区区域，包括：将预设时间段内采集的多个所述组织图像中，每个所述组织图像对应的所述三维组织图像进行拼接，以得到三维总图像；将所述三维总图像投影至所述组织模板，以确定所述三维总图像中投影与所述组织模板重叠的所述可见区域，和所述三维总图像中投影与所述组织模板不重叠的所述盲区区域。5.根据权利要求2所述的方法，其特征在于，所述三维重建模型是通过以下步骤，与光流模型联合训练得到的：将样本组织图像输入所述深度子模型，以得到所述样本组织图像对应的样本深度图像以及采集所述样本组织图像的内窥镜内参数，并将历史样本组织图像输入所述深度子模型，以得到所述历史样本组织图像对应的历史样本深度图像，所述历史样本组织图像为在所述样本组织图像之前采集的图像，所述内窥镜内参数包括焦距和平移尺寸；将所述样本组织图像和所述历史样本组织图像输入所述姿态子模型，以得到所述姿态子模型输出的，所述样本组织图像与所述历史样本组织图像之间的样本姿态参数；
将所述样本组织图像和所述历史样本组织图像输入所述光流模型，以得到所述光流模型输出的，所述样本组织图像与所述历史样本组织图像之间的样本光流图；根据所述内窥镜内参数、所述样本深度图像、所述历史样本深...

【专利技术属性】
技术研发人员：边成，杨志雄，李剑，赵家英，石小周，
申请(专利权)人：小荷医疗器械海南有限公司，
类型：发明
国别省市：