图像处理装置制造方法及图纸

图像处理装置具有处理器，所述处理器从正在观察被检体内的内窥镜取得图像信息，根据所取得的所述图像信息生成脏器模型，确定所述脏器模型中的所述内窥镜未观察的未观察区域，估计所述内窥镜摄像视野相对于所述脏器模型的顶底和方位，根据所述摄像视野的顶底和方位设定所述脏器模型的显示方向，向监视器输出将所确定的所述未观察区域与所述脏器模型关联起来而得到的脏器模型

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、内窥镜装置以及图像处理方法


[0001]本专利技术涉及控制未观察区域的显示的图像处理装置
、
内窥镜装置以及图像处理方法
。

技术介绍

[0002]近年来，使用了内窥镜的内窥镜系统在医疗领域和工业用领域中被广泛使用
。
例如，在医疗领域中，有时将内窥镜插入到被检体内的具有复杂的管腔形状的脏器的内部，用于其内部的详细的观察
、
检查
。
在这样的内窥镜系统中，还具有掌握手术者通过内窥镜观察了管腔脏器内的哪个部位的功能
。
[0003]例如，还存在如下内窥镜系统：为了提示由内窥镜观察到的区域，根据由内窥镜拍摄得到的内窥镜图像求出脏器的内腔形状，当场生成三维形状模型图像，在所生成的三维形状模型图像上显示观察中的观察位置
。
[0004]另外，在日本特开
2020
‑
154234
号公报中公开了如下技术：在利用内窥镜进行规定的检查等观察时，在三维形状模型图像上以能够识别的方式显示已观察的区域
(
以下称为观察区域
)
和未观察的区域
(
以下称为未观察区域
)。
在日本特开
2020
‑
154234
号公报的提案中，将未观察区域显示在
3D
模型上或对由内窥镜取得的检查图像进行显示的监视器的检查画面内
。
手术者通过检查画面内的显示以及三维形状模型图像上的显示，例如能够在某种程度上掌握正在观察被插入体内的哪个位置，并且能够确认是否观察了被检体内的全部区域
。
[0005]然而，对于未显示在检查画面内的未观察区域，手术者需要在
3D
模型上掌握位置
。
但是，由于检查画面的顶底方向与
3D
模型的顶底方向不一致，因此难以识别未观察区域的位置
。
因此，难以知道为了通过内窥镜观察未观察区域而使内窥镜向哪个方向移动即可，难以使观察范围移动
(
访问
)
到未观察区域
。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1：日本特开
2020
‑
154234
号公报

技术实现思路

[0009]专利技术所要解决的课题
[0010]本专利技术的目的在于提供一种能够容易地掌握未观察区域的位置的图像处理装置
、
内窥镜装置以及图像处理方法
。
[0011]专利技术的公开
[0012]用于解决课题的手段
[0013]本专利技术的一个方式的图像处理装置具备处理器，所述处理器进行如下处理：从正在观察被检体内的内窥镜取得图像信息，根据所取得的所述图像信息生成脏器模型，确定所述脏器模型中的所述内窥镜未观察的未观察区域，估计所述内窥镜的摄像视野相对于所
述脏器模型的顶底和方位，根据所述摄像视野的顶底和方位设定所述脏器模型的显示方向，向监视器输出将所确定的所述未观察区域与所述脏器模型关联起来而得到的脏器模型
。
[0014]本专利技术的一个方式的内窥镜装置包括：内窥镜；包括处理器的图像处理装置；以及监视器，所述处理器进行如下处理：从正在观察被检体内的内窥镜取得图像信息，根据所取得的所述图像信息生成脏器模型，确定所述脏器模型中的所述内窥镜未观察的未观察区域，估计所述内窥镜相对于所述脏器模型的位置和姿态，根据所述内窥镜的位置和姿态设定所述脏器模型的显示方向，向所述监视器输出将所确定的所述未观察区域与所述脏器模型关联起来而得到的脏器模型
。
[0015]本专利技术的一个方式的图像处理方法包括如下步骤：输入步骤，从正在观察被检体内的内窥镜取得图像信息；脏器模型生成步骤，根据所述输入部取得的图像信息生成脏器模型；未观察区域确定步骤，确定所述脏器模型中的所述内窥镜未观察的未观察区域；位置姿态估计步骤，估计所述内窥镜相对于所述脏器模型的位置和姿态；以及输出步骤，基于所述内窥镜的位置和姿态来设定所述脏器模型的显示方向，向监视器输出将所确定的所述未观察区域与所述脏器模型关联起来而得到的脏器模型
。
[0016]专利技术效果
[0017]根据本专利技术，具有能够容易地掌握未观察区域的位置的效果
。
附图说明
[0018]图1是表示包含本专利技术的第一实施方式的图像处理装置的内窥镜装置的概略结构图
。
[0019]图2是表示图1中的内窥镜的结构的立体图
。
[0020]图3是表示图1中的处理器
20
的具体结构的一例的框图
。
[0021]图4是用于说明位置姿态估计部
24
和模型生成部
25
的位置和姿态的估计处理以及脏器模型生成处理的说明图
。
[0022]图5是表示利用了图4所示的公知的运动恢复结构
(Structure from Motion)(SfM)
的视觉
SLAM(Simultaneous Localization and Mapping
：同步定位与建图
)
的处理的流程图
。
[0023]图6是用于说明脏器模型显示的说明图
。
[0024]图7是用于说明脏器模型显示的说明图
。
[0025]图8是用于说明前端部
33c
的位置和姿态的求法的说明图
。
[0026]图9是用于说明第一实施方式中的动作的流程图
。
[0027]图
10
是表示第一实施方式中的脏器模型显示的一例的说明图
。
[0028]图
11
是用于说明显示内容控制部
27
的视点方向控制的说明图
。
[0029]图
12
是表示变形例的流程图
。
[0030]图
13
是用于说明图
12
的变形例的说明图
。
[0031]图
14
是表示变形例的流程图
。
[0032]图
15
是用于说明图
14
的变形例的说明图
。
[0033]图
16
是表示变形例的说明图
。
[0034]图
17
是表示变形例的说明图
。
[0035]图
18
是表示变形例的流程图
。
[0036]图
19
是表示本专利技术的第二实施方式的流程图
。
[0037]图
20
是用于说明遮挡区域的检测方法的说明图
。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种图像处理装置，其特征在于，所述图像处理装置具备处理器，所述处理器进行如下处理：从正在观察被检体内的内窥镜取得图像信息，根据所取得的所述图像信息生成脏器模型，确定所述脏器模型中的所述内窥镜未观察的未观察区域，估计所述内窥镜的摄像视野相对于所述脏器模型的顶底和方位，根据所述摄像视野的顶底和方位设定所述脏器模型的显示方向，向监视器输出将所确定的所述未观察区域与所述脏器模型关联起来而得到的脏器模型
。2.
根据权利要求1所述的图像处理装置，其特征在于，所述处理器使所述脏器模型的顶底方向与所述内窥镜的观察图像的顶底方向一致
。3.
根据权利要求1所述的图像处理装置，其特征在于，所述处理器进行使显示中的所述脏器模型配合所述内窥镜的视点而旋转的视点方向控制
。4.
根据权利要求1所述的图像处理装置，其特征在于，所述处理器在所述脏器模型上显示拍摄区域
。5.
根据权利要求1所述的图像处理装置，其特征在于，所述处理器显示所述未观察区域与所述内窥镜的位置关系信息
。6.
根据权利要求5所述的图像处理装置，其特征在于，所述位置关系信息是表示从所述内窥镜前端位置向所述未观察区域的路径的信息
。7.
根据权利要求5所述的图像处理装置，其特征在于，所述位置关系信息是表示从所述内窥镜前端位置到所述未观察区域的距离的信息
。8.
根据权利要求1...

【专利技术属性】
技术研发人员：田中敬士，神田大和，北村诚，速水健人，
申请(专利权)人：奥林巴斯医疗株式会社，
类型：发明
国别省市：