处理装置、内窥镜系统以及摄像图像的处理方法制造方法及图纸

处理装置(9)包括：图像取得部(31)，其取得管腔内部的摄像图像；管腔结构信息取得部(33)，其取得表示管腔的结构的管腔结构信息；可否分析判定部(32)，其基于摄像图像，输出表示摄像图像是否为可分析状态的可否分析信息；以及关联处理部(34)，其基于可否分析信息和管腔结构信息，在管腔的结构上关联可否分析信息。息。息。

【技术实现步骤摘要】
【国外来华专利技术】处理装置、内窥镜系统以及摄像图像的处理方法


[0001]本专利技术涉及处理装置、内窥镜系统以及摄像图像的处理方法等。

技术介绍

[0002]以往，内窥镜在医疗领域和工业领域中被广泛利用。例如在医疗领域中，医生通过将内窥镜的插入部插入到被检体内，观看显示于显示装置的摄像图像来观察被检体内，从而能够进行内窥镜检查等。
[0003]以掌握大肠内窥镜的未观察部位等为目的，研究了基于内窥镜拍摄到的动态图像来构建肠道的3维模型的方法。例如在非专利文献1中公开了使用圆筒模型生成大肠表面的图的方法。
[0004]现有技术文献
[0005]非专利文献
[0006]非专利文献1：Mohammad Ali Armin 1 et al,“Automated visibility map of the internal colon surface from colonoscopy video”,International Journal of Computer Assisted Radiology and Surgery,2016,Volume 11,Issue number 9,p.1599
‑
1610

技术实现思路

[0007]专利技术要解决的课题
[0008]通过将使用非专利文献1等的方法完成了肠道的3维模型的构建作为观察完成的判断基准，可认为能够抑制病变的漏看。但是，即使完成了肠道的3维模型的构建，在图像的画质差的情况下等，也难以基于该图像进行适当的分析。/>[0009]根据本专利技术的一些方式，能够提供一种处理装置、内窥镜系统以及摄像图像的处理方法等，它们能够输出用于适当地判定管腔结构中的漏看的信息。
[0010]用于解决课题的手段
[0011]本专利技术的一个方式涉及一种处理装置，其包括：图像取得部，其取得管腔内部的摄像图像；管腔结构信息取得部，其取得表示所述管腔的结构的管腔结构信息；可否分析判定部，其基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；关联处理部，其基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。
[0012]本专利技术的其他方式涉及一种内窥镜系统，其包括：摄像部，其对管腔内部进行拍摄；图像取得部，其取得基于所述摄像部的摄像图像；管腔结构信息取得部，其取得表示所述管腔的结构的管腔结构信息；可否分析判定部，其基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；以及关联处理部，其基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。
[0013]本专利技术的另一其他方式涉及一种摄像图像的处理方法，其包括如下步骤：取得拍
摄有管腔内部的摄像图像；取得表示所述管腔的结构的管腔结构信息；基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；以及基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。
附图说明
[0014]图1是内窥镜系统的结构例。
[0015]图2是内窥镜的结构例。
[0016]图3是处理装置的结构例。
[0017]图4是管腔结构检测装置的结构例。
[0018]图5是说明管腔结构信息的取得处理的流程图。
[0019]图6是管腔结构信息的例子。
[0020]图7是说明使用光束法平差的管腔结构信息的取得处理的流程图。
[0021]图8是说明多个特征点与前端部的位置姿态的关系的示意图。
[0022]图9的(A)、(B)是检测位置姿态的传感器的变形例。
[0023]图10是说明可否分析判定处理的流程图。
[0024]图11是存在由褶皱等引起的隐藏部分的情况下的摄像图像的例子。
[0025]图12是可否分析信息与管腔结构信息的关联的例子。
[0026]图13的(A)、(B)是前端部与不可分析部分的位置关系的例子。
[0027]图14是显示图像的例子。
[0028]图15是处理装置的其他结构例。
具体实施方式
[0029]以下，对本实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书所记载的内容进行不当限定。另外，在本实施方式中说明的全部结构不一定是本专利技术的必要技术特征。
[0030]1.系统结构例
[0031]在使用内窥镜系统的管腔检查中，重要的是抑制关注区域的漏看。另外，关注区域是对于用户而言观察的优先顺序比其他区域相对高的区域。在用户是进行诊断或治疗的医生的情况下，关注区域例如对应于拍摄有病变部的区域。但是，如果医生想要观察的对象是泡、残渣，则关注区域也可以是拍摄有该泡部分或残渣部分的区域。即，用户应关注的对象根据观察目的而不同，但在进行该观察时，对于用户而言观察的优先顺序比其他区域相对高的区域成为关注区域。
[0032]以下，对内窥镜系统是观察生物体内的系统、观察对象是大肠的例子进行说明。即，本实施方式中的管腔狭义上是肠道。但是，本实施方式的方法也可以将肠道以外的管腔作为对象。例如，可以将大肠以外的消化道作为对象，也可以将生物体的其他部位的管腔结构作为对象。并且，内窥镜系统也可以是用于观察管腔状的部件的工业用内窥镜。另外，以下对关注区域是病变的例子进行说明，但如上所述，关注区域能够扩展到病变之外。
[0033]以往，难以掌握内窥镜在管腔的哪个部分怎样地进行运动这样的准确的状况。更具体而言，难以准确地掌握插入部前端的位置姿态与管腔的关系。另外，因这一原因，也难
以掌握在什么样的拍摄状态下对管腔的什么样的范围进行拍摄。因此，不容易准确地判定有无漏看，不容易将漏看定量化。与此相对，如非专利文献1那样，公开了基于2维的摄像图像来估计肠道的3维模型的方法。在非专利文献1的方法中，能够将给定的摄像图像是拍摄有肠道的哪个部分的图像关联起来。另外，在本实施方式的方法中，只要能够将摄像图像与管腔结构关联起来即可，具体的方法如后述那样能够实施各种变形。
[0034]为了抑制病变的漏看，需要在至少1张摄像图像上拍摄有该病变。即，为了抑制漏看，重要的是网罗地对肠道等管腔结构的整个内表面进行拍摄。例如，在非专利文献1的方法中，通过将完成3维模型的构建作为使用内窥镜系统的观察的结束条件，能够抑制漏看。
[0035]但是，在使用内窥镜系统的检查中，重要的是是否能够基于摄像图像进行期望的分析。例如，在关注区域是病变的情况下，分析可以是从摄像图像中检测病变的处理，也可以是根据恶性程度对该病变进行分类的处理。因此，在本实施方式中，除了在摄像图像中拍摄病变这样的条件以外，还使用该病变为能够分析的状态这样的条件来进行漏看的判定。
[0036]为了可靠地对有可能存在于肠道表面的病变进行拍摄，重要的是将肠道的整个期望范围无遗漏地纳入摄像部的视野。摄像部的视野表示由该摄像部的光轴方向和视场角决定的给定的空间。例如，摄像部的视野是以与摄像部对应的位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理装置，其特征在于，包括：图像取得部，其取得管腔内部的摄像图像；管腔结构信息取得部，其取得表示所述管腔的结构的管腔结构信息；可否分析判定部，其基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；关联处理部，其基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。2.根据权利要求1所述的处理装置，其特征在于，所述可否分析判定部基于所述摄像图像是否能由计算机进行分析来输出所述可否分析信息。3.根据权利要求2所述的处理装置，其特征在于，所述摄像图像是生物体图像，所述可否分析判定部基于是否能由所述计算机执行分类处理或检测处理来输出所述可否分析信息，该分类处理是将所述生物体图像分类为任意的类别的处理，该检测处理是从所述生物体图像中检测关注区域的处理。4.根据权利要求1所述的处理装置，其特征在于，所述可否分析判定部基于所述摄像图像中的被摄体的运动的大小来输出所述可否分析信息。5.根据权利要求1所述的处理装置，其特征在于，所述可否分析判定部基于所述摄像图像的画质来输出所述可否分析信息。6.根据权利要求1所述的处理装置，其特征在于，在将所述摄像图像划分成多个区域之后，所述可否分析判定部基于所述多个区域中的各区域的大小来输出所述各区域的所述可否分析信息。7.根据权利要求1所述的处理装置，其特征在于，所述管腔结构信息取得部基于所述摄像图像来求出所述管腔结构信息。8.根据权利要求1所述的处理装置，其特征在于，所述处理装置包括位置姿态信息取得部，该位置姿态信息取得部从设置于插入到所述管腔的插入部的传感器取得所述插入部的前端相对于所述管腔的位置姿态信息，所述管腔结构信息取得部基于所述位置姿态信息和所述摄像图像来求出所述管腔结构信息。9.根据权利要求1所述的处理装置，其特征在于，所述关联处理部在于2个以上的时机拍摄到的多个所述摄像图像上分别设定多个特征点，通过对在2个以上的时机拍摄到的所述摄像图像上的所述多个特征点彼此的对应关系进行判定，从而在所述管腔的结构上关联所述可否分析信息。10.根据权利要求9所述的处理装置，其特征在于，所述关联处理部进行以下处理中的至少一个处理：利用3个以上的所述特征点对所述摄像图像上的被判定为能够分析的区域即可分析区域进行限定，从而确定所述可分析区域在所述管腔中的配置；以及利用3个以上的所述特征点对所述摄像图像上的被判定为不能分析的区域即不可分析
区域进行限定，从而确定所述不可分析区域在所述管腔中的配置。11.根据权利要求10所述的处理装置，其特征在于，由3个以上的所述特征点限定的区域能够在于所述第1时机拍摄到的所述摄像图像中的形状和于所述第2时机拍摄到的所述摄像图像中的形状之间变形。12.根据权利要求1所述的处理装置，其特征在于，所述关联处理部将所述管腔的结构中的、基于至少1张所述摄像图像被判定为能够分析的部分判定为可分析部分，将所述管腔的结构中的、所述可分析部分以外的部分判...

【专利技术属性】
技术研发人员：羽根润，
申请(专利权)人：奥林巴斯株式会社，
类型：发明
国别省市：