用于VATS和微创手术中的术中虚拟注释的交互式内窥镜检查制造技术

一种用于介入影像的实况注释的控制器(522)包括：存储器(52220)，其存储软件指令；以及处理器(52210)，其执行所述软件指令。当由所述处理器(52210)执行时，所述软件指令使所述控制器(522)实施包括以下操作的过程：接收(S210)术中介入期间的介入影像，并且针对可检测特征自动地分析(S220)所述介入影像。当所述处理器(52210)执行所述软件指令时执行的过程还包括检测(S230)可检测特征，并且确定(S240)要针对所述可检测特征将注释添加到所述介入影像。所述过程还包括在所述介入影像中识别(S250)针对所述注释的位置作为所识别的位置，并且在所识别的位置处将所述注释添加(S260)到所述介入影像以对应于所述可检测特征。在所述术中介入期间，基于所述介入影像和所述注释来输出(S270)视频作为视频输出，所述注释包括在所识别的位置处被叠加在所述介入影像上的注释。注释。注释。

【技术实现步骤摘要】
【国外来华专利技术】用于VATS和微创手术中的术中虚拟注释的交互式内窥镜检查

技术介绍

[0001]介入医学流程是涉及进入患者身体内的侵入性流程。手术是介入医学流程的示例，并且是早期肺癌肿瘤的优选处置。而且，内窥镜检查越来越多地用于肺癌手术的不同阶段。对于肺癌手术，切除(移除)肿瘤的基本前兆是“手术探查”阶段，其中，医学临床医师(诸如外科医师)检查肺组织以在精神上将解剖知识和术前成像(诸如计算机断层摄影(CT))与肺组织的实况内窥镜(例如，胸腔镜)视频相关。手术探查阶段有助于确保临床医师可以在切除阶段切除整个肺癌肿瘤，同时避免切除要不然能够导致受损的肺功能的健康肺组织。利用胸腔镜的手术探查通常提供对不能从术前成像(诸如CT)获得的肺组织的熟悉，因为术前成像主要示出肺组织的衰减的差异以突出显示解剖标志。在手术探查中，临床医师在利用仪器操纵肺组织时通过胸腔镜查看肺组织，以便识别解剖标志来促进切除。具体地，在手术探查期间，临床医师试图识别已知的解剖标志(诸如肺癌肿瘤附近的血管和气道)，以便适当地取向解剖结构以定位肺癌肿瘤，并且以便避免在切除期间损伤血管和气道。
[0002]最具侵入性形式的肺癌手术是开放式手术，其中，将胸部切开以暴露肺的大部分。在开放式手术中，诸如解剖刀、电烙刀和缝合线的手术工具通过胸腔中的大开口插入并用于切除肺癌肿瘤。在过去，肺癌肿瘤大到足以通过触摸而被感测到，因此临床医师可以找到眼睛不可见的肺癌肿瘤。开放式手术技术允许针对触诊的物理进入以通过触摸来感测肿瘤。
[0003]近年来，嵌入的肺癌肿瘤的检测和用于手术切除肺癌肿瘤的技术两者已经改进。例如，肺癌筛查程序现在倾向于识别小且难以辨别的早期肿瘤结节。此外，称为视频辅助胸腔镜手术(VATS)的用于切除肺癌肿瘤的微创技术已经出现为开放式手术的备选方案。
[0004]以安全边缘定位和切除肺癌肿瘤同时保留健康的肺组织仍然是VATS成功的重要方面。在VATS中，小相机通过小端口(即小孔或切口)插入到胸部腔中，并且手术仪器通过相同端口或其他小端口插入。使用相机视图执行整个手术切除。图1图示了用于肺切除的常规VATS实施方式。在图1中，胸腔镜可以作为仪器之一通过患者P的胸腔插入。要不然被遮挡的视野可以经由胸腔镜恢复。在图1中，仪器#1和仪器#2经由两个单独的小切口分别插入到患者P中以执行切除。近年来，机器人手术已经作为与VATS类似且具有竞争力的微创方法出现。
[0005]然而，在肺癌手术中仍然遇到三个主要挑战。首先，早在手术之前，可以在肺完全充气的情况下基于术前CT扫描来确定肺癌肿瘤的位置。因此，当肺在随后的手术期间塌陷时，肺的三维(3D)取向和肺癌肿瘤的位置将与来自用于规划的术前CT扫描的图像不匹配。其次，肺是复杂的，具有在移除肺癌肿瘤和任何馈送气道或血管之前必须仔细解剖和解决的许多血管和气道。第三，由于小的、不可触知的肺癌肿瘤特别是使用VATS或机器人手术难以识别和定位，因此在流程期间仍然可以移除额外的健康肺组织以防止留下肺癌肿瘤的组织的可能性。
[0006]为了克服这些挑战，已经研究了改进手术工作流程的方法，以更好地指导肺癌肿瘤的切除。VATS中涉及的手术探查是耗时的、不确定的和不可量化的，使得该流程的许多方
面难以再现。此外，本文描述的用于VATS和微创手术中的术中虚拟注释的交互式内窥镜检查解决了这些挑战。

技术实现思路

[0007]根据本公开的一个方面，一种用于介入影像的实况注释的控制器包括存储器和处理器，所述存储器存储软件指令，所述处理器执行所述软件指令。当由所述处理器执行时，所述软件指令使所述控制器实施过程，所述过程包括接收在术中介入期间的介入影像，并且针对可检测特征自动地分析所述介入影像。当所述处理器执行所述软件指令时执行的过程还包括检测可检测特征，并且确定要针对所述可检测特征将注释添加到所述介入影像。当所述处理器执行所述软件指令时执行的过程还包括在所述介入影像中识别针对所述注释的位置作为所识别的位置，并且在所识别的位置处将所述注释添加到所述介入影像以对应于所述可检测特征。在术中介入期间，基于所述介入影像和所述注释来输出视频作为视频输出，所述注释包括在所识别的位置处被叠加在所述介入影像上的注释。
[0008]根据本公开的另一方面，一种用于介入影像的实况注释的系统包括电子显示器和控制器。所述电子显示器显示介入影像。所述控制器包括存储器和处理器，所述存储器存储软件指令，所述处理器执行所述软件指令。当由所述处理器执行时，所述软件指令使所述控制器实施过程，所述过程包括接收介入影像，并且针对可检测特征自动地分析所述介入影像。当所述处理器执行所述软件指令时执行的过程还包括检测可检测特征，并且确定要针对所述可检测特征将注释添加到所述介入影像。当所述处理器执行所述软件指令时执行的过程还包括在所述介入影像中识别针对所述注释的位置作为所识别的位置，并且在所识别的位置处将所述注释添加到所述介入影像以对应于所述可检测特征。在术中介入期间，基于所述介入影像和所述注释来输出视频作为在所述电子显示器上输出的视频，所述注释包括在所识别的位置处被叠加在所述介入影像上的注释。
[0009]根据本公开的又一方面，一种用于介入影像的实况注释的方法包括从胸腔镜接收在用于肺肿瘤切除的视频辅助胸腔镜手术期间的介入影像，所述胸腔镜产生所述介入影像作为胸部内部的视图。所述方法还包括由执行来自存储器的软件指令的处理器针对可检测特征自动地分析所述介入影像。所述方法还包括检测可检测特征，并且确定要针对所述可检测特征将注释添加到所述介入影像。所述方法还包括在所述介入影像中识别针对所述注释的位置作为所识别的位置，并且在所识别的位置处将所述注释添加到所述介入影像以对应于所述可检测特征。在视频辅助胸腔镜手术期间，基于所述介入影像和所述注释来输出视频作为视频输出，所述注释包括在所识别的位置处被叠加在所述介入影像上的注释。
附图说明
[0010]当与附图一起阅读时，根据以下详细描述最好地理解示例实施例。要强调的是，各种特征不一定按比例绘制。实际上，为了讨论的清楚，尺寸可以任意增加或减小。在适用和实用的任何地方，相似附图标记指代相似元件。
[0011]图1图示了用于肺切除的常规视频辅助胸腔镜手术(VATS)实施方式。
[0012]图2A图示了根据代表性实施例的用于VATS和微创手术中的术中虚拟注释的方法。
[0013]图2B图示了根据代表性实施例的用于VATS和微创手术中的术中虚拟注释的另一
方法。
[0014]图2C图示了根据代表性实施例的用于VATS和微创手术中的术中虚拟注释的另一方法。
[0015]图2D图示了根据代表性实施例的用于VATS和微创手术中的术中虚拟注释的另一方法。
[0016]图2E图示了根据代表性实施例的用于VATS和微创手术中的术中虚拟注释的另一方法。
[0017]图2F图示了根据代表性实施例的用于VATS和微创手术中的术中虚拟注释的另一方法。
[0018]图3图示了根据代表性实施例的用于VATS和微创手术本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于介入影像的实况注释的控制器(522)，包括：存储器(52220)，其存储软件指令；以及处理器(52210)，其执行所述软件指令，其中，当由所述处理器(52210)执行时，所述软件指令使所述控制器(522)实施包括以下操作的过程：接收(S210)术中介入期间的介入影像；针对可检测特征自动地分析(S220)所述介入影像；检测(S230)可检测特征；确定(S240)要针对所述可检测特征将注释添加到所述介入影像；在所述介入影像中识别(S250)针对所述注释的位置作为所识别的位置；在所识别的位置处将所述注释添加(S260)到所述介入影像以对应于所述可检测特征，并且在所述术中介入期间，基于所述介入影像和所述注释来输出(S270)视频作为视频输出，所述注释包括在所识别的位置处被叠加在所述介入影像上的所述注释。2.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：检测(S230/S231)解剖结构作为所述可检测特征；并且描绘(S232)所述解剖结构的边界。3.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：检测(S230)介入工具作为所述可检测特征；并且描绘(S232)所述介入工具的边界。4.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：从所述控制器(522)外部的源识别(S240/S241)针对所述可检测特征的预定信息；并且将来自所述源的所述预定信息添加(S260/S262)到所述介入影像中作为所述注释，其中，所述注释包括用于利用所述预定信息虚拟地标记所述可检测特征的虚拟标签。5.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：检测(S230/S231)解剖结构作为所述可检测特征；利用作为被添加到所述介入影像的所述注释的虚拟标签来标记(S260/S261)所述解剖结构；跟踪(S271)所述解剖结构相对于生成所述视频输出的内窥镜的移动；检测(S272)所述解剖结构相对于生成所述视频输出的所述内窥镜的移动；并且基于检测到所述解剖结构相对于所述内窥镜的移动来自动地调节(S273)所述虚拟标签的位置和取向。6.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：使用第一算法来检测并跟踪(S221)所述介入影像中的低水平特征；提取(S222)所述低水平特征作为所提取的低水平特征，并且
使用第二算法基于所提取的低水平特征将解剖结构识别并分类(S223)为所述介入影像中的所述可检测特征。7.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：响应于第一指令而针对可检测特征自动地分析(S220)所述介入影像；响应于第二指令而自动地识别(S250)针对所述注释的所述位置；并且响应于第三指令而在所识别的位置处将所述注释自动地添加(S260)到所述介入影像。8.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：基于所述指令响应于用于添加所述注释的指令而在所识别的位置处将所述注释自动地添加(S240)到所述介入影像。9.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：响应于用于识别针对所述注释的位置的指令而自动地识别(S250)所述位置。10.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：响应于用于检测用于虚拟标记的结构的指令而自动地检测(S220/S230)所述结构。11.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：检测(S272)解剖结构相对于生成所述介入影像的内窥镜的移动；并且基于检测到所述解剖结构相对于所述内窥镜的所述移动而自动地调节(S273)所述注释的位置和取向。12.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：分析(S211)来自所述术中介入的术中信息；基于所述术中信息来导出(S240/S242)针对所述注释的内容，并且将所述内容添加(S260/S263)到所述介入影像中作为所述注释，其中，所述注释包括虚拟标签。13.根据权利要求1所述的控制器(522)，其中，当所述处理器(52210)执行所述软件指令时实施的所述过程还包括：获得(S205)...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：