用于在外科手术期间自动接通/关断内窥镜的光源的方法和系统技术方案

在本专利公开中，公开了一种用于在外科规程期间自动接通/关断内窥镜相机的光源的基于机器学习的系统。所公开的系统可接收在该光源接通时由该内窥镜相机捕获的视频图像序列。该系统接下来使用机器学习的分类器分析该视频图像序列，以将每个视频图像分类为在患者身体内的第一类图像或在患者身体外的第二类图像。该系统接下来基于所分类的视频图像来确定该内窥镜相机是在该患者身体内还是在该患者身体外。当确定该内窥镜相机在该患者身体外时，该系统生成用于关断该光源的控制信号，其中该控制信号用于立即关断该光源。控制信号用于立即关断该光源。控制信号用于立即关断该光源。

【技术实现步骤摘要】
【国外来华专利技术】用于在外科手术期间自动接通/关断内窥镜的光源的方法和系统


[0001]本公开整体涉及外科手术自动化，并且更具体地，涉及用于在内窥镜被放入患者身体内/从患者身体取出或指向白色物体时自动接通/关断内窥镜的光源以进行自动白平衡的系统、装置和技术。

技术介绍

[0002]在腹腔镜或机器人外科手术期间，出于各种原因，例如为了透镜清洁，可能需要将患者身体内的内窥镜从患者的身体中取出，然后放回患身体内以继续其成像功能。内窥镜通常配备有强光源，诸如发光二极管(LED)或激光器，其中由光源产生的光向下传播到患者身体内的内窥镜的远侧端部以照亮体腔，使得内窥镜相机可以“看到”并记录。然而，如果在将内窥镜从患者身体内取出时不关断该强光源，则意外地将内窥镜指向附近外科手术人员中的任一者的眼睛都可导致可能是永久性的显著视网膜损伤。为了避免当内窥镜在患者身体外时的这种潜在健康风险，训练内窥镜的操作者以立即将他/她的手掌保持抵靠内窥镜的端部，直到手动关断光源。类似地，在将内窥镜插入回到患者身体内之前，操作者需要手动恢复接通光源，保持他/她的手掌抵靠内窥镜的端部以阻挡光，直到内窥镜已经进入套管针或以其他方式插入患者身体内。
[0003]然而，如果取出内窥镜的外科医生在阻挡光和关断光源之间的协调性差，或者只是忘记关断光源，则接通/关断内窥镜光源的手动控制仍然会给外科手术人员带来风险。此外，在某些手术室(OR)设置中，巡回护士或擦洗技术人员的责任是根据外科医生是将内窥镜推入患者身体内还是将其取出来接通或关断光源。这些设置取决于外科手术人员与外科医生之间的协调，以确保OR中的人的安全，并且因此与外科医生控制内窥镜和光源的接通/断开状态相比，这些设置可能具有更高的意外光暴露的相关联风险。
[0004]因此，需要在没有上述问题的情况下在将内窥镜插入患者身体内/从患者身体内取出时接通/关断内窥镜光源的自动过程。

技术实现思路

[0005]本专利公开提供了用于在内窥镜被插入患者身体内/从患者身体取出或指向白色物体时使得能够自动接通/关断内窥镜的光源以进行自动白平衡的基于机器学习的检测/控制技术的各种实施方案。在一些实施方案中，为了使得能够自动接通/关断LED光源或激光器光源，首先构建了以用于视频场景分析的统计分类器，特别是以用于区分来自患者身体内的场景和来自患者身体外的场景的统计分类器。接下来，统计分类器可以应用于由内窥镜捕获的实时视频图像，以确定内窥镜的状态，诸如内窥镜是在患者身体内还是在患者身体外。这样，可以自动检测内窥镜的状态变化。
[0006]更具体地，如果内窥镜的状态已从在患者身体内变为在患者身体外，则可以立即生成控制信号以关断内窥镜的光源。另一方面，如果内窥镜的状态已从在患者身体外变为
在患者身体内，则可以立即生成控制信号以接通内窥镜的光源。因此，所公开的控制技术消除了在接通/关断内窥镜相机的光源时手动干预的需要。需注意，所公开的技术基本上检测内窥镜在两种状态之间的转变，因此状态变化的检测是立刻的，具有最小延迟。换句话说，所公开的技术可以立即检测内窥镜在患者身体外时的第一时刻，并立即使光源关断。
[0007]本公开的另一个目的是提供一种用于使得能够自动接通/关断内窥镜的白平衡模式以进行自动白平衡的技术。更具体地，所提出的自动白平衡技术被设计成检测和识别内窥镜指向白平衡物体，诸如白色卡或白色海绵。然后，所提出的自动白平衡技术可以触发白平衡操作，包括使光源被接通以允许执行自动白平衡。在一些实施方案中，所提出的自动白平衡技术还可通过识别内窥镜被指向远离白平衡物体来检测白平衡操作的结束。例如，所提出的自动白平衡技术可包括用于检测从白平衡物体的图像到不同物体的场景变化的视频分析工具。所提出的自动白平衡技术然后可以关闭白平衡模式，包括使光源再次关断。需注意，光源可以保持断开，直到内窥镜重新插入患者身体内，其中所提出的自动光源控制技术将使光源再次接通以恢复成像。因此，所提出的自动白平衡技术完全消除了在白平衡期间对手动干预的需要，并且因此节省了大量OR时间和麻烦。
[0008]在一个方面，公开了一种用于在外科规程期间自动接通/关断内窥镜相机的光源的过程。该过程可以通过接收在光源接通时由内窥镜相机捕获的第一视频图像序列来开始。该过程接下来使用统计分类器(例如，基于机器学习的分类器)分析第一视频图像序列，以将第一视频图像序列中的每个视频图像分类为在患者身体内的第一类图像或在患者身体外的第二类图像。该过程接下来基于所分类的第一视频图像序列来确定内窥镜相机是在患者身体内还是在患者身体外。当确定内窥镜相机在患者身体外时，该过程随后生成用于关断光源的第一控制信号，其中第一控制信号用于立即关断光源。
[0009]在一些实施方案中，当确定内窥镜相机在患者身体内时，该过程继续监测内窥镜相机的状态。
[0010]在一些实施方案中，该过程通过基于所分类的第一视频图像序列识别将内窥镜相机从患者身体内转移到患者身体外的第一转变事件来将内窥镜相机的状态确定为是在患者身体外。
[0011]在一些实施方案中，在光源已被关断后，该过程可进一步接收在光源断开时由内窥镜相机捕获的第二视频图像序列。该过程随后处理第二视频图像序列以确定内窥镜相机是否保持在患者身体外。如果是这样，则该过程继续监测内窥镜相机的状态。否则，该过程生成用于接通光源的第二控制信号。
[0012]在一些实施方案中，该过程处理第二视频图像序列以通过以下方式来确定内窥镜相机是否保持在患者身体外：使用统计分类器将第二视频图像序列中的每个视频图像分类为在患者身体内的第一类图像或在患者身体外的第二类图像；以及基于所分类的第二视频图像序列来将内窥镜相机的状态确定为是在患者身体内还是在患者身体外。
[0013]在一些实施方案中，该过程通过基于所分类的第二视频图像序列识别将内窥镜相机从患者身体外转移到患者身体内的第二转变事件来将内窥镜相机的状态确定为是在患者身体内。
[0014]在一些实施方案中，当光源保持关断并且内窥镜相机在患者身体外时，该过程进一步检测到内窥镜相机指向白平衡物体，并且随后生成用于接通光源的第三控制信号，以
用于白平衡操作。
[0015]在一些实施方案中，该过程通过以下方式检测到内窥镜相机指向白平衡物体：接收在光源被关断时由内窥镜相机捕获的实时视频图像；以及处理视频图像以识别视频图像内的预定义白平衡物体。
[0016]在一些实施方案中，该过程通过以下方式来训练统计分类器：接收多个外科手术视频，其中多个外科手术视频中的每个外科手术视频包含内窥镜在患者身体内和患者身体外两者的视频图像；对于多个外科手术视频中的每个外科手术视频，将对应视频图像标记为第一类图像或第二类图像；以及训练统计分类器以用于基于标记的视频图像将输入图像区分为第一类图像或第二类图像。
[0017]在一些实施方案中，该过程训练统计分类器以基于诸如颜色、纹理和对比度的不同图像特征的集合的统计来区分输入图像。
[0018]在另一方面，公开了一种内窥镜系统。该内本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在外科规程期间自动接通/关断内窥镜相机的光源的计算机实现的方法，所述方法包括：接收在所述光源接通时由所述内窥镜相机捕获的第一视频图像序列；由计算机使用统计分类器分析所述第一视频图像序列，以将所述第一视频图像序列中的每个视频图像分类为在患者身体内的第一类图像或在所述患者身体外的第二类图像；由所述计算机基于所分类的第一视频图像序列来确定所述内窥镜相机是在患者身体内还是在所述患者身体外；以及当确定所述内窥镜相机在所述患者身体外时，生成用于关断所述光源的第一控制信号，其中所述第一控制信号用于立即关断所述光源。2.根据权利要求1所述的计算机实现的方法，进一步包括：当确定所述内窥镜相机在所述患者身体内时，继续监测所述内窥镜相机的状态。3.根据权利要求1所述的计算机实现的方法，其中将所述内窥镜相机的所述状态确定为在所述患者身体外包括基于所分类的第一视频图像序列来识别将所述内窥镜相机从所述患者身体内转移到所述患者身体外的第一转变事件。4.根据权利要求1所述的计算机实现的方法，其中在所述光源已关断之后，所述方法进一步包括：接收在所述光源断开时由所述内窥镜相机捕获的第二视频图像序列；处理所述第二视频图像序列以确定所述内窥镜相机是否保持在所述患者身体外；以及如果是这样，则继续监测所述内窥镜相机的所述状态，否则，生成用于接通所述光源的第二控制信号。5.根据权利要求4所述的计算机实现的方法，其中处理所述第二视频图像序列以确定所述内窥镜相机是否保持在所述患者身体外包括：使用所述统计分类器将所述第二视频图像序列中的每个视频图像分类为在所述患者身体内的所述第一类图像或在所述患者身体外的所述第二类图像；以及基于所分类的第二视频图像序列来将所述内窥镜相机的状态确定为是在所述患者身体内还是在所述患者身体外。6.根据权利要求5所述的计算机实现的方法，其中将所述内窥镜相机的所述状态确定为在所述患者身体内包括基于所分类的第二视频图像序列来识别将所述内窥镜相机从所述患者身体外转移到所述患者身体内的第二转变事件。7.根据权利要求1所述的计算机实现的方法，其中当所述光源保持关断并且所述内窥镜相机在所述患者身体外时，所述方法进一步包括：检测所述内窥镜相机指向白平衡物体；以及生成用于接通所述光源的第三控制信号，以用于白平衡操作。8.根据权利要求7所述的计算机实现的方法，其中检测所述内窥镜相机指向所述白平衡物体包括：接收在所述光源关断时由所述内窥镜相机捕获的实时视频图像；以及处理所述视频图像以识别所述视频图像内的预定义白平衡物体。9.根据权利要求1所述的计算机实现的方法，其中所述方法进一步包括通过以下方式训练所述统计分类器：
接收多个外科手术视频，其中所述多个外科手术视频中的每个外科手术视频包含内窥镜在患者身体内和患者身体外两者的视频图像；对于所述多个外科手术视频中的每个外科手术视频，将对应视频图像标记为所述第一类图像或所述第二类图像；以及训练所述统计分类器以用于基于所标记的视频图像将输入图像区分为所述第一类图像或所述第二类图像。10.根据权利要求9所述的计算机实现的方法，其中训练所述统计分类器以用于区分输入图像包括基于诸如颜色、纹理和对比度的不同图像特征的集合的统计来训练所述统计分类器。11.一种用于在外科规程期间自动接通/关断内窥镜相机的光源的设备，所述设备包括：一个或多个处理器；和存储器，所述存储器耦合到所述一个或多个处理器；并且其中所述存储器存储指令集合，所述指令集合在由所述一个或多个处理器执行时使所述设备：接收在所述光源接通时由所述内窥镜相机捕获的第一视频图像序列；分析所述第一视频图像序列以确定所述内窥镜相机是在患者身体内还是在所述患者身体外；以及如果确定所述内窥...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：威博外科公司，
类型：发明
国别省市：