手术期间使用计算机视觉增强手术工具控制的方法和系统技术方案

本公开涉及在手术程序期间使用计算机视觉处理系统来提高患者安全性的系统和方法。计算机视觉处理系统可以使用机器学习技术来训练机器学习模型。可以执行所述机器学习技术来训练所述机器学习模型来识别、分类和解释实况视频馈送内的对象。本公开的某些实施例可以使用经过训练的机器学习模型在手术程序期间控制(或促进控制)手术工具。

【技术实现步骤摘要】
手术期间使用计算机视觉增强手术工具控制的方法和系统
本公开总体上涉及用于在手术程序(surgicalprocedure)期间控制(或促进控制)手术工具的方法和系统。更具体地，本公开涉及在手术程序期间使用计算机视觉来促进控制手术工具的操作从而提高手术的安全性和可靠性的方法和系统。
技术介绍
相机越来越多地被用来在手术程序期间帮助外科医生。例如，腹腔镜术是一种手术，其中外科医生在患者腹部附近做一个小切口并插入一个或多个手术工具，比如腹腔镜(即，连接到小相机的长纤维光缆)。腹腔镜使外科医生能够查看患者腹部中的患处。然而，手术工具偶尔会因错误处理而对患者造成伤害。因此，需要提高在手术程序期间手术工具使用的安全性和可靠性。
技术实现思路
本公开的某些实施例涉及在手术程序期间使用计算机视觉处理系统来提高患者安全性的系统和方法。计算机视觉处理系统可以使用机器学习技术来训练机器学习模型。例如，使用样本图像的数据集，机器学习模型可以被训练成从图像中识别手术工具的特征。经过训练的机器学习模型然后可以用于解释新的图像或视频馈送(例如，未包括在样本图像的数据集中的图像)。本公开的某些实施例可以使用经过训练的机器学习模型在手术程序期间控制(或促进控制)手术工具。例如，某些实施例可以包括被定位成用于捕获手术程序的实况视频的相机。所述相机被配置成用于捕获视场内的实况视频。由所述相机所生成的实况视频馈送可以被馈送到经过训练的机器学习模型中。机器学习模型被训练，并且因此被配置成用于识别实况视频馈送的图像帧内的模式(pattern)或对实况视频馈送的图像帧内的对象进行分类。程序控制系统可以与计算机视觉处理系统通信以基于从机器学习模型输出的已识别模式或已分类对象(例如，输出是使用经过训练的机器学习模型处理实况视频馈送的结果)来控制(或促进控制)手术工具。控制或促进控制手术工具可以包括例如以数字方式控制由手术工具(比如腹腔镜双极透热能量设备(或任何其他能量设备))提供的能量，以仅当计算机视觉处理系统(从实况视频馈送)自动识别腹腔镜透热能量设备在相机的视场内时提供能量。否则，计算机视觉系统可以禁用腹腔镜透热能量设备，使得腹腔镜透热能量设备不提供电力，从而禁止手术工具在相机的视场之外操作。在一些实施方式中，相机(或任何视频或图像捕获设备)可以位于手术室中或手术室附近以捕获视场内的实况视频。实况视频可以是由一个或多个外科医生(或任何其他合格或授权用户)使用一个或多个手术工具执行的手术程序的实况视频。仅作为非限制性示例，手术程序可以是腹腔镜术程序，其中外科医生操作腹腔镜手术工具，比如钳子、剪刀、探针、解剖器、钩子、牵开器、(双极或单极透热)能量设备、结扎线、谐波、水射流和任何其他合适的手术工具。相机可以被配置成生成一个或多个数据流，所述数据流被传输到计算机视觉处理系统，以使用经过训练的机器学习模型进行处理。所述一个或多个数据流可以包括视场内的实况视频的图像帧序列。应当理解，本文可以使用可以捕获视频或图像序列的任何电子设备，并且本公开不限于使用数码相机。在一些实施方式中，计算机视觉处理系统可以接收一个或多个数据流并将接收到的(多个)数据流输入到机器学习模型中。计算机视觉处理系统可以使用机器学习或人工智能技术(本文更详细地描述)来训练机器学习模型。例如，计算机视觉处理系统可以存储手术工具的样本图像的数据集。可以将机器学习或人工智能技术应用于样本图像的数据集以训练机器学习模型来识别图像内的模式和对图像内的对象进行分类。然后，经过训练的机器学习模型可用于生成输出，当在程序控制系统处接收到所述输出时，所述输出可以使一个或多个手术工具被控制。在一些实施方式中，控制(或促进控制)手术工具可以是自动的。例如，如果程序控制系统从计算机视觉处理系统接收到输出，并且如果输出指示手术工具在相机的视场内，则程序控制系统可以自动启用手术工具以执行功能(例如，如果手术工具是腹腔镜透热能量设备，则生成用于透热的高频电信号)。作为另一个示例，如果输出指示手术工具不在相机的视场内或者不再在相机的视场内，那么程序控制系统可以自动禁用手术工具以便停止功能的执行(例如，控制透热能量设备停止提供能量或者不再能够执行功能)或者至少调节对功能的执行。在一些实施方式中，控制(或促进控制)手术工具可以基于用户选通。例如，如果来自计算机视觉处理系统的输出指示手术工具在相机的视场内，则程序控制系统可以为执行手术的外科医生输出可听或可视通知。所述可听或可视通知可以(分别)可听地或可视地向外科医生呈现手术工具能够(或不能)执行功能。在这些实施方式中，手术工具的控制不是自动的，而是基于在呈现可听或可视通知之后来自外科医生的响应或输入。为了说明并且仅作为非限制性示例，当在相机的视场内检测到腹腔镜透热器械时，程序控制系统可以使扬声器可听地呈现话语：“检测到透热器械。请回答‘确定’以启用器械”。在一些实施方式中，控制(或促进控制)手术工具包括启用和禁用手术工具的功能。例如，如果手术工具是腹腔镜透热能量设备，当检测到能量设备在相机的视场内时，腹腔镜透热能量设备可以提供400瓦的高频电信号。相反，当未检测到能量设备位于相机的视场内时，400瓦的信号被关闭或禁用。在一些实施方式中，控制或促进控制可以包括调节(例如，通过逐渐增加或减少来修改)功能的大小。例如，如果手术工具是腹腔镜水射流，如果水射流被检测为在视场内，则水射流可以被自动控制以增加水压。相反，如果在视场内未检测到水射流，那么水射流的水压可以被降低。应当理解，控制或促进控制腹腔镜水射流可以是逐渐的。例如，随着水射流被移动到更接近解剖结构，水射流的压力可以逐渐增加。类似地，随着水射流被移动离开解剖结构，水射流的压力可以逐渐降低。在一些实施方式中，控制或促进控制手术工具可以包括改变可供执行的功能。例如，如果手术工具是具有四种不同可能功能(即，功能1、2、3和4)的设备，则当手术工具被检测为在相机的视场内时，可以使手术工具仅能够执行功能1、2和3。相反，当在相机的视场内未检测到手术工具时，则可以使手术工具仅能够执行功能4。在一些实施方式中，计算机视觉处理系统可以使用机器学习模型来检测是否已暴露了安全临界视野(CriticalViewofSafety,CVS)。例如，CVS是一种用于在开腹胆囊切除术中标识(identify)目标(比如胆囊管和动脉)的技术。计算机视觉处理系统可以检测视场内是否检测到CVS，以及视场内是否还已经检测到夹子的应用，并且如果两者都被检测到，则可以在胆囊管附近激活手术工具。在任何其他情况下，当手术工具靠近胆囊管(例如，但是尚未检测到夹子)时，则手术工具可以被禁用。在这些实施方式中，机器学习模型也可以被训练来检测可以被解释为CVS的模式。可以使用样本图像的数据集来训练机器学习模型，在所述样本图像的数据集上应用一种或多种机器学习算法。在一些实施方式中，计算机视觉处理系统可以被配置成在使手术工具能够操作之前除了手术工具之外还检测解剖结构。为了说明并且仅作为非限制性示例，如果手术工具是腹腔镜订合器(stapler)，则计算机视觉处理系统本文档来自技高网...

【技术保护点】
1.一种计算机实施的方法，所述方法包括：/n收集包括多个图像的数据集，所述多个图像中的每个图像捕获手术程序的一部分，并且所述手术程序的所述部分是使用手术工具来执行的；/n使用所述数据集训练模型，所述模型通过将所述数据集输入到一个或多个机器学习算法中而被训练成从图像数据中识别手术工具；/n接收一个或多个数据流，所述一个或多个数据流中的每个数据流已经在电子设备处生成并从所述电子设备接收，所述电子设备被配置和定位成在使用一个或多个手术工具执行的特定手术程序期间捕获视场内的实况视频，并且所述一个或多个数据流包括所述视场内的所述实况视频的图像序列；/n将所述一个或多个数据流输入到经过训练的模型中；/n响应于将所述一个或多个数据流输入到所述经过训练的模型中，从所述一个或多个数据流的所述图像序列中检测手术工具，所述手术工具适于执行功能，对所述手术工具的所述检测是通过利用所述模型从所述实况视频的所述图像序列中识别所述手术工具来执行的，并且对所述手术工具的所述检测指示所述手术工具在所述视场内；以及/n响应于检测到所述手术工具，促进控制所述手术工具执行所述功能，从所述实况视频的所述图像序列中检测到所述手术工具使所述手术工具能够执行所述功能。/n...

【技术特征摘要】
20190715 US 16/511,9781.一种计算机实施的方法，所述方法包括：
收集包括多个图像的数据集，所述多个图像中的每个图像捕获手术程序的一部分，并且所述手术程序的所述部分是使用手术工具来执行的；
使用所述数据集训练模型，所述模型通过将所述数据集输入到一个或多个机器学习算法中而被训练成从图像数据中识别手术工具；
接收一个或多个数据流，所述一个或多个数据流中的每个数据流已经在电子设备处生成并从所述电子设备接收，所述电子设备被配置和定位成在使用一个或多个手术工具执行的特定手术程序期间捕获视场内的实况视频，并且所述一个或多个数据流包括所述视场内的所述实况视频的图像序列；
将所述一个或多个数据流输入到经过训练的模型中；
响应于将所述一个或多个数据流输入到所述经过训练的模型中，从所述一个或多个数据流的所述图像序列中检测手术工具，所述手术工具适于执行功能，对所述手术工具的所述检测是通过利用所述模型从所述实况视频的所述图像序列中识别所述手术工具来执行的，并且对所述手术工具的所述检测指示所述手术工具在所述视场内；以及
响应于检测到所述手术工具，促进控制所述手术工具执行所述功能，从所述实况视频的所述图像序列中检测到所述手术工具使所述手术工具能够执行所述功能。


2.如权利要求1所述的计算机实施的方法，进一步包括：
确定不再从所述实况视频的所述图像序列中检测到所述手术工具；以及
当所述手术工具不在所述电子设备的所述视场内时，促进控制所述手术工具停止执行所述功能或调节所述功能的执行，其中，当所述电子设备没有检测到所述手术工具时，所述手术工具不再能够执行所述功能或者所述功能的所述执行被调节。


3.如权利要求1所述的计算机实施的方法，其中，所述手术工具另外适于执行附加功能，并且其中，检测到所述手术工具不再在所述电子设备的所述视场内使所述手术工具能够执行所述附加功能。


4.如权利要求1所述的计算机实施的方法，进一步包括：
从所述实况视频的所述图像序列中检测解剖结构，所述解剖结构是通过利用所述模型从所述图像序列中识别所述解剖结构来检测的；
响应于检测到所述解剖结构，确定所述手术工具是否以相对于所述解剖结构的特定连接、位置或取向来定向；
当所述手术工具不处于相对于所述解剖结构的所述特定连接、位置或取向时，自动地控制所述手术工具停止执行所述功能或调节所述功能的执行；以及
当所述手术工具处于相对于所述解剖结构的所述特定连接、位置或取向时，自动地控制所述手术工具执行所述功能或调节所述功能的执行。


5.如权利要求1所述的计算机实施的方法，进一步包括：
从所述实况视频的所述图像序列中检测附加设备，所述附加设备是通过利用所述模型从所述图像序列中识别所述附加设备来检测的；
确定所述手术工具与所述附加设备之间的距离；
将所确定的距离与阈值距离进行比较；
当所述确定的距离大于或等于所述阈值距离时，自动地控制所述手术工具停止执行所述功能或调节所述功能的执行；以及
当所述确定的距离小于所述阈值距离时，自动地控制所述手术工具执行所述功能或调节所述功能的执行。


6.如权利要求1所述的计算机实施的方法，进一步包括：
标识所述特定手术程序包括多个连续阶段；
确定所述功能将在所述特定手术程序的所述多个连续阶段中的一个阶段期间执行；
检测所述手术程序处于所述多个连续阶段中的所述阶段，所述阶段是通过利用所述模型从所述图像序列中识别所述阶段来检测的；以及
响应于检测到所述手术程序处于所述多个连续阶段中的所述阶段，促进控制所述手术工具执行所述功能。


7.如权利要求6所述的计算机实施的方法，进一步包括：
检测所述手术程序处于所述多个连续阶段中的附加阶段，所述附加阶段是通过利用所述模型从所述图像序列中识别所述附加阶段来检测的；以及
响应于检测到所述手术程序处于所述附加阶段，促进控制所述手术工具停止执行所述功能或调节所述功能的执行。


8.一种系统，所述系统包括：
一个或多个数据处理器；以及
包含指令的非暂态计算机可读存储介质，所述指令当在所述一个或多个数据处理器上执行时，使所述一个或多个数据处理器执行包括以下各项的操作：
收集包括多个图像的数据集，所述多个图像中的每个图像捕获手术程序的一部分，并且所述手术程序的所述部分是使用手术工具来执行的；
使用所述数据集训练模型，所述模型通过将所述数据集输入到一个或多个机器学习算法中而被训练成从图像数据中识别手术工具；
接收一个或多个数据流，所述一个或多个数据流中的每个数据流已经在电子设备处生成并从所述电子设备接收，所述电子设备被配置和定位成在使用一个或多个手术工具执行的特定手术程序期间捕获视场内的实况视频，并且所述一个或多个数据流包括所述视场内的所述实况视频的图像序列；
将所述一个或多个数据流输入到经过训练的模型中；
响应于将所述一个或多个数据流输入到所述经过训练的模型中，从所述一个或多个数据流的所述图像序列中检测手术工具，所述手术工具适于执行功能，对所述手术工具的所述检测是通过利用所述模型从所述实况视频的所述图像序列中识别所述手术工具来执行的，并且对所述手术工具的所述检测指示所述手术工具在所述视场内；以及
响应于检测到所述手术工具，促进控制所述手术工具执行所述功能，从所述实况视频的所述图像序列中检测到所述手术工具使所述手术工具能够执行所述功能。


9.如权利要求8所述的系统，其中，所述操作进一步包括：
确定不再从所述实况视频的所述图像序列中检测到所述手术工具；以及
当所述手术工具不在所述电子设备的所述视场内时，促进控制所述手术工具停止执行所述功能或调节所述功能的执行，其中，当所述电子设备没有检测到所述手术工具时，所述手术工具不再能够执行所述功能或者所述功能的所述执行被调节。


10.如权利要求8所述的系统，其中，所述手术工具另外适于执行附加功能，并且其...

【专利技术属性】
技术研发人员：A·周，D·斯托亚诺夫，I·L·蒙蒂翁，P·吉亚塔加纳斯，J·尼姆，
申请(专利权)人：数字外科有限公司，
类型：发明
国别省市：英国;GB