用于执行医疗手术并且用于访问和/或操纵医学相关信息的方法和系统技术方案

一种系统允许医师在医疗手术期间与医学相关信息交互。该系统包括：投影仪，其用于将用户界面菜单图像投影到投影表面上；三维光学成像系统，其用于捕捉包括投影表面的感测体积中的物体的三维位置信息；以及控制器，其被连接以接收来自三维光学成像系统的三维位置信息并且该控制器配置成基于手势相对于投影用户界面菜单图像的位置来解释一个或多个手势，所述手势由医师在三维光学成像系统和投影表面之间的空间中做出。该控制器可连接至显示器以使显示器呈现图像并且配置成使显示器呈现包括医学相关信息的图像，所述医学相关信息至少部分基于解释的手势。

Methods and systems for performing medical procedures and for accessing and / or manipulating medical related information

A system that allows physicians to interact with medical information during medical operations. The system includes: a projector, which is used for user interface menu image onto a projection surface; three-dimensional optical imaging system, which is used for three-dimensional position information capture including projection surface of the sensing volume of the object; and a controller which is connected to the receiving three-dimensional position information from the 3D optical imaging system and the controller is configured gesture with respect to the projected user interface menu based on the location of the image to explain one or more gestures, make the gesture by a physician between 3D optical imaging system and projection surface space. The controller may be connected to the display so that the display renders the image and is configured to render the display an image including medical related information, at least in part based on interpreted gestures.

【技术实现步骤摘要】
【国外来华专利技术】用于执行医疗手术并且用于访问和/或操纵医学相关信息的方法和系统相关申请本申请要求于2014年8月15日提交的美国申请第62/038157号的优先权，该美国申请通过引用结合于本文。
本文所公开的技术涉及用于执行医疗手术的方法和系统，以及用于与医学相关信息交互的方法和系统，在医疗手术期间该医学相关信息可能是期望获得的。
技术介绍
期望为医师(例如，外科医生、介入性放射科医师、护士、医疗助理、其他医疗技术人员等)在执行医疗手术(例如，外科手术等)期间提供对医学相关信息的访问，操纵能力和/或以其他方式与医学相关信息交互的能力。此类期望的医学信息可以以非限制性实例的方式包括放射图像、血管造影图像、其他形式的患者身体图像、与进行医疗手术的患者相关的其他信息、与手术本身相关的其他信息、与治疗情形相关的其他信息等。可在执行手术之前和/或执行手术期间获取此类期望的医学信息，并且此类期望的医疗信息可允许医师在图像引导的医疗手术期间制定或改变其治疗计划。当前，对放射图像的手术内访问、操纵和/或交互发生在位于外科无菌环境之外的控制室中的计算机工作站。此类工作站可经由适当的网络通信或其他数字访问技术，通过访问图片存档及通信系统(PACS)；医学数字成像和通信系统(DICOM)、医院信息系统(HIS)、放射信息系统(RIS)等来访问涉及患者的图像数据的档案。此类工作站可在适当的显示器上显示独立图像，并且可允许经由传统的基于计算机的用户界面来操纵图像，例如，使用鼠标、键盘和以软件实施的用户界面。由于工作站位于外科无菌环境之外，想要访问多种图像的放射科医师通常需要：(a)在手术过程中，在一种或多种情形下，从手术中抽离出来；或(b)将访问期望图像的任务委托给技术专家，技术专家需要在放射科医师的指导下操作工作站。在情形(a)中，出于图像导航和解释目的，需要在非无菌控制室和无菌手术环境之间来回移动可：通过不经意地将污染物从非无菌控制室带入无菌环境而增加污染无菌环境的风险；延长完成手术所需时间，从而增加手术成本；和/或中断医师的认知注意力，从而增加患者的医疗风险。在情形(b)中，通常需要放射科医师和操作工作站的技术人员之间的密切通信。相关信息的通信(例如，将图像移动或放大多少)难度大且耗时，并且可能需要多次反复。如果需要使用不同的软件平台，通过供应商特有的多层菜单来导航并且需要使用键盘和鼠标与大量图像交互，则该过程可能更为困难。随着人们对用于目标治疗的手术内计划和确认的多种放射图像越来越依赖，广泛期望研发用于以下问题的解决方案：改善放射科医师快速访问、操纵和/或以其他方式直观地，完整地，及时地在无菌环境中与大量图像信息(和/或其他医学相关信息)交互的能力。前述相关技术的实例和与此相关的局限性用作示例说明，而不是唯一的。在阅读说明书和研究附图之后，相关技术的其他局限性对本领域的技术人员来说将变得显而易见。
技术实现思路
结合系统、工具和方法，描述并阐明了以下实施例及其各方面，这些系统、工具和方法是示例性和说明性的，不限制范围。在各种实施例中，上述问题中的一个或多个已被减少或消除，而其他实施例涉及其他改进。本专利技术的各方面提供了系统和方法，这些系统和方法用于允许医师在医疗手术中使用手势(例如，非接触式手势)访问、操纵和/或以其他方式与医学相关信息交互，以与投影用户界面菜单图像交互。该手势可基于医师手的构形、位置或移动。可基于手势相对于投影用户界面菜单图像(和/或用户界面菜单图像投影于其上的投影表面)的位置(例如，医师手的位置)解释该手势。该手势可另外或替代地基于手势的构形或移动(例如，医师手的构形或移动)。此类手势移动或构形可以相对于投影用户界面菜单图像(和/或用户界面图像投影于其上的投影表面)。此类系统和方法提供该能力，而无需医师从正在执行手术的无菌环境中抽离出来并且无需与位于无菌环境之外的技术人员通信。以实例的方式，在医疗手术中被访问、操纵和/或以其他方式交互的医学相关信息可包括：放射图像、血管造影图像、其他形式的患者身体图像或与进行医疗手术的患者相关的其他信息、与手术本身相关的其他信息等。该系统可包括：投影设备，其用于将用户界面菜单图像投影到适于医师观察的投影表面上，该投影表面位于无菌环境中；三维(3-D)光学成像传感器或系统，其用于捕捉与医师和投影用户界面菜单图像交互的方式(例如，在相对于投影用户界面菜单图像的位置使用手势)相关的3-D信息。此类3-D光学传感器/系统的非限制性实例包括所谓的飞行时间法(TOF)成像系统(也称为范围成像系统)、相位调制3-D光学传感器系统、基于结构化光机构(例如，斑纹图案)的3-D光学传感器等。连接到3-D光学成像系统的控制器可解释手势，这些手势包括医师的一只手相对于用户界面菜单图像和/或相对于用户界面菜单图像投影于其上的投影表面的移动、构形和/或位置。基于此类手势的解释，控制器可使显示器呈现对医师可见的图像(或其他信息)。显示图像可包括来自与正在执行手术的患者相关的图像库的图像或图像的一部分。基于此类手势的解释，控制器可操纵显示图像。例如，此类操纵可包括对特定显示图像进行放大或缩小，平移(panning)或以其他方式移动特定显示图像的显示部分；调整特定显示图像的亮度、对比度和/或颜色参数；在图像库中滚动以选择用于显示的新图像等。投影表面可为大致水平的。在大致水平的投影表面和3-D光学成像系统之间的空间内使用其一只(或两只)手的手势，医师可与系统交互，以及可基于医师手相对于投影用户界面菜单图像和/或相对于用户界面菜单图像投影于其上的投影表面的位置来解释此类手势。投影表面可包括正在执行手术的患者位于其上的手术台的一部分。投影用户界面菜单图像的尺寸可为可调整的(基于3-D光学成像系统获取的数据)，从而使得投影用户界面菜单图像配合手术台的部分(例如，不会与手术台边缘交叉)。以非限制性实例的方式，基于患者身体的存在、任何投影表面(例如，手术台)覆盖物的状态等，投影表面可为不规则的(例如，非平面的或大致但不完全水平)。基于3-D光学成像系统获取的数据可确定投影表面的不规则性轮廓，并且可调整投影用户界面菜单图像以补偿投影表面的不规则性。基于由3-D光学成像系统或一些其他适当成像系统(例如，彩色摄像机)获取的数据，可估计投影表面的反射率和/或颜色，并且可调整投影用户界面菜单图像以补偿投影表面的反射率和/或颜色。基于手势的解释，控制器可确定何时投影用户界面以及何时不投影用户界面。本专利技术的其他方面提供了包括一个或多个处理器的系统，其中处理器配置成根据本专利技术的任意方面来执行方法。本专利技术的其他方面包括计算机程序产品，其包括实施在非瞬时介质上的计算机可读指令。当被适当的计算机或处理器执行时，计算机可读指令使得计算机或处理器根据本专利技术的任意方面来执行方法。除上述示例性方面和实施例之外，通过参考附图和研究以下详细描述，更多的方面和实施例将变得显而易见。附图说明在参考的附图中示出示例性实施例。本文中所公开的实施例和附图应被认为是示例性的而非限制性的。图1是根据特定实施例的系统的示意图，该系统用于执行医疗手术并用于访问、操纵和/或以其他方式与医学相关信息交互。图2是用户界面菜单图像的示意图，该用户界面菜单图像可在特定实施例中与图本文档来自技高网...

【技术保护点】
一种用于允许医师在医疗手术期间与医学相关信息交互的系统，所述系统包括：投影仪，其用于将用户界面菜单图像投影到投影表面上；三维光学成像系统，其用于捕捉包括所述投影表面的感测体积中的物体的三维位置信息；以及控制器，其被连接以接收来自所述三维光学成像系统的所述三维位置信息并且所述控制器配置成至少部分基于手势相对于所述投影的用户界面菜单图像的位置来解释所述一个或多个手势，所述手势由所述医师在所述三维光学成像系统和所述投影表面之间的空间中做出；并且其中所述控制器可连接至显示器以使所述显示器呈现图像，并且配置成使所述显示器呈现包括医学相关信息的图像，所述图像和所述医学相关信息中的至少一个至少部分基于解释的手势。

【技术特征摘要】
【国外来华专利技术】2014.08.15 US 62/038,1571.一种用于允许医师在医疗手术期间与医学相关信息交互的系统，所述系统包括：投影仪，其用于将用户界面菜单图像投影到投影表面上；三维光学成像系统，其用于捕捉包括所述投影表面的感测体积中的物体的三维位置信息；以及控制器，其被连接以接收来自所述三维光学成像系统的所述三维位置信息并且所述控制器配置成至少部分基于手势相对于所述投影的用户界面菜单图像的位置来解释所述一个或多个手势，所述手势由所述医师在所述三维光学成像系统和所述投影表面之间的空间中做出；并且其中所述控制器可连接至显示器以使所述显示器呈现图像，并且配置成使所述显示器呈现包括医学相关信息的图像，所述图像和所述医学相关信息中的至少一个至少部分基于解释的手势。2.根据权利要求1或本文中任一其他权利要求所述的系统，其中投影仪、所述三维光学成像系统和所述显示器位于正在其中执行所述医疗手术的无菌环境中。3.根据权利要求1至2中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面包括大致水平表面。4.根据权利要求1至3中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面包括正在进行所述医疗手术的所述患者位于其上的手术台的一部分。5.根据权利要求1至3中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面包括夹持所述医疗手术中使用的仪器的边桌的大致水平表面。6.根据权利要求1至5中任一权利要求或本文中任一其他权利要求所述的系统，其中由所述医师做出的所述手势包括由所述医师的至少一只手做出的移动。7.根据权利要求1至6中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成至少部分基于接收自所述三维光学成像系统的所述三维位置信息将所述手势解释为包括多个手势的手势表中的特定手势。8.根据权利要求1至7中任一权利要求或本文中任一其他权利要求所述的系统，其中所述用户界面菜单图像包括多个用户界面图像分区，每个用户界面图像分区占用所述用户界面菜单图像的不同部分并且与对应功能性相关联。9.根据权利要求8或本文中任一其他权利要求所述的系统，其中每个用户界面图像分区包括与其对应功能性相关联的显示的图形和/或文本。10.根据权利要求8至9中任一权利要求或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的所述位置信息，所述控制器配置成将由所述医师做出的特定手势解释为基于所述手势在所述多个用户界面图像分区中的特定一个用户界面图像分区上方的位置对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的选择。11.根据权利要求8至10中任一权利要求或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的所述位置信息，所述控制器配置成将由所述医师做出的特定手势解释为基于所述手势与所述多个用户界面图像分区中的一个特定用户界面图像分区的接近性对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的选择。12.根据权利要求10至11中任一权利要求或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的所述位置信息且在将所述医师做出的手势解释为对所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性的所述选择之后，所述控制器配置成将由所述医师做出的一个或多个进一步手势解释为包括一个或多个对应命令，以与显示在所述显示器上的所述医学相关信息交互并且使所述显示器对呈现在所述显示器上的所述医学相关信息执行所述一个或多个对应命令。13.根据权利要求12或本文中任一其他权利要求所述的系统，其中所述控制器配置成通过以下做法将由所述医师做出的所述一个或多个进一步手势解释为包括一个或多个对应命令：使所述投影仪将子菜单图像投影到所述投影表面上，所述子菜单图像包括多个子菜单图像分区，每个子菜单图像分区占用与所述一个或多个对应命令中的一个对应命令相关联的所述子菜单图像的不同部分；以及将由所述医师做出的所述一个或多个进一步手势解释为包括基于所述一个或多个进一步手势相对于所述子菜单界面分区中的一个特定子菜单界面分区的位置对所述子菜单界面分区中的一个特定子菜单界面分区和所述一个或多个对应命令中的一个对应命令的选择。14.根据权利要求13或本文中任一其他权利要求所述的系统，其中每个子菜单图像分区包括与所述一个或多个对应命令中的对应命令相关联的显示的图形和/或文本。15.根据权利要求13至14中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成将由所述医师做出的所述一个或多个进一步手势解释为包括基于所述一个或多个进一步手势在所述子菜单界面分区中的一个特定子菜单界面分区上方的所述位置对所述子菜单界面分区中的一个特定子菜单界面分区和所述一个或多个对应命令中的一个对应命令的所述选择。16.根据权利要求13至15中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成将由所述医师做出的所述一个或多个进一步手势解释为包括基于所述一个或多个进一步手势与所述子菜单界面分区中的一个特定子菜单界面分区的接近性对所述子菜单界面分区中的一个特定子菜单界面分区和所述一个或多个对应命令中的一个对应命令的所述选择。17.根据权利要求12至16中任一权利要求或本文中任一其他权利要求所述的系统，其中所述一个或多个对应命令包括用于放大显示在所述显示器上的图像的放大命令和用于缩小显示在所述显示器上的图像的缩小命令。18.根据权利要求12至17中任一权利要求或本文中任一其他权利要求所述的系统，其中所述一个或多个对应命令包括在第一方向上滚过要显示在所述显示器上的图像的滚动和在第二方向上滚过要显示在显示器上的图像的滚动。19.根据权利要求12至17中任一权利要求或本文中任一其他权利要求所述的系统，其中所述一个或多个对应命令包括围绕显示在所述显示器上的图像在各个方向上平移。20.根据权利要求12至19中任一权利要求所述的系统，其中所述一个或多个对应命令包括第一方向命令和与所述第一方向命令相反的方向上的第二方向命令。21.根据权利要求20或本文中任一其他权利要求所述的系统，其中所述第一方向命令与第一方向上的第一手势相关联并且所述第二方向命令与第二方向上的第二手势相关联，所述第一方向和第二方向大致彼此相反。22.根据权利要求21或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的所述位置信息，所述控制器配置成基于与所述第一方向上的所述手势相关联的移动量、所述第一方向上的所述手势的位置以及所述第一方向上的所述手势的速度中的至少一个确定与所述第一手势相关联的量值度量。23.根据权利要求22或本文中任一其他权利要求所述的系统，其中所述控制器配置成使所述显示器基于所述量值度量对呈现在所述显示器上的所述医学相关信息执行所述一个或多个对应命令。24.根据权利要求13至19中任一权利要求或本文中任一其他权利要求所述的系统，其中所述一个或多个对应命令中的每个命令包括方向性和量值度量，且其中所述控制器配置成使所述显示器基于所述一个或多个对应命令中的所述对应命令的所述方向性和所述量值度量对呈现在所述显示器上的所述医学相关信息执行所述一个或多个对应命令中的所述对应命令。25.根据权利要求10至24中任一权利要求或本文中任一其他权利要求所述的系统，其中所述特定手势包括将所述医师的一只手移动至在所述投影表面的阈值距离内的位置。26.根据权利要求25或本文中任一其他权利要求所述的系统，其中所述阈值距离相对于与所述投影表面相关联的参考点而确定，所述参考点包括所述投影表面上最接近所述三维光学成像系统的点。27.根据权利要求25或本文中任一其他权利要求所述的系统，其中所述阈值距离相对于与所述投影表面相关联的参考点而确定，所述参考点包括所述投影表面上的多个点的平均值。28.根据权利要求25或本文中任一其他权利要求所述的系统，其中所述阈值距离基于在所述感测体积中病床的检测相对于所述投影表面的所述位置的估计值而确定。29.根据权利要求10至28中任一权利要求或本文中任一其他权利要求所述的系统，其中在将由所述医师做出的所述特定手势解释为对所述多个用户界面图像分区中的所述特定用户界面图像分区和所述对应功能性的所述选择之后，所述控制器配置成使所述投影仪在所述用户界面菜单图像中投影指示，所述指示即选择了所述多个用户界面图像分区中的一个特定用户界面图像分区和所述对应功能性。30.根据权利要求29或本文中任一其他权利要求所述的系统，其中所述控制器配置成使所述投影仪在所述用户界面菜单图像中投影所述指示，并且配置成将包括所述指示的所述用户界面菜单图像的一部分投影到以下中的一个或多个之上：所述医师的身体的一部分；以及所述医师使用的仪器。31.根据权利要求1至30中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面包括不规则的(例如，非平面的或大致水平但不完全水平的)表面轮廓，且其中基于由所述三维光学成像系统捕捉的所述位置信息，所述控制器配置成使所述投影仪调整所述用户界面菜单图像的所述投影以补偿所述投影表面的所述不规则表面轮廓。32.根据权利要求31或本文中任一其他权利要求所述的系统，其中基于由所述三维光学成像系统捕捉的位置信息，所述控制器配置成产生所述投影表面的所述不规则表面轮廓的模型并且使所述投影仪基于所述模型调整所述用户界面菜单图像的所述投影。33.根据权利要求31至32中任一权利要求或本文中任一其他权利要求所述的系统，其中所述投影表面的所述不规则表面轮廓包括以下中的一个或多个：由于患者身体的存在引起的不规则性；由于手术台覆盖物(例如，台布)的存在引起的不规则性；以及由于一个或多个医疗仪器的存在引起的不规则性。34.根据权利要求1至33中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成使所述显示器至少部分基于所述解释的手势呈现来自包括医学相关信息的多个图像中的包括医学相关信息的特定图像。35.根据权利要求1至34中任一权利要求或本文中任一其他权利要求所述的系统，其中所述控制器配置成基于指示以下中的至少一个的测量数据来调整所述用户界面菜单图像的所述投影：所述投影表面的反射率；以及所述投影表面的颜色。36.根据权利要求1至35中任一权利要求所述的系统，其包括本文所公开的任何其他特征、特征子组合的特征组合。37.一种用于允许医师在医疗手术期间与医学相关信息交互的方法，所述方法包括：将用户界面菜单图像投影到投影表面上；捕捉包括所述投影表面的感测体积中的物体的三维位置信息；至少部分基于由所述医师做出的手势相对于所述投影用户界面菜单图像的位置将所述三维位置信息解释为包括所述一个或多个手势；以及使显示器呈现包括医学相关信息的图...

【专利技术属性】
技术研发人员：尼马·兹拉克内贾德，贝伦格·霍马永，彼得·劳伦斯，戴维·明正·刘，
申请(专利权)人：不列颠哥伦比亚大学，
类型：发明
国别省市：加拿大,CA