用于微创外科手术系统中的手势控制的方法和设备技术方案

本发明专利技术公开一种微创外科手术系统。在该微创外科手术系统中，手跟踪系统跟踪安装在人手的一部分上的传感器元件的位置。根据该人手的该部分的位置生成系统控制参数。利用该系统参数控制微创外科手术系统的操作。因此，微创外科手术系统包括手跟踪系统。该手跟踪系统跟踪人手的一部分的位置。连接于手跟踪系统的控制器将位置转换成系统控制参数，并且根据该系统控制参数将命令引入到微创外科手术系统中。

Apparatus for hand gesture control in a minimally invasive surgical system

The invention discloses a minimally invasive surgical system. In the minimally invasive surgical system, the hand tracking system tracks the location of sensor components mounted on a part of the hand. The system control parameters are generated according to the position of the part of the hand. Use this system parameter to control the operation of minimally invasive surgical system. Therefore, minimally invasive surgical systems include hand tracking systems. The hand tracking system tracks a part of the human hand. A controller attached to the hand tracking system converts the position into system control parameters and introduces commands to a minimally invasive surgical system according to the system control parameters.

【技术实现步骤摘要】
用于微创外科手术系统中的手势控制的设备本申请是于2010年11月11日提交的名称为“用于微创外科手术系统中的手势控制的方法和设备”的中国专利申请201080051497.X(PCT/US2010/056394)的分案申请。
本专利技术的各方面涉及微创外科手术系统的控制，并且特别是涉及将外科医生的手运动用于控制微创外科手术系统。
技术介绍
用于跟踪手位置和手势的方法和技术是已知的。例如，一些电子游戏控制器利用手跟踪输入。例如，Nintendo游戏平台支持无线位置和方向感测远程控制器(Wii是美国华盛顿州雷德蒙德市NintendoofAmericaInc.的注册商标)。利用像摆动球棒或挥动魔术棒的姿势和其他身体运动为这种平台提供基本的游戏元素。TheSonyPlaystationMove具有类似于Nintendo游戏平台的特征。来自CyberGlove系统的无线运动数据捕捉手套包括十八个数据传感器，其中每个手指上的两个弯曲传感器、四个外展传感器和测量拇指交叉(crossover)、手掌弓、腕关节弯曲和腕关节外展的传感器(是加利福尼亚州圣何塞市的CyberGloveSystemLLC的注册商标)。当三维跟踪系统与运动捕捉数据手套一起使用时，能够得到手的x、y、z、偏摆、俯仰、滚动位置和方向信息。用于运动捕捉数据手套的运动捕捉系统已经用在数字化样机评定、虚拟现实技术生物力学和动画特技中。具有四十个传感器的另一种数据捕捉手套是MeasurandInc.的Shapehand数据手套。MeasurandInc.的ShapeClaw便携式轻量手运动捕捉系统包括在空间中沿手和前臂的位置和方向的捕捉食指和拇指运动的柔性光纤(ribbon)系统。在In-CheolKim和Sung-ⅡChien的“AnalysisofUsingStrok-BasedCompositeHinddenMarkovModels”中，AppliedIntelligence,Vol.15,No.2,p.131-143,September-October2001，Kim和Chien开发了使用姿势认知的Pollems传感器的三维轨迹输入的用法。Kim和Chien提出这种输入形式是因为三维轨迹比二维姿势提供更多识别能力，其主要用于视频为基的方法中。为了他们的实验，Kim和Chien利用连接于FakespacePinchGlove(FakespacePinch手套)的背面的Polhemus磁位置跟踪传感器。PinchGlove为使用者提供一种装置，其发出姿势开始和结束的信号，同时Polhemus踪传感器捕捉使用者的手的三维轨迹。在ElenaSanchez-Nielsen等人的“HandGestureRecognitionforHuman-MachineInteractin”中，JournalofWSCG,Vol.12,No.1-3,Issn1213-6972,WSCG′,Februal2-620003,PlzenCzechRepublic,提出一种实时观察系统，通过利用通用硬件和低成本传感器的手姿势识别(如个人计算机和摄像头)用于可视互相作用圈境内。在PragatiGarg等人的“VisionBasedHandGestureRecognition”中，49WorldAcademyofScience,EngineeringandTechnilogy,972-977(2009)，提出基于图像的手势识别观察(review)。提出的一种结论是大多数方法依赖于若干个基本假设，这些基本假设在控制实验室圈境可能是合适的，但是对任意圈境不能普遍化。作者说到“用于手势界面的计算机图像(观察)方法在鲁棒性和速度方面必须优于当前性能，以实现交互性和实用性”。在医学领域中，已经考虑手势识别用于放射图像的无菌浏览。参见JuanP.Wachs等人的“AGesture-BasedToolforSterileBrowsingofRadiologgyImages”,JournaloftheAmericanMedicalInfmaticsAssociation(2008；15:321-323DOI10.1197/jamia.M24)。
技术实现思路
一方面，微创外科手术系统中的手跟踪系统跟踪人手部分的方位。微创外科手术系统的系统控制参数根据该人手部分的方位生成。微创外科手术系统的操作利用该系统参数控制。一方面，跟踪安装在人手部分上的传感器元件以获得人手部分的方位。控制点的位置和方向根据该位置产生。在微创外科手术系统中的装置的远程操作根据该控制点的位置和方向来控制。一方面，该装置是远程操作的副外科手术器械。另一方面，该装置是出现在外科手术部位的视频图像中的虚拟代替物。虚拟代替物的示例包括虚拟副外科手术器械、虚拟手和虚拟画标记(telestration)装置。又一方面，除了控制点的位置和方向之外，还产生夹紧闭合参数。远程操作的副外科手术器械的末端受动器的夹紧程度根据夹紧闭合参数来控制。另一方面，系统控制参数是用于副外科手术器械的远程操作的控制点的位置和方向。又一方面，系统控制参数由两只手确定。该系统参数是两只手的其中一只的控制点的位置和方向、以及两只手的另一只的控制点的位置和方向。控制点用于微创外科手术系统中的内窥镜摄像机操纵器的远程操作。又一方面，除了该人手部分上的传感器元件之外，还跟踪安装在第二只人手部分上的传感器元件。第二控制点的位置和方向根据第二人手部分的方位产生。在这方面，该控制点和第二控制点二者都用在远程控制中。再一方面，跟踪安装在人手的手指上的传感器元件。确定手指之间的运动，并且根据该运动来控制微创外科手术系统中的远程操作的副外科手术器械的方向。当该运动是第一运动时，该控制包括绕其指向方向滚动副外科手术器械的腕关节的末端。当该运动是不同于第一运动的第二运动时，该控制包括副外科手术器械腕关节的偏摆运动。微创外科手术系统包括手跟踪系统和连接于该手跟踪系统的控制器。该手跟踪系统跟踪安装在人手部分上的多个传感器元件的方位。该控制器将该方位转换成控制点的位置和方向。该控制器根据该控制点发送命令以在微创外科手术系统中移动装置。此外，一方面，该装置是远程操作的副外科手术器械，而另一方面，该装置是是出现在外科手术手术部位的视频图像中的虚拟代替物。一方面，该系统还包括包含多个传感器的主手指跟踪装置。该主手指跟踪装置还包括可压缩主体、固定于该可压缩主体的第一手指圈、和固定于该可压缩主体的第二手指圈。多个跟踪传感器中的第一跟踪传感器被附接至第一手指圈。第二跟踪传感器中的第二跟踪传感器被附接至第二手指圈。因此，一方面，微创外科手术系统包括主手指跟踪装置。该主手指跟踪装置包括可压缩主体、固定于该可压缩主体的第一手指圈、和固定于该可压缩主体的第二手指圈。第一跟踪传感器被附接至该第一手指圈。第二传感器被附接至该第二手指圈。可压缩主体包括第一端、第二端和外部外表面。该外部外表面包括在该第一和第二端之间延伸的第一部分、和在该第一和第二端之间延伸的并且与该第一部分相对并从第一部分拆卸的第二部分。可压缩主体还具有一定长度。该长度选择成以限制人手的第一手指和第二手指之间的间隔。该第一手指圈固定于邻近第二端的可压缩主体本文档来自技高网...

【技术保护点】
一种外科手术系统的控制器，其包括：用于从多个手势姿态中选择一个手势姿态的装置，所述手势姿态的选择基于人手的多个方位，所述多个手势姿态中的第一手势姿态用于生成多个手势轨迹，所述多个手势姿态中的其他手势姿态中的每个被分配给所述外科手术系统的第一组多个系统操作模式中相应的唯一一个系统操作模式；用于确定选择的所述手势姿态是否是所述第一手势姿态的装置，所述第一手势姿态被用于生成多个手势轨迹；在所述确定发现选择的所述手势姿态是所述第一手势姿态的条件下用于从所述多个手势轨迹中选择一个手势轨迹的装置，其中所述多个手势轨迹中的每个手势轨迹被分配给所述外科手术系统的第二组多个系统操作模式中相应的唯一一个系统操作模式；在选择的所述手势姿态不是所述第一手势姿态的条件下用于将外科手术系统的操作模式改变为所述第一组多个系统操作模式中对应于选择的所述手势姿态的一个系统操作模式的装置，所述改变为所述第一组多个系统模式中的所述一个系统操作模式基于选择的所述手势姿态；以及在选择的所述手势姿态是所述第一手势姿态的条件下用于将所述外科手术系统的操作模式改变为所述第二组多个系统操作模式中对应于选择的所述手势轨迹的一个系统操作模式的装置，其中将所述外科手术系统的所述操作模式改变为所述第二组多个系统模式中的所述一个系统模式基于选择的所述手势轨迹。...

【技术特征摘要】
2009.11.13 US 12/617,937;2010.09.21 US 12/886,9931.一种外科手术系统的控制器，其包括：用于从多个手势姿态中选择一个手势姿态的装置，所述手势姿态的选择基于人手的多个方位，所述多个手势姿态中的第一手势姿态用于生成多个手势轨迹，所述多个手势姿态中的其他手势姿态中的每个被分配给所述外科手术系统的第一组多个系统操作模式中相应的唯一一个系统操作模式；用于确定选择的所述手势姿态是否是所述第一手势姿态的装置，所述第一手势姿态被用于生成多个手势轨迹；在所述确定发现选择的所述手势姿态是所述第一手势姿态的条件下用于从所述多个手势轨迹中选择一个手势轨迹的装置，其中所述多个手势轨迹中的每个手势轨迹被分配给所述外科手术系统的第二组多个系统操作模式中相应的唯一一个系统操作模式；在选择的所述手势姿态不是所述第一手势姿态的条件下用于将外科手术系统的操作模式改变为所述第一组多个系统操作模式中对应于选择的所述手势姿态的一个系统操作模式的装置，所述改变为所述第一组多个系统模式中的所述一个系统操作模式基于选择的所述手势姿态；以及在选择的所述手势姿态是所述第一手势姿态的条件下用于将所述外科手术系统的操作模式改变为所述第二组多个系统操作模式中对应于选择的所述手势轨迹的一个系统操作模式的装置，其中将所述外科手术系统的所述操作模式改变为所述第二组多个系统模式中的所述一个系统模式基于选择的所述手势轨迹。2.根据权利要求1所述的控制器，其中用于将所述外科手术系统的所述操作模式改变为所述第一组多个系统操作模式中的所述一个系统操作模式的所述装置被配置以开始控制所述外科手术系统的用户界面。3.根据权利要求1所述的控制器，其中用于将所述外科手术系统的所述操作模式改变为所述第一组多个系统操作模式中的所述一个系统操作模式的所述装置被配置以启动代替物图像系统回路。4.根据权利要求1或2或3所述的控制器，其中用于选择所述手势姿态的所述装置被配置以从所述多个方位生成被观察到的特征组，其中特征组唯一地识别手势姿态。5.根据权利要求4所述的控制器，其中用于选择所述手势姿态的所述装置进一步被配置以比较所述被观察到的特征组与所述多个手势姿态的特征组。6.根据权利要求5所述的控制器，其中用于选择所述手势姿态的所述装置更进一步被配置为根据所述被观察到的特征组与所述多个手势姿态的特征组的比较来选择所述手势姿态。7.根据权利要求1或2或3所述的控制器，其中用于选择所述手势轨迹的所述装置被配置以：从所述多个方位的轨迹生成速度序列，其中所述速度序列包括单位速度矢量的序列；和将所述速度序列转换成符号序列，其中所述符号序列包括离散的符号序列。8.根据权利要求7所述的控制器，其中用于选择所述手势轨迹的所述装置被进一步配置以分析具有多个隐马尔柯夫模型的所述符号序列，其中所述多个手势轨迹中的每一个都具有在所述多个隐马尔柯夫模型中的隐马尔柯夫模型。9.根据权利要求8所述的控制器，其中用于选择所述手势轨迹的所述装置更进一步被配置以根据具有所述多个隐马尔柯夫模型的所述符号序列的分析来选择手势轨迹。10.根据权利要求9所述的控制器，其中用于将所述外科手术系统的所述操作模式改变为所述第二组多个系统模式中的所述一个系统模式的所述装置被进一步配置为将选择的所述第一手势轨迹映射至系统事件。11.根据权利要求1所述的控制器，其中用于将外科手术系统的操作模式改变为所述第一组多个系统操作模式的所述一个系统操作模式的所述装置被配置为将所述手势姿态映射成系统事件。12.根据权利要求11所述的控制器，其中用于将外科手术系统的操作模式改变为所述第一组多个系统操作模式的所述一个系统操作模式的所述装置被配置为在所述外科手术系统中引入所述系统事件。13.根据权利要求11所述的控制器，其中用于将所述外科手术系统的所述操作模式改变为所述第二组多个系统模式中的所述一个系统模式的所述装置被配置为将选择的所述手势轨迹映射至系统事件。14.一种外科手术系统的控制器，其包括：在选择的手势姿态不是用于生成多个手势轨迹的手势姿态的条件下用于将外科手术系统的操作模式改变为第一组多个系统操作模式中对应于检测到的手势姿态的一个系统操作模式的装置，所述改变为所述第一组多个系统模式中的所述一个系统模式基于检测到的所述手势姿态，检测到的所述手势姿态基于人手的多个方位从多个手势姿态中选择；以及在检测到的所述手势姿态是用于生成所述多个手势轨迹的所述手势姿态的条件下用于将所述外科手术系统的所述操作模式改变为第二组多个系统操作模式中的一个系统操作模式的装置，其中将改变为所述第二组多个系统模式中的所述一个系统模式基于在所述多个手势轨迹中检测到的手势轨迹，检测到的所述手势轨迹基于所述多个方位。15.一种外科手术系统的控制器，其中多个手势姿态和多个手势轨迹被限定用于所述外科手术系统，所述多个手势姿态中的第一手势姿态用于生成所述多个手势轨迹，所述多个手势姿态中其他的手势姿态每个都唯一地对应于第一组多个系统操作模式中独特的操作模式，并且所述多个手势轨迹每个都唯一对应于第二组多个系统操作模式中独特的操作模式，所述外科手术的所述控制器还包括：在检测到的手势姿态是所述多个手势姿态中所述其他的手势姿态中的一个手势姿态的条件下，用于将外科手术系统的操作模式改变为所述第一组多个操作模式中对应于所述多个手势姿态中所述其他的手势姿态中的所述一个手势姿态的操作模式的装置；以及在检测到的手势姿态是所述多个手势姿态...

【专利技术属性】
技术研发人员：B·D·艾特科威兹，S·蒂迈欧，T·赵，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国,US