器械在视野中的定量三维可视化制造技术

提供一种系统，其包括Q3D内窥镜和处理器，Q3D内窥镜被设置成对视野进行成像，处理器产生场景的Q3D模型并且识别目标器械和结构。处理器经配置显示来自器械的虚拟视野的场景，以确定围绕目标的禁飞区，从而确定所述器械的预测路径或者提供所述器械的3D追踪。

【技术实现步骤摘要】
【国外来华专利技术】相关申请本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVETHREE-DIMENSIONALIMAGINGOFSURGICALSCENES)”的美国临时专利申请No.61/971,749；以及于2014年12月23日提交的名称为“器械在视野中的定量三维可视化(QUANTITATIVETHREE-DIMENSIONALVISUALIZATIONOFINSTRUMENTSINAFIELDOFVIEW)”的美国临时专利申请No.62/096,509的优先权的利益，所述专利申请的全部内容以引用方式并入本文。
本专利技术总体涉及具有相关联的图像传感器的手术内窥镜检查系统，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。
技术介绍
定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D系统，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC(CMOS-compatiblethree-dimensionalimagesensorIC)”的美国专利No.6,323,942中有所公开，该专利公开了三维成像系统，该系统包括使用CMOS制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与系统发出的脉冲的飞行时间(TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法(Apparatusandmethodforendoscopic3Ddatacollection)”的美国专利No.8,262,559中有所公开，除了光成像机构以外，该专利公开了经调节的测量光束和光传送机构，用于将测量光束传导至要观察的区域上，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。使用结构光以确定对象在可视化图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz等人的“基于结构光的内窥镜3D扫描仪(Anendoscopic3Dscannerbasedonstructuredlight)”，MedicalImageAnalysis，16(2012)1063-1072中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见例如名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(CapturingandProcessingImagesusingMonolithicCameraArraywithHeterogeneousImager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(SystemsandMethodsforDeterminingDepthfrommultipleViewsofaScenethatIncludeAliasingusingHypothesizedFusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：Anultra-ThinhighPerformanceMonolithicCameraArray)”。图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括传感器184的排列。在该排列中的每个传感器包括二维的像素排列，该二维的像素排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186。每个透镜堆叠186具有对应的焦平面188。每个透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在其对应焦平面188中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器排列区域与其他传感器和焦平面所占据的传感器排列区域不同。图2为示出图1的传感器184的已知排列的简化平面图的示意图，传感器184的已知排列包括被标记为传感器S11到S33的传感器。成像器传感器布置184在半导体芯片上进行制造以包括多个传感器S11到S33。传感器S11到S33中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中，传感器S11到S33排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，传感器可以环形图案、之字形图案、分散图案或包括子像素偏移的不规则图案排列。图1至图2的传感器184的每个单个像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其放置在氧化层804之上。通常，氧化层的下方可以有滤色镜806，其设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶上，硅层812包括单个像素的有效区域814(通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区域814上。像素孔径通过微透镜的扩展度来确定。关于上述已知的成像器传感器排列架构的附加信息在美国申请No.U.S8,514,491B2(提交于2010年11月22日)和美国专利申请公开No.U.S2013/0070060A1(提交于2012年9月19日)中有所提供。
技术实现思路
在一方面，系统确定通过内窥镜的Q3D传感器成像的场景的Q3D模型。确定Q3D模型内的目本文档来自技高网...

【技术保护点】
一种用于将来自目标器械的视点的解剖结构的三维图像可视化的系统，其包括：定量三维(Q3D)内窥镜，其被设置成对所述Q3D内窥镜的视野内的场景进行成像；和至少一个处理器，其经配置：确定通过所述Q3D内窥镜成像的所述场景的Q3D模型；识别所述场景内的至少一个目标器械；识别所述场景内的至少一个组织结构；确定从所述内窥镜的所述视野到所述至少一个目标器械的虚拟视野的几何变换；以及至少部分地基于所述几何变换，产生根据所述至少一个目标器械的所述虚拟视野所表示的所述Q3D模型内的所述至少一个组织结构的三维(3D)视图。

【技术特征摘要】
【国外来华专利技术】2014.03.28 US 61/971,749;2014.12.23 US 62/096,5091.一种用于将来自目标器械的视点的解剖结构的三维图像可视化的系统，其包括：定量三维(Q3D)内窥镜，其被设置成对所述Q3D内窥镜的视野内的场景进行成像；和至少一个处理器，其经配置：确定通过所述Q3D内窥镜成像的所述场景的Q3D模型；识别所述场景内的至少一个目标器械；识别所述场景内的至少一个组织结构；确定从所述内窥镜的所述视野到所述至少一个目标器械的虚拟视野的几何变换；以及至少部分地基于所述几何变换，产生根据所述至少一个目标器械的所述虚拟视野所表示的所述Q3D模型内的所述至少一个组织结构的三维(3D)视图。2.根据权利要求1所述的系统，其中所述系统包括显示所述3D视图的3D显示器。3.根据权利要求1所述的系统，其中所述系统包括观察器，以显示至少部分地基于所述3D视图的定量测量。4.根据权利要求1所述的系统，其中所述系统包括控制输入设备，用户从一组器械中选择所述至少一个器械。5.根据权利要求1所述的系统，其中确定从所述内窥镜的所述视野到所述至少一个器械的所述虚拟视野的几何变换包括：确定所述Q3D内窥镜的几何取向；确定至少一个器械的几何取向；确定一个或更多个几何变换，以便将所述Q3D内窥镜移动到与所述至少一个器械虚拟重叠的位置，并且以便将所述Q3D内窥镜与所述至少一个器械的所述确定的取向对齐；以及根据一个或更多个几何平移变换所述场景的所述Q3D模型，所述一个或更多个几何平移为被确定为移动并对齐所述Q3D内窥镜的所述一个或更多个几何变换的逆变换。6.一种用于操纵手术器械的系统，其包括：定量三维(Q3D)内窥镜，其被设置成对其视野内的场景进行成像；至少一个处理器，其经配置：确定通过所述Q3D内窥镜成像的所述场景的Q3D模型；识别所述场景内的第一目标；识别所述场景内的第二目标；确定与所述第一目标或所述第二目标中的至少一个相关联的Q3D禁飞区。7.根据权利要求6所述的系统，其中所述处理器经配置至少部分地基于所述Q3D模型确定所述Q3D禁飞区是否已经被侵犯；以及响应于确定Q3D禁飞区被侵犯，提供输出信息。8.根据权利要求6所述的系统，其中所述确定所述Q3D禁飞区是否已经被侵犯至少部分地基于所述第一目标与所述第二目标之间的最近距离，所述最近距离小于阈值距离。9.根据权利要求6所述的系统，其中所述处理器至少部分地响应于所述输出信号产生警报。10.根据权利要求9所述的系统，其中所述警报能够是以下各项中的一个：可视化的、视频的、音频的、触觉的、图形化的或文本的。11.根据权利要求6所述的系统，其中所述第一目标包括手术器械；其中所述禁飞区与所述第一目标相关联；以及其中所述处理器经配置确定所述第一目标与所述第二目标之间的距离是否足够小以使所述第二目标位于所述禁飞区内。12.根据权利要求6所述的系统，其中所述第一目标包括解剖结构其中所述第二目标包括手术器械；其中所述禁飞区与所述第一目标相关联；以及其中所述处理器经配置确定所述第一目标与所述第二目标之间...

【专利技术属性】
技术研发人员：D·潘埃斯库，D·H·琼斯，C·艾伦比，
申请(专利权)人：直观外科手术操作公司，
类型：发明
国别省市：美国;US