光不足环境中的连续视频制造技术

本公开涉及用于在光不足环境中产生图像的方法、系统和计算机程序产品，并且公开和描述了相关联的结构、方法和特征。本系统的特征可以包括：通过持续时间、强度或者二者来控制光源；在消隐周期期间来脉冲调制组分受控的光源；最大化消隐周期来允许最佳光，并且维持色平衡。

【技术实现步骤摘要】
【国外来华专利技术】光不足环境中的连续视频相关申请的交叉引用本申请要求下列权益：于2012年7月26日提交的美国临时专利申请No.61/676,289、以及于2013年3月15日提交的美国临时专利申请No.61/790,487的权益，通过引用方式将其全部内容并入本文中，本申请包括但不限于下面具体出现的那些部分，所述通过参考的并入具有以下例外：当上面参考的临时申请的任何部分与本申请不一致时，本申请替代上面参考的临时申请。
技术介绍
技术进步已经为医疗使用提供了成像能力的进步。由于组成内窥镜的组件方面的进步，因而有了一些最有益进步的一个领域是内窥镜外科程序。本公开总体涉及电磁感测和传感器。本公开也涉及低能量电磁输入条件以及低能量电磁吞吐量条件。具体而言，本公开涉及(但不必纯粹涉及)用于在光不足环境中产生图像的系统以及相关联的结构、方法和特征，这些特征可以包括：通过持续时间、强度或者二者来控制光源；在消隐周期期间脉冲光源控制的组分；最大化消隐周期来允许最佳光，并且维持色平衡。本公开的特征和优势将在如下的描述中陈述，并且部分地从描述中变得显而易见，或者可在无需过度的试验的情况下通过本公开的实践了解到。可以通过所附权利要求中具体地指出的仪器和组合来实现并且获得本公开的特征和优势。附图说明参照下面的附图来描述本公开的非限制性和非穷尽性的实现方式，其中，除非特别指定，则相同的参考数字指代贯穿多种视图的相同部分。参考接下来的描述和附图将更好理解本公开的优势，其中：图1是根据本公开的原理和教义完成的一对传感器和电磁发射器在运行中以用于在光不足环境下产生图像的系统的实施例的示意图；图2是预期的系统硬件的示意图；图2A至图2D是根据本公开的原理和教义的用于构建一个图像帧的传感器的操作周期的说明；图3是根据本公开的原理和教义的电磁发射器的实施例的操作的图形表示；图4是根据本公开的原理和教义的改变发射的电磁脉冲的持续时间和幅度以提供曝光控制的图形表示；图5是根据本公开的原理和教义的组合传感器的操作周期、电磁发射器和图2至图4的发射的电磁脉冲以在操作期间说明成像系统的本公开的实施例的图形表示；图6示出了根据本公开的原理和教义的针对全光谱光和分割光谱光的用于记录视频帧的从t(0)到t(1)的时间周期上的两个不同过程的示意图；图7A至图7E示出了根据本公开的原理和教义的针对全光谱光和分割光谱光的用于记录视频帧的时间间隔上的处理的示意图；图8至图12示出根据本公开的原理和教义的电磁发射器和传感器二者的调整，其中，这种调整可以在一些实施例中同时完成。图13至图21示出根据本公开的原理和教义的与分割光系统一起使用的传感器校正方法和硬件示意图；图22至图23示出根据本公开的原理和教义的用于在封闭或者有限光环境内增加动态范围的方法和硬件示意图；图24示出与没有颜色校正相比较的用于典型基于贝尔的传感器的颜色校正的信噪比的影响；图25示出与sRGB范围相比的3种单色激光的色度；图26至图27B示出根据本公开的原理和教义的用于在封闭或者有限光环境内增加动态范围的方法和硬件示意图；图28A至图28C示出了使用对应颜色传感器来脉冲调制(pulse)和/或同步的白光发射的使用；图29A和图29B示出根据本公开的教义和原理的具有用于产生三维图像的多个像素阵列的实现方式；图30A和图30B分别示出了在多个基板上创建的成像传感器的实现方式的透视图和侧视图，其中，形成像素阵列的多个像素列位于第一基板上，并且多个电路列位于第二基板上，并且示出了一个像素列和其相关联或者对应电路列之间的电连接和通信；图31A和图31B分别示出了具有用于产生三维图像的多个像素阵列的成像传感器的实现方式的透视图和侧视图，其中，多个像素阵列和图像传感器被创建在多个基板上；并且图32至图36示出了包括各个机械过滤器和快门配置的发射器的实施例。具体实施方式本公开涉及针对可以主要适用于医疗应用的数字成像的方法、系统以及基于计算机的产品。在本公开接下来的描述中，参考了形成本公开一部分的说明书附图，其中，经由说明指定的并且本公开可以在其中被实践的实施方式来示出说明书附图。应该了解的是，在不背离本专利技术保护范围的情形下，其他实施方式可以被使用并且结构变化可以被做出。用于例如关节镜检查和腹腔镜检查中的传统内窥镜被设计为使得图像传感器通常放置在手持件单元内。在这种配置中，内窥镜单元必须在最小损耗和变形的情况下经由精确耦接的光学组件的复杂设置朝向传感器沿着其长度传输入射光。内窥镜单元的成本由光学器件来控制，因为这些组件是昂贵的并且制造过程是劳动密集的。而且，该类型的范围是机械易碎的并且相对次要影响可容易损害组件或者扰乱组件的相对对齐，由此导致大量的光减少并且导致该范围不可用。这需要频繁的、昂贵的检修周期，以便于维持图像质量。针对该问题的一种方案在于在远端内窥镜自身内放置图像传感器，由此潜在接近即在例如移动电话相机内通常实现的光学的简单性、鲁棒性和经济性。针对该方法的可接受的方案绝不琐碎的，然而，因为其引入了其自己的一套工程挑战，而其挑战中的至少在于传感器必须适合于在较高限制的区域内尤其X和Y维度中，而在Z维度存在更多自由度。将侵入式限制放置在传感器区域上自然地导致了像素阵列内的较少和/或较小的像素。降低像素计数可以直接影响空间分辨率，同时减少像素区域可以减少可用信号容量，并且由此像素的敏感性，以及优化像素的数量，使得最大化图像质量，使用最大像素质量和倾斜的最小像素分辨率和自然数量的像素，使得分辨率不是问题，以及降低每个像素的信噪比(SNR)。降低信号容量减少动态范围，即使用较大范围的亮度来同时采集来自场景的所有有用的信息的成像设备或者相机的能力。存在延伸成像系统的动态范围超过像素自身的动态范围的多种方法。所有这些方法可以具有某种惩罚，然而(例如，在分辨率或者帧速中)，并且它们可以引入不期望的人工制品，这在极端情况下变成了有问题的。减少敏感性具有需要较大光功率来带给场景的较黑区域可接收的信号等级的结果。降低焦距比数(放大孔径)可以补偿敏感性的损耗，但是以空间畸变和减少了焦深为代价。在传感器产业中，由于它们较方便的集成和操作，优秀的或者比得上的图像质量、较大的多功能性和较低成本，所以CMOS图像传感器在现代相机应用例如内窥镜检查中主要取代了传统CCD图像传感器。典型地，它们可以包括将图像信息变换成数字数据所需要的电路，并且具有其后合并的各种等级的数字处理。这可以出于校正非理想(这例如由放大器行为中的变化引起)的目的从基本算法变化到全图像信号处理(ISP)链，以提供标准sRGB颜色空间例如(片上相机)中的视频数据。如果控制单元或者第二阶段相对于传感器远程放置并且离传感器可感知的距离，可以期望在数字域中传输数据，因为当与传输模拟数据流相比时，它较大免于干扰噪声和信号退化。要明白，可以使用各种电气数字信令标准，例如LVDS(低压差分信令)、子-LVDS、SLVS(可扩展的低电压信令)或者其它电气数字信令标准。可以存在减少导电体数量的强烈希望，以减少传感器上衬垫(pad)消耗空间的数量，并且减少传感器制造的复杂性和成本。虽然添加到传感器的模拟到数字转换可能是有利的，但是由转换电路占用的附加区是偏移的，因为由于较早到数字信号的转换本文档来自技高网...

【技术保护点】
一种用于在环境光不足环境中数字成像的系统，包括：成像传感器，包括用于感测电磁辐射的像素阵列；内窥镜，用于接近环境光不足环境；手持件，其附接到所述内窥镜，并且其中，所述内窥镜由所述手持件的操纵来机动；控制单元，包括处理器，并且其中所述控制单元与成像传感器电通信；发射器，其被配置为发射电磁辐射脉冲；并且控制器，其被配置为协调发射器和成像传感器，以产生数字视频流。

【技术特征摘要】
【国外来华专利技术】2012.07.26 US 61/676,289;2013.03.15 US 61/790,4871.一种用于在环境光不足环境中数字成像的系统，包括:成像传感器，包括用于感测电磁辐射的像素阵列；内窥镜，用于接近环境光不足环境；手持件，其附接到所述内窥镜，并且其中，所述内窥镜由所述手持件的操纵来机动；控制单元，包括处理器，并且其中所述控制单元与成像传感器电通信;发射器，其被配置为发射电磁辐射脉冲；并且控制器，其被配置为在成像传感器的消隐周期期间协调且同步来自发射器的电磁辐射脉冲的时序，以产生数字视频流，其中所述成像传感器编程为从一个帧到另一帧包含不同的消隐周期。2.根据权利要求1所述的系统，其中，所述系统还包括将手持件和控制单元电连接的连接电缆。3.根据权利要求1所述的系统，其中，所述成像传感器为单色传感器。4.根据权利要求1所述的系统，其中，所述发射器被配置为发射多个电磁波长。5.根据权利要求4所述的系统，其中，所述发射器被配置为发射三个电磁波长。6.根据权利要求5所述的系统，其中，由发射器发射的所述三个电磁波长包括:绿色的电磁辐射波长，红色的电磁辐射波长，以及蓝色的电磁辐射波长。7.根据权利要求6所述的系统，其中，所述蓝色、红色、绿色的电磁辐射波长以图案被发射。8.根据权利要求7所述的系统，其中，绿色波长在所述图案中以两倍于红色波长和蓝色波长的频次来表示。9.根据权利要求1所述的系统，其中，由发射器发射的电磁辐射脉冲为对于人类可见的波长。10.根据权利要求1所述的系统，其中，由发射器发射的电磁辐射脉冲为对于人类不可见的波长。11.根据权利要求4所述的系统，其中，多个电磁波长包括对人类可见的波长和对人类不可见的波长。12.根据权利要求4所述的系统，其中，多个电磁波长以不同幅度被发射。13.根据权利要求12所述的系统，其中，不同幅度补偿成像传感器对不同波长的敏感性。14.根据权利要求1所述的系统，其中，成像传感器被布置在内窥镜内在所述内窥镜相对于手持件的远端部分处。15.根据权利要求1所述的系统，其中，成像传感器被布置在手持件内。16.根据权利要求1所述的系统，其中，电磁辐射脉冲通过光纤从发射器传输到内窥镜的尖端。17.根据权利要求2所述的系统，其中，连接电缆包括用于将电磁辐射从发射器传输到内窥镜的光纤，并且其中，连接电缆还包括用于提供从控制单元到成像传感器的电通信的导电线。18.根据权利要求1所述的系统，其中，所述控制器被布置在控制单元内并且与发射器和成像传感器电通信。19.根据权利要求1所述的系统，其中，所述控制器被布置在手持件内并且与发射器和成像传感器电通信。20.根据权利要求1所述的系统，其中，所述发射器为被配置为发射激光的激光发射器。21.根据权利要求20所述的系统，其中，还包括去散斑器，用于对激光进行均匀弥散。22.根据权利要求1所述的系统，其中，所述发射器包括发光二极管。23.一种用于在环境光不足环境中数字成像的系统，包括:成像传感器，包括用于感测电磁辐射的像素阵列，所述像素阵列形成为多行：内窥镜，用于接近环境光不足环境：手持件，其附接到所述内窥镜，并且其中，所述内窥镜由所述手持件的操纵来机动：控制单元，包括处理器，并且其中所述控制单元与成像传感器电通信；发射器，其被配置为发射电磁辐射脉冲；并且控制器，其被配置为在成像传感器的消隐周期期间协调且同步来自发射器的电磁辐射脉冲的时序，以产生数字视频流,其中所述成像传感器编程为从一个帧到另一帧包含不同的消隐周期，其中，所述像素阵列包括多个像素子集，其中，多个像素子集中的每一个具有不同敏感性。24.一种用于在环境光不足环境中数字成像的系统，包括:成像传感器，包括用于感测电磁辐射的像素阵列；内窥镜，用于接近环境光不足环境；手持件，其附接到所述内窥镜，并且其中，所述内窥镜由所述手持件的操纵来机动；控制单元，包括处理器，并且其中所述控制单元与成像传感器电通信；发射器，其被配置为发射电磁辐射脉冲；并且控制器，其被配置为在成像传感器的消隐周期期间协调且同步来自发射器的电磁辐射脉冲的时序，以产生数字视频流，其中所述成像传感器编程为从一个帧到另一帧包含不同的消隐周期，其中，所述像素的不同子集的敏感性的变化由单独的全局曝光时间来实现。25.根据权利要求24所述的系统，其中，所述电磁辐射的组分在不同曝光时间期间变化。26.一种在环境光不足环境中与内窥镜一起使用的数字成像系统，包括:发射器，配置成要被激励以发射电磁辐射的脉冲，以导致光不足环境内的照明；其中，所述电磁辐射的脉冲位于包括电磁光谱的第一部分的第一波长范围内；其中，所述发射器进一步配置成以预先确定的间隔来进行脉冲调制；像素阵列，其配置成用于感测来自所述电磁辐射的脉冲的反射的电磁辐射；其中，所述像素阵列进一步配置成以与所述发射器的脉冲间隔对应的感测间隔被激励；其中所述像素阵列进一步配置成用于以与所述感测间隔对应的预先确定的消隐间隔来消隐；其中所述像素阵列配置成从一个帧到另一帧包含不同的消隐周期，控制器，其被配置为通过将多个帧组合而协调且同步来自发射器的电磁辐射脉冲的时序来创建图像流，以产生数字视频流。27.根据权利要求26所述的数字成像系统，其中，还包括去散斑设备，用于对帧进行去散斑，所述去散斑设备位于发射器和场景之间的照明路径中。28.根据权利要求26所述的数字成像系统，还包括:消解来自发射器的电磁辐射的所述脉冲，以在光不足环境内对光进行弥散。29.根据权利要求26所述的数字成像系统，还包括:激励发射器依次发射多个电磁辐射脉冲，以导致照明，其中，第一脉冲处于为电磁光谱的仅一部分的第一范围内，其中，第二脉冲处于为电磁光谱的仅一部分的第二范围内，其中，第三脉冲处于为电磁光谱的仅一部分的第三范围内，以预先确定的间隔来对所述脉冲进行脉冲调制，其中，以与所述第一脉冲的脉冲间隔对应的第一感测间隔激励所述像素阵列，其中，以与所述第二脉冲的脉冲间隔对应的第二感测间隔激励所述像素阵列，其中，以与所述第三脉冲的脉冲间隔对应的第三感测间隔激励所述像素阵列。30.根据权利要求29所述的数字成像系统，其中，激励所述发射器不发射用于校准间隔的光，并且在所述校准间隔期间激励所述像素阵列。31.根据权利要求30所述的数字成像系统，其中，如果所述像素阵列在所述校准间隔期间感测光则停止进一步脉冲。32.根据权利要求30所述的数字成像系统，其中，所述消隐间隔与所述第一脉冲、第二脉冲、第三脉冲的任何间隔不并发。33.根据权利要求30所述的数字成像系统，其中，所述消隐间隔与所述第一脉冲、第二脉冲以及第三脉冲的任何间隔的一部分并发。34.根据权利要求29所述的数字成像系统，其中，所述第一脉冲为绿色可见光谱范围，并且其中，所述第二脉冲为红色可见光谱，并且其中所述第三脉冲为蓝色可见光谱。35.根据权利要求29所述的数字成...

【专利技术属性】
技术研发人员：洛朗·布朗卡尔，乔舒亚·D·塔尔伯特，唐纳德·M·维歇恩，约翰·理查森，耶利米·D·亨利，
申请(专利权)人：橄榄医疗公司，
类型：发明
国别省市：美国;US