有缺陷的图像传感器元件的校准制造技术

本公开涉及可以减少由于光学成像系统中的有缺陷的传感器元件而导致的像素噪声的方法和系统。即，相机可以在调节光学元件的焦距设定的同时利用图像传感器采集图像的突发。例如，可以在自动聚焦过程中采集图像突发。多个图像可被平均或以其它方式合并以提供单个聚合图像帧。这样的聚合图像帧可看起来模糊。在这种情况下，可以更容易地识别和/或校正“热”像素、“死”像素或其他有缺陷的像素。作为示例，可以从目标图像去除有缺陷的像素，或者通过用相邻像素的平均值替换有缺陷的像素的值来校正有缺陷的像素。

Calibration of defective image sensor elements

The present disclosure relates to a method and system for reducing pixel noise due to defective sensor elements in an optical imaging system. That is, the camera can adjust the focal length of the optical element and use the image sensor to collect the burst of the image. For example, an image burst can be acquired during autofocus. Multiple images can be combined on average or otherwise to provide a single aggregate image frame. Such an aggregated image frame can be blurred. In this case, it is easier to identify and / or correct \hot\ pixels, \dead pixels\ or other defective pixels. As an example, the defective pixels can be removed from the target image, or the defective pixels can be corrected by replacing the values of the defective pixels with the average value of the adjacent pixels.

【技术实现步骤摘要】
【国外来华专利技术】有缺陷的图像传感器元件的校准相关申请的交叉引用本申请要求2015年12月16日提交的美国专利申请第14/972,075号的优先权，其全部内容通过引用合并于此。
技术介绍
光学成像系统可以用作独立的硬件设备或集成到其他类型的设备中。例如，静态相机和视频相机现在通常被包括在无线计算设备(例如，智能手机和平板电脑)、膝上型计算机、视频游戏接口、家庭自动化设备，甚至汽车和其他类型的车辆中。光学成像系统包括可利用数百万个或更多的传感器元件的图像传感器。传感器元件可能由于制造缺陷或其他因素而发生故障。例如，一些传感器元件可以提供永久或间歇性的高、低或固定的值，而与通过光学成像系统照射在它们上的光无关。某些传感器元件可以报告与入射光成比例的值，但在曝光时间内会受到在元件中累积的过量与光无关的信号的影响。此外，传感器元件可能被例如灰尘颗粒遮挡。这些传感器元件的输出可能导致由光学成像系统采集的图像中对应的“死(dead)”、“卡住(stuck)”、“热(hot)”或被遮挡的像素。图像校准过程可以被执行以识别这样的异常传感器元件，从而能够减少或消除这种图像劣化效应的影响。例如，相机校准过程可以包括在将镜头盖覆盖在光学路径上的情况下采集图像，以更容易地从深色背景图像中识别出“热”像素。然而，这样的校准过程可能限于工厂测试，其可能需要用户的交互和/或可能仅限于热像素的识别。
技术实现思路
本文公开的系统和方法涉及可应用于补偿宽范围的传感器元件问题的校准技术。在一个方面，提供了一种方法。该方法包括经由图像传感器采集多个图像。图像传感器包括多个传感器元件。传感器元件被配置为表示采集的多个图像中的相应像素。针对光学元件的至少一个属性以多个不同的相应值采集多个图像。光学元件耦合到图像传感器。该方法进一步包括将多个图像组合成聚合图像，并且基于聚合图像确定多个传感器元件中的特定传感器元件的状况。该方法还进一步包括在有效负载图像中调节与特定传感器元件相关联的特定像素的值。可选地，利用由光学元件限定的不同的相应焦距设定采集多个图像。在一个方面，提供了一种光学成像系统。该系统包括图像传感器，该图像传感器包括多个传感器元件，传感器元件被配置为表示采集的图像中的相应像素。该系统进一步包括光学元件，其耦合到图像传感器并且被配置为限定所采集图像的焦距设定。该系统还包括控制器，该控制器包括存储器和至少一个处理器，其中处理器被配置为执行存储在存储器中的指令，以便执行根据上述方面的方法提供方法。在一个方面，提供了一种光学成像系统。光学图像系统包括图像传感器，光学元件和控制器。图像传感器包括多个传感器元件。传感器元件被配置为表示所采集图像中的相应像素。光学元件被耦合到图像传感器并且被配置为限定所采集图像的焦距设定。控制器包括存储器和至少一个处理器。处理器被配置为执行存储在存储器中的指令以执行操作。操作包括使图像传感器采集多个图像。图像由光学元件定义的不同的相应的聚焦距离设置而被采集。操作包括将多个图像组合成聚合图像，并且基于聚合图像确定多个传感器元件中的特定传感器元件的状况。操作还包括使图像传感器采集有效负载图像。该操作还包括在有效负载图像中调节与特定传感器元件相关联的特定像素的值。在一个方面，提供了一种方法。该方法包括经由图像传感器采集多个图像。图像传感器包括多个传感器元件。传感器元件被配置为表示采集的多个图像中的相应像素。该方法还包括在采集多个图像时调节光学元件的至少一个性质。光学元件耦合到图像传感器。该方法进一步包括将多个图像组合成聚合图像，并且基于聚合图像确定多个传感器元件中的特定传感器元件的状况。该方法还进一步包括在有效负载图像中调节与特定传感器元件相关联的特定像素的值。可选地，利用由光学元件限定的不同的相应焦距设定采集多个图像。每个方面可以包括以下可选特征。调节光学元件的至少一个属性可以包括以下中的至少一个：调节光学元件的视场，调节光学元件的变焦设置，调节光学元件的光圈设置，或调节光学元件的位置。该操作和方法可以进一步包括测量图像传感器的视场，并且基于该测量，选择用于采集多个图像的图像传感器的快门速度和灵敏度。该操作和方法可以进一步包括将所确定的状况映射到传感器元件状况映射图中，并且其中调节特定像素的值是基于传感器元件状况映射图。该操作和方法可以进一步包括将传感器元件状况映射图与时间关联并提供与对应的多个不同时间关联的多个传感器元件状况映射图的历史记录，并且其中调节特定像素的值进一步基于历史记录。调节光学元件的至少一个属性可以包括使光学元件执行自动聚焦过程，其中自动聚焦过程包括调节光学元件相对于图像传感器的位置，以为每个相应的图像提供不同的相应的焦距。将多个图像组合成聚合图像可以包括平均多个图像的关联像素值。确定特定传感器元件的状况可以包括：将相应像素的值与聚合图像中的至少一个相邻像素的值进行比较；以及基于所述比较来确定所述相应像素与所述至少一个相邻像素之间的差在预定阈值以上。所确定的状况包括以下中的至少一个：无缺陷的传感器元件，热传感器元件，暗传感器元件，或被遮挡的传感器元件。调节特定像素的值可以包括将特定像素的值设置为至少一个相邻像素的对应值。调节特定像素的值可以包括将特定像素的值设置为多个相邻像素的对应平均值。在一方面，系统可以包括用于执行本文描述的其他相应方面的操作的多个装置。在一方面，一种计算机可读介质包含处理器可执行指令，所述处理器可执行指令在执行时致使计算机执行本文中所描述的其它各个方面的操作。上述方面试图解决与识别有缺陷的图像传感器元件和减少有缺陷的图像传感器元件在图像采集系统中的影响相关的问题。通过阅读下面的详细描述并适当参考附图，这些以及其它实施例、方面、优点和替代方案对于本领域的普通技术人员将变得显而易见。此外，应该理解，这里提供的这个概述以及其他描述和附图旨在仅通过示例来说明实施例，并且因此可以有多种变化。例如，结构要素和处理步骤可以重新排列、组合、分配、消除或以其他方式改变，同时保持在所要求保护的实施例的范围之内内。附图说明图1示出根据示例实施例的光学成像系统。图2A示出了根据示例实施例的数字相机设备的正视图和右侧视图。图2B示出根据示例实施例的数字相机设备的后视图。图3A示出根据示例实施例的图像采集场景。图3B示出根据示例实施例的多个图像。图3C示出根据示例实施例的聚合图像。图3D示出根据示例实施例的传感器元件状况映射图。图3E示出根据示例实施例的图像采集场景。图4示出了根据示例实施例的方法。图5A示出根据示例实施例的由数字相机设备采集的图像。图5B示出根据示例实施例的由数字相机设备采集的图像。图5C示出根据示例实施例的由数字相机设备采集的图像。图5D示出根据示例实施例的由数字相机设备采集的场景的聚合图像。图5E示出根据示例实施例的由数字相机设备采集的有效负载图像。图5F示出根据示例实施例的经校正的有效负载图像。具体实施方式I.概述在此描述示例的方法、设备和系统。应该理解，在这里使用词语“示例”和“示例性”来表示“用作示例、实例或示意”。本文中描述为“示例”或“示例性”的任何实施例或特征不一定被解释为比其他实施例或特征优选或有利。可以使用其它实施例，并且可以做出其他改变而不偏离本文提出的主题的范围。因此，这里描述的本文档来自技高网...

【技术保护点】
一种方法，包括：经由图像传感器采集多个图像，其中，所述图像传感器包括多个传感器元件，所述传感器元件被配置为表示所采集的多个图像中的相应的像素；其中，所述多个图像利用光学元件的至少一个属性的不同的相应的值而被采集，其中，所述光学元件耦合到所述图像传感器；将所述多个图像组合成聚合图像；基于所述聚合图像，确定所述多个传感器元件中的特定传感器元件的状况；和在有效负载图像中，调节与所述特定传感器元件相关联的特定像素的值。

【技术特征摘要】
【国外来华专利技术】2015.12.16 US 14/972,0751.一种方法，包括：经由图像传感器采集多个图像，其中，所述图像传感器包括多个传感器元件，所述传感器元件被配置为表示所采集的多个图像中的相应的像素；其中，所述多个图像利用光学元件的至少一个属性的不同的相应的值而被采集，其中，所述光学元件耦合到所述图像传感器；将所述多个图像组合成聚合图像；基于所述聚合图像，确定所述多个传感器元件中的特定传感器元件的状况；和在有效负载图像中，调节与所述特定传感器元件相关联的特定像素的值。2.根据权利要求1所述的方法，其中，所述多个图像利用由所述光学元件限定的不同的相应的焦距设定而被采集。3.根据前述权利要求中的任一项所述的方法，其中，调节所述光学元件中的至少一个属性包括以下至少一个：调节所述光学元件的视场，调节所述光学元件的变焦设定，调节所述光学元件的光圈设定，或调节光学元件的位置。4.根据前述权利要求中的任一项所述的方法，还包括测量所述图像传感器的视场，并且基于所述测量，选择用于采集所述多个图像的所述图像传感器的快门速度和灵敏度。5.根据前述权利要求中的任一项所述的方法，还包括将所确定的状况映射到传感器元件状况映射图中，并且其中，调节所述特定像素的值是基于所述传感器元件状况映射图。6.根据权利要求5所述的方法，进一步包括将所述传感器元件状况映射图与时间相关联，并提供与对应的多个不同时间相关联的多个传感器元件状况映射图的历史记录，并且其中，调节所述特定像素的值是进一步基于所述历史记录。7.根据前述权利要求中的任一项所述的方法，其中...

【专利技术属性】
技术研发人员：MS莱沃伊，R卢考，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US