使用嵌入式数据的强大自动曝光控制制造技术

本公开涉及使用嵌入式数据的强大自动曝光控制。方法、系统和物品提供使用嵌入式数据的强大自动曝光控制。

【技术实现步骤摘要】

技术介绍
例如数字拍摄装置等数字图像处理装置使用自动特征来提高图像（例如数字拍摄装置上的预览屏幕以及记录的图像和记录的视频）质量。这包括3A特征，其指自动白平衡（AWB）、自动聚焦（AF）和自动曝光控制（AEC）。曝光是传感器捕捉的入射光的量，并且该量可通过调整拍摄装置的光圈大小和快门速度以及ND滤波器控制和闪光功率而调整，其中的一些可以是电子系统而不是机械装置。ND滤波器指中性密度滤波器，其在机械快门对于最亮照明条件不是足够快时有时与该机械快门一起使用。AEC还可计算模拟增益和数字增益，它们在存在时放大从使用的曝光时间产生的原始图像信号。曝光参数一起确定总曝光时间，其在本文称为总曝光。增益影响从拍摄装置传感器出来的RAW图像的信号水平或亮度。如果总曝光太短，图像将显现出比实际场景更暗，这叫作曝光不足。如果信号小于本底噪声或量化成零，图像信号甚至可以如此的曝光不足以便丢失。另一方面，如果总曝光太长，输出图像将显现出比实际场景更亮，这叫作过度曝光。在信号变得饱和时（例如在信号值超出像素的满井容量时或在模拟或数字增益促使信号值超出最大数字值时），可甚至由于过度曝光而丢失图像信号。如果信号变得饱和，可能甚至丢失该信号。两种情况可导致细节丢失，从而导致质量差的图像。自动曝光控制用于计算从数字拍摄装置获得可接受显示图像（例如对于拍摄装置上的取景器或预览屏幕、记录的视频和/或静止图像）所必需的正确曝光。这样的计算还可用于调整曝光设定值以用于用拍摄装置捕捉后续图像。从而，参数在执行AEC计算的处理器与拍摄装置控制器之间传送的定时是非常重要的。如果出现传送延迟，数字拍摄装置屏幕中亮度的闪烁或跳跃可经由取景器屏幕或记录的视频而对用户可见，并且图像可以错误的曝光来捕捉或记录。从而，具有维持高质量图像和视频的自动曝光控制，这是可取的。附图说明本文描述的材料通过示例而非限制的方式在附图中图示。为了图示的简单和清楚起见，在图中图示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可相对于其他元件扩大。此外，在认为适当的地方，标号在图之中重复来指示对应或类似元件。图1A-1B协同地示出数字成像装置的自动控制特征的操作的定时图；图2是图示示例曝光控制处理方法的流程图；图3是图示使用自动控制特征的图像处理方法的流程图；图4是操作中的示例图像处理系统的图；图5是示出示例图像处理方法的操作的基于帧的定时图；图6是图示示例自动曝光控制过程的流程图；图7是图示用于提供收敛计划（convergence plan）的示例过程的流程图；图8是示例图像处理系统的说明性图；图9是示例系统的说明性图；以及图10是全部根据本公开的至少一些实现设置的示例系统的说明性图。具体实施方式现在参考附图来描述一个或多个实现。尽管论述了特定配置和设置，应该理解这只是为了说明性目的而进行。相关领域内技术人员将认识到可以采用其他配置和设置而不偏离描述的精神和范围。也可以在除了本文描述的之外的多种其他系统和应用中采用本文描述的技术和/或设置，这对相关领域内技术人员将是明显的。尽管下列描述阐述可在例如片上系统（SoC）架构等架构中显露的各种实现，本文描述的技术和/或设置的实现不限于特定架构和/或计算系统并且可由任何架构和/或计算系统为了相似目的而实现。例如，采用例如多个集成电路（IC）芯片和/或封装件的各种架构和/或各种计算装置和/或例如机顶盒、智能电话等消费者电子（CE）装置可实现本文描述的技术和/或设置。此外，尽管下列描述可阐述例如系统部件的逻辑实现、类型和相互关系、逻辑分区/集成选择等许多特定细节，要求保护的主旨可在没有这样的特定细节的情况下实践。在其他实例中，例如控制结构和全软件指令序列等一些材料可未被详细示出以便不混淆本文公开的材料。本文公开的材料可采用硬件、固件、软件或其任何组合来实现。本文公开的材料还可实现为存储在机器可读介质上的指令，其可由一个或多个处理器读取并且执行。机器可读介质可包括用于采用可被机器（例如，计算装置）读取的形式存储或传送信息的任何介质和/或机构。例如，机器可读介质可包括：只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光存储介质；闪烁存储器装置；电、光、声或其他形式的传播信号（例如，载波、红外信号、数字信号，等）及其他。在其他形式中，例如非暂时性计算机可读介质等非暂时性物品可与上文提到的示例或其他示例中的任何示例一起使用（只是它本身不包括暂时性信号）。它确实包括除本身可以“暂时性”方式暂时保持数据的信号之外的那些元件，例如RAM等。在说明书中对“一个实现”、“实现”、“示例实现”等的引用指示描述的实现可包括特定特征、结构或特性，但每个实现可不一定包括该特定特征、结构或特性。此外，这样的短语不一定指相同的实现。此外，当特定特征、结构或特性连同实现一起描述时，认为实施这样的特征、结构或特性连同其他无论是否在本文明确描述的实现一起属于本领域内技术人员的知识内。使用嵌入式数据来提供强大自动曝光控制的系统、物品和方法在下文描述。如上文提到的，许多数字拍摄装置和具有这样的拍摄装置的装置提供自动控制特征，例如3A特征，其包括自动聚焦（AF）、自动曝光控制（AEC）和自动白平衡（AWB）。本文相关地，自动曝光控制（AEC）使用算法来调整曝光参数以捕捉图像并且提供亮度参数调整用于图像的显示（无论是在数字拍摄装置的实时预览屏幕还是其他记录的显示上）以及图像或视频的存储或编码以供稍后观看。当以足够的速度更新参数时，实时预览屏幕或记录的视频中的亮度将显现出在帧之间平滑改变而没有明显的亮度的闪烁或突然改变，使得获得平滑收敛的亮度（或明显的稳定亮度）。这对图像提供仔细控制的高质量外观。为了实现这样的平滑且足够快的曝光参数更新，例如以至少约30Hz的速率向拍摄装置传感器提供更新的参数。在执行AEC计算的处理器后来从拍摄装置传感器接收最新曝光参数时可出现延迟。另外，可设置短时间窗口，其中请求、开始和完成新曝光参数的传送。如果窗口在完成传送之前关闭，则新的设定值未在传感器的下一个图像或帧中使用，从而使对于该下一个帧的亮度中的突然改变的风险增加。否则，可在用于将数据传送回拍摄装置传感器的相对慢的i2c协议中出现延迟。无论是在拍摄装置传感器控制、图像信号处理器（ISP）还是其他共享处理器，这些延迟可由于控制处理单元（CPU）处的带宽而出现，使得拍摄装置控制模块或处理器可忙于其他处理任务。否则，延迟可由于系统部件中的任何部件之间的数据传送路径处的带宽而简单地出现。尝试解决这些问题的一个方式使提供专用处理器来运行3A算法以确保没有其他处理将使AEC处理延迟。否则，可添加专用i2c控制器来确保没有其他业务使3A业务延迟。然而，这些技术方案可需要相对昂贵的硬件。另一个可能的技术方案是严格实施为AEC算法分配的处理时限。然而，该技术方案可仍然不够，并且无论如何可需要额外硬件。这样的限制非常难以实现，并且因为不是所有需要的分析可以保证在对于所有本文档来自技高网...

【技术保护点】
一种自动曝光控制的计算机实现的方法，其包括：接收嵌入式曝光参数数据，其用于捕捉对于多个帧的图像数据并且嵌入具有图像数据的数据流中；获得多个目标曝光参数值的收敛计划数据，从而形成曝光收敛计划的至少一部分，其中所述收敛计划数据提供数据以沿帧序列形成目标亮度变化；确定通过使用对于所述帧序列的帧的嵌入式曝光参数数据和所述曝光收敛计划的对应目标曝光参数两者而计算的附加数字增益；以及为图像处理提供所述附加数字增益来显示、存储所述帧序列的帧和/或对所述帧序列的帧编码。

【技术特征摘要】
2013.12.06 US 14/0992981. 一种自动曝光控制的计算机实现的方法，其包括：
接收嵌入式曝光参数数据，其用于捕捉对于多个帧的图像数据并且嵌入具有图像数据的数据流中；
获得多个目标曝光参数值的收敛计划数据，从而形成曝光收敛计划的至少一部分，其中所述收敛计划数据提供数据以沿帧序列形成目标亮度变化；
确定通过使用对于所述帧序列的帧的嵌入式曝光参数数据和所述曝光收敛计划的对应目标曝光参数两者而计算的附加数字增益；以及
为图像处理提供所述附加数字增益来显示、存储所述帧序列的帧和/或对所述帧序列的帧编码。
2. 如权利要求1所述的方法，其包括：
在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供所述附加数字增益。
3. 如权利要求1所述的方法，其中所述嵌入式曝光参数数据用于计算对于所述帧的实际总曝光，并且所述目标曝光参数是目标总曝光。
4. 如权利要求1所述的方法，其中所述曝光收敛计划是第二曝光收敛计划，所述方法包括：
生成第一曝光收敛计划以沿帧序列提供亮度中的平滑改变，其中所述第一曝光收敛计划包括目标曝光参数或目标总曝光或两者；
用来自所述第一曝光收敛计划的新目标曝光参数或新目标总曝光来更新所述第二曝光收敛计划；以及
使用所述第二收敛计划来计算所述附加数字增益。
5. 如权利要求1-4中的任一项所述的方法，其中所述第一曝光收敛计划包括通过计算对于沿所述序列彼此间隔开的两个帧的总曝光并且在所述两个帧之间插补对于帧的总曝光而产生的曝光数据。
6. 如权利要求1-5中的任一项所述的方法，其中所述嵌入式曝光参数数据包括以下中的至少一个：
曝光时间，
实际数字增益，
模拟增益，以及
以上全部三个参数。
7. 如权利要求1所述的方法，其中所述至少一个嵌入式曝光参数放置在所述数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收。
8. 如权利要求1所述的方法，其中所述附加数字增益是通过使来自所述收敛计划的目标总曝光除以从所述嵌入式数据得到的总曝光而得到的倍数。
9. 如权利要求1-8中任一项所述的方法，其中对每个帧提供所述附加数字增益，并且其中所述附加数字增益等于在所述目标总曝光小于从所述嵌入式数据得到的对应总曝光时的最小极限值。
10. 如权利要求1-9中的任一项所述的方法，其包括提供曝光数据以有意促使所述嵌入式数据提供导致或将导致对于帧的曝光不足的总曝光。
11. 如权利要求1所述的方法，其包括：
在与用于向捕捉帧序列的拍摄装置传感器提供曝光参数的延迟定时不同的定时处为图像处理提供所述附加数字增益；
其中所述嵌入式曝光参数数据用于计算对于所述帧的实际总曝光，并且所述目标曝光参数是目标总曝光；
其中所述曝光收敛计划是第二曝光收敛计划，所述方法包括：
生成第一曝光收敛计划以沿帧序列提供亮度中的平滑改变，其中所述第一曝光收敛计划包括目标曝光参数或目标总曝光或两者，   
用来自所述第一曝光收敛计划的新目标曝光参数或新目标总曝光来更新所述第二曝光收敛计划；以及
使用所述第二收敛计划来计算所述附加数字增益，
其中所述第一曝光收敛计划包括通过计算对于沿所述序列彼此间隔开的两个帧的总曝光并且在所述两个帧之间插补对于帧的总曝光而产生的曝光数据；
其中所述嵌入式曝光参数数据包括以下中的至少一个：
曝光时间，
实际数字增益，
模拟增益，以及
以上全部三个参数；
其中所述至少一个嵌入式曝光参数放置在所述数据流的起始字段或结束字段部分中并且从拍摄装置传感器接收；
其中所述附加数字增益是通过使来自所述收敛计划的目标总曝光除以从所述嵌入式数据得到的总曝光而得到的倍数；
其中对每个帧提供所述附加数字增益，并且其中所述附加数字增益等于在所述目标总曝光小于从所述嵌入式数据得到的对应总曝光时的最小极限值，并且其中所述最小极限值等于1.0；以及
所述方法包括提供曝光数据以有意促使所述嵌入式数据提供导致或将导致对于帧的曝光不足的总曝光。
12. 一种用于具有自动曝光控制的图像处理的系统，其包括：
显示器；
至少一个处理器，其通信地耦合于所述显示器；
至少一个存储器，其通信地耦合于至少一个处理器；以及
嵌入式曝光数据分析器，其通信地耦合于所述处理器并且...

【专利技术属性】
技术研发人员：J尼克坎恩，E范达伦，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US