图像捕获方法和系统技术方案

描述了用于处理利用诸如相机等图像传感器捕获的图像的方法和系统。在一个实施例中，确定所捕获图像的估计环境光水平并使用所述估计环境水平来计算光学‑光学传递函数(OOTF)，所述OOTF用于校正所述图像以在观看环境中保持所述图像在所述估计环境光水平下的表观对比度。所述估计环境光水平是通过使用包括曝光参数和从相机校准中得到的相机特定参数的函数对来自所述图像传感器的像素值进行缩放来确定的。

【技术实现步骤摘要】
【国外来华专利技术】图像捕获方法和系统相关申请的交叉引用本申请要求于2018年6月18日提交的美国临时申请号62/686,371和2018年6月18日提交的欧洲专利申请号18178266.5的优先权，其中每个专利申请均通过引用以其全文结合在此。
本专利技术总体上涉及图像。更具体地，本专利技术的实施例涉及利用相机或其他设备捕获的图像。
技术介绍
图像处理操作通常用于将由相机从原始场景捕获的场景图像变换为在具有各种显示能力的一个或多个显示设备(例如，目标显示器)上渲染的显示图像，并且当在目标显示器上显示时，这些操作可能不会保持原始场景的场景图像的对比度和色度。例如，就人类视觉感知而言，如在目标显示器上渲染的显示图像的对比度和色度可能不同于观看者从原始场景中原位观看的图像或者相机从原始场景中原位捕获的图像的对比度和色度。并且即使使用复杂的图像处理技术(诸如杜比的显示管理技术)，也是如此。如本文所使用的，术语“显示管理”或“显示映射”表示将第一动态范围(例如，1000尼特)的输入视频信号的图像或图片映射到第二动态范围(例如，500尼特)的显示(利用可能具有有限色域的目标显示器)所需的处理(例如，色调和色域映射)。可以在2016年1月14日提交的名称为“Displaymanagementforhighdynamicrangeimages(用于高动态范围图像的显示管理)”的PCT专利申请序列号PCT/US2016/013352(将被称为‘352申请)中找到显示管理过程的示例，所述PCT专利申请通过引用以其全文结合在此。>在典型的内容创建流水线中，在5尼特的周围环境中对视频进行颜色分级。在实际中，观看者可能在各种周围环境中显示内容，比如在5尼特(例如，在黑暗的家庭影院中观看电影)、在100至150尼特(例如，在相对亮的起居室中观看电影)、或更高(例如，白天在非常亮的房间或室外在平板计算机上观看电影)。在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指示，否则不应认为本节所描述的任何方法仅凭其纳入本节就作为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。附图说明在附图中以举例而非限制的方式来说明本专利技术，其中相似的附图标记指示相似的要素。图1以流程图形式示出了本专利技术的一个或多个实施例的示例。图2示出了可以在本专利技术的一个或多个实施例中使用的校正曲线或校正函数的实施例。图3示出了具有可以与本专利技术的一个或多个实施例一起使用的一组操作的系统的示例。图4示出了可以用于执行或实施本专利技术的一个或多个实施例的数据处理系统的示例。具体实施方式将参照以下所讨论的细节描述各个实施例和各方面，并且附图将对各个实施例进行说明。以下描述和附图是说明性的并且不应被解释为限制性的。描述了许多特定细节以提供对各个实施例的充分理解。然而，在某些情况下，未对熟知或传统的细节进行描述，以便提供对实施例的简明讨论。本说明书中，对“一个实施例”或“实施例”的提及意味着结合实施例描述的特定特征、结构或特性可以被包括在至少一个实施例中。在本说明书中，短语“在一个实施例中”在各个地方的出现不一定都是指同一实施例。下图中描绘的过程由包括硬件(例如，电路、专用逻辑等)、软件或二者的组合的处理逻辑来执行。虽然下面按照一些顺序的操作描述了所述过程，但是应该了解，可以按不同的顺序执行所描述的操作中的一些操作。而且，可以并行地而非顺序地执行一些操作。本文所描述的实施例可以用于从由诸如相机或智能电话等设备或包括相机的其他设备捕获的内容中始终如一地获得好看的高动态范围和标准动态范围的图像和视频。使用关于捕获图像的设备的曝光和特性的信息，实施例可以确定图像场景中的绝对明亮度水平，然后这些绝对明亮度水平可以用来预测图像的环境条件。将该信息与关于人类对明亮度和颜色的感知的知识相结合，可以将所捕获的图像以如下方式映射到各种显示器：当在可能与原始场景的周围环境不同的观看环境中显示图像时，最好地保持场景在场景的原始环境中的样子。在原始场景处呈现给在原位的观看者的原始场景的视觉外观(如由场景图像捕获的)可以称为参考场景的视觉外观。从所述场景图像得到/变换的显示图像的视觉外观(如在显示设备上渲染的)可以称为参考显示器的视觉外观。根据本文所使用的，术语“视觉外观”是指视觉上可感知的对比度和视觉上可感知的色度(色相和饱和度)的组合；或者是指视觉上可感知的对比度和视觉上可感知的色相的组合。可以应用如本文所描述的技术来确保原始场景的参考显示器的视觉外观如实地(例如，完美地、感知地、低于人类可察觉的阈值、在相对小的误差内等)再现原始场景的参考场景的视觉外观。应当注意，在一些实施例中，原始场景的参考场景的视觉外观可以指原始场景的这样的视觉外观，所述视觉外观具有旨在从原始场景生成令人愉悦的场景图像而选择的特定相机设置和特定相机图像信号处理(相机ISP)。在如本文所描述的技术下生成和渲染的显示图像允许观看者(例如，人等)感知与原始场景的视觉外观相同的视觉外观，或感知具有观看者特定偏好元素的原始场景。就原始场景的参考场景的视觉外观而言，观看者可以从显示图像中看到观看者(或虚拟观看者)会在原始场景处在原位看到的内容。根据一个实施例的方法可以包括以下操作：通过相机捕获图像，所捕获的图像包括表示所述图像中的像素的第一多个图像数据；基于所述第一多个图像数据确定所捕获的图像的估计环境光水平，其中，所述估计环境光水平是通过使用包括相机特定参数和曝光参数(在捕获所述图像时在所述相机上使用的)的函数而对来自所述相机中的传感器的像素值进行缩放以获得一个或多个绝对场景光水平来确定的，所述曝光参数包括光圈设置、曝光时间设置和传感器灵敏度设置，并且其中，所述相机特定参数是从相机校准中得到的；基于所述估计环境光水平，计算光学-光学传递函数(optical-opticaltransferfunction,OOTF)；通过使用所述OOTF对从所述第一多个图像数据中得到的图像数据进行校正来对从所述第一多个图像数据中得到的所述图像数据进行变换，所述变换被配置为当在观看环境中显示所述图像时，在所述观看环境中保持所述图像在所述估计环境光水平下的表观对比度。在一个实施例中，所述光学-光学传递函数可以补偿在不同环境光条件下的人类感知，从而根据捕获图像的场景环境保持图像的外观。在一个实施例中，所述方法可以被适配为在多个不同的目标显示器上提供显示管理，以在这些不同的目标显示器上实现与所捕获的图像的基本上相同的外观。在一个实施例中，所述方法可以包括：通过被配置用于目标显示器的色调映射函数，对从所述第一多个图像数据中得到的图像数据进行映射，以映射所述图像用于在所述目标显示器上显示，其中，所述色调映射函数是基于所述目标显示器的色域参数和亮度参数进行配置的。在一个实施例中，在通过色调映射函数进行的映射之前，所述变换可以对从第一多个图像数据中得到的图像数据进行校正，使得所述本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收由相机捕获的图像，所述图像包括表示所述图像中的像素的第一多个图像数据；/n基于所述第一多个图像数据确定所述图像的估计环境光水平，其中，所述估计环境光水平是通过使用包括相机特定参数和在捕获所述图像时在所述相机上使用的曝光参数的函数而对来自所述相机中的传感器的像素值进行缩放以获得一个或多个绝对场景光水平来确定的，所述曝光参数包括光圈设置、曝光时间设置和传感器灵敏度设置，并且其中，所述相机特定参数是从相机校准中得到的；/n基于所述估计环境光水平，计算光学-光学传递函数OOTF；/n通过使用所述OOTF对从所述第一多个图像数据中得到的图像数据进行校正来对从所述第一多个图像数据中得到的所述图像数据进行变换，所述变换被配置为当在观看环境中显示所述图像时，在所述观看环境中保持所述图像在所述估计环境光水平下的表观对比度。/n

【技术特征摘要】
【国外来华专利技术】20180618 EP 18178266.5;20180618 US 62/686,3711.一种方法，包括：
接收由相机捕获的图像，所述图像包括表示所述图像中的像素的第一多个图像数据；
基于所述第一多个图像数据确定所述图像的估计环境光水平，其中，所述估计环境光水平是通过使用包括相机特定参数和在捕获所述图像时在所述相机上使用的曝光参数的函数而对来自所述相机中的传感器的像素值进行缩放以获得一个或多个绝对场景光水平来确定的，所述曝光参数包括光圈设置、曝光时间设置和传感器灵敏度设置，并且其中，所述相机特定参数是从相机校准中得到的；
基于所述估计环境光水平，计算光学-光学传递函数OOTF；
通过使用所述OOTF对从所述第一多个图像数据中得到的图像数据进行校正来对从所述第一多个图像数据中得到的所述图像数据进行变换，所述变换被配置为当在观看环境中显示所述图像时，在所述观看环境中保持所述图像在所述估计环境光水平下的表观对比度。


2.如权利要求1所述的方法，其中，所述方法还包括：
通过被配置用于目标显示器的色调映射函数，对从所述第一多个图像数据中得到的图像数据进行映射，以映射所述图像用于在所述目标显示器上显示，所述色调映射函数是基于所述目标显示器的色域参数和亮度参数进行配置的。


3.如权利要求2所述的方法，其中，在通过所述色调映射函数进行的所述映射之前，所述变换对从所述第一多个图像数据中得到的所述图像数据进行校正，使得所述色调映射函数对从所述变换得到的数据进行操作，并且其中，所述色调映射函数压缩所述图像的动态范围以与所述目标显示器的所述色域参数和所述亮度参数相匹配。


4.如任一前述权利要求所述的方法，其中，将所述估计环境光水平作为元数据与所述图像的图像数据一起保存，并且其中，对缩放到绝对场景光水平的像素值执行所述色调映射，并且其中，所述相机特定参数是从所述相机校准中以经验得到的常数值。


5.如任一前述权利要求所述的方法，其中，所述相机校准包括：在不同的曝光参数设置下捕获测试目标的图像，测量所述测试目标的亮度，以及求解最佳地拟合包括所述相机特定参数和所述曝光参数的函数的所述常数值的值，并且其中，所述相机特定参数是从对所述相机的所述相机校准中得到的，并且然后被存储以在具有与所述相机相同的传感器设计的类似相机中使用，并且其中，所述估计环境光水平是从以下各项中的一项得到的：所述图像中的所有像素的亮度值的中值或平均值；场景图像部分的亮度值的中值或平均值；所述图像中的最大亮度值与所述图像中的最小亮度值之间的选定亮度值范围中的亮度值的中值或平均值；所述图像中的最大亮度值；环境光传感器读数；曝光传感器读数；来自专用于优化曝光的像素的数据；或手动的用户输入。


6.如任一前述权利要求所...

【专利技术属性】
技术研发人员：E·G·皮耶里，R·阿特金斯，J·A·派拉兹，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：美国;US