用于图像处理流水线的高亮恢复制造技术

用于执行高亮恢复的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。所述方法之一包括：接收图像的原始图像数据，对于图像中的多个高亮区域中的每个，原始图像数据包括高亮区域的一个或多个通道的原始通道值；处理原始图像数据以生成更新的图像数据，其中，更新的图像数据包括图像中每个高亮区域的更新通道值，并且其中，对于图像的一个或多个高亮区域中的每个，高亮区域的一个或多个更新通道值超过根据预定的数据精度的最大通道值；以及，对图像的一个或多个高亮区域的更新通道值进行色调校正过程，以生成满足预定数据精度的最终通道值。的最终通道值。的最终通道值。

【技术实现步骤摘要】
【国外来华专利技术】用于图像处理流水线的高亮恢复

技术介绍

[0001]本说明书涉及图像处理器。图像处理器是领域特定的处理设备，其被设计来处理捕获的图像数据。
[0002]一些图像处理器具有由专用硬件实现的图像处理流水线。在本说明书中，图像处理流水线被定义为一组一个或多个组件，称为“块”，它们在图像源(例如相机)和图像呈现器(renderer)(例如，电脑或手机屏幕)之间执行任何中间数字图像处理。
[0003]一些图像处理流水线块增加图像信号的增益，即，增加图像像素数据的各个通道的值。通常，块只能将像素的增益增加到某一程度。像素隐含地具有位精度，它定义了像素数据的相应通道可以采用的最大值。当块施加的增益大于位精度允许的增益时，像素值通常被块“裁切(clip)”为等于位精度允许的最大值。这通常会导致图像质量劣化，称为“高亮裁切(highlight clipping)”，其中，图像的某些区域由于像素值被裁切而使得颜色失真。例如，如果某个区域中像素的每个通道都被裁切，则该区域可能具有统一的最大像素值，例如，通常将其呈现为完全白色的区域。
[0004]为方便起见，本说明书包含使用RGB颜色空间(即，通道包括R通道、G通道和B通道的地方)的示例。本说明书中描述的主题可以应用于任何适当的颜色空间，例如，RGrGbB颜色空间或RGBA颜色空间，仅举几个例子。
[0005]此外，为方便起见，本说明书包含涉及处理个体的像素(individual pixels)以恢复像素色调(hue)的示例。本说明书中描述的主题可以更普遍地被应用以处理高亮区域以恢复高亮区域的色调，其中，一个像素是高亮区域的示例。高亮区域的另一个示例是在滤色器阵列中以2
×
2网格布置的一组四个像素。在该示例中，四个像素组中的每个像素可以具有表示单一颜色的单个值，并且高亮区域的通道可以是四个像素的值。作为一个特定示例，如果已使用拜耳滤波器处理图像，则图像可以具有2
×
2像素网格的高亮区域。
[0006]高亮恢复是指通过在图像的裁切区域中恢复颜色信息来校正高亮裁切的技术。
[0007]在硬件中执行高亮恢复的一种技术使用颜色传播。为了执行颜色传播高亮恢复，来自尚未被裁切和与裁切区域相邻的像素的颜色值被传播到裁切区域。因此，未裁切像素的颜色值旨在“渗出(bleed over)”以校正裁切区域。
[0008]然而，在硬件中执行颜色传播高亮恢复有几个缺点。首先，颜色传播需要大容量随机存取存储器(RAM)，例如，需要将比否则所需者更大的硅晶片部署到图像处理器上。这是因为在颜色传播高亮恢复期间，图像处理器必须在存储器中保留多个像素值。特别是，传入图像数据的光栅扫描需要与在SRAM或DRAM中缓存的图像中的裁切像素相邻的未裁切像素的像素值。增加缓冲区大小又会增加硬件的大小、成本和复杂性。
[0009]其次，颜色传播对可以有效校正的区域大小有自然限制。换言之，如果裁切区域很大，则来自相邻像素的颜色信息不能可靠地用于校正大裁切区域中心的像素中的高亮裁切。
[0010]图1是执行颜色传播高亮恢复的现有技术图像信号处理器(ISP)的图像处理流水线100的框图。
[0011]ISP的输入是原始像素数据102，例如，由相机捕获的像素数据。原始像素数据102包括每个像素的一个或多个通道的值。例如，每个像素可以包括一个R通道、一个G通道和一个B通道；作为一个特定示例，像素可能具有通道值(250，120，50)。
[0012]原始像素数据102中每个像素的输入数据具有bpp_in的位精度，其中，“bpp”是“位每像素(bits per pixel)”的缩写。示例bpp_in为24bpp，其中，8位分别分配给R、G和B通道中的每个。24的bpp允许每个通道具有0到255之间的值。
[0013]在接收到原始像素数据102之后，ISP可以在块112中执行颜色传播高亮恢复之前使用一个或多个块104、106、108和110的序列来处理原始像素数据以生成输出像素数据114。一个或多个块可以是非增益施加块(在图1所描绘的示例中，块104和106)。一个或多个块可以是增益施加块(在图1中描绘的示例中，块108和110)。虽然图1描绘了一系列非增益施加块，随后是一系列增益施加块，通常增益施加块和非增益施加块在ISP中可以是任何顺序。
[0014]ISP的非增益施加块是不对块的输入数据的数据精度施加任何增益的块。换言之，可以用与输入数据相同的数据精度bpp_in来表示非增益施加块生成的输出数据，而不会损失精度。例如，ISP的非增益施加块可以包括线性化块104和黑电平(black level)校正块106。
[0015]ISP的增益施加块确实将增益施加于块的输入数据的数据精度。换言之，增益施加块所产生的输出数据可能需要比该块的输入数据的数据精度bpp_in更高的数据精度。也就是说，对于由块的输入数据表示的一些像素，需要比bpp_in更高的数据精度，以便在不损失任何精度的情况下对与块生成的像素相对应的相应输出数据进行编码。例如，ISP的增益施加块可以包括镜头阴影(lens shading)校正块108和白平衡增益块110。
[0016]传统上，ISP中任何块生成的输出数据都必须保持该块的输入的数据精度。因此，增益施加块108和110必须“裁切”表示其值超过数据精度bpp_in允许的最大值的每个像素的相应输出数据。对于每个这样的像素，至少有一个通道，其块的值增加得足以使该值超过分配给该通道的数据精度。对于此类通道，块将通道的值设置为数据精度bpp_in允许的最大值。
[0017]作为特定示例，增益施加白平衡增益块110可以具有24bpp的允许数据精度。白平衡增益块110可以接收包括其R通道值为250的像素的输入数据，并且块110可以将像素的R通道值从250改变为260。在这种情况下，白平衡增益块110将R通道值裁切为255，即24bpp允许的最大值。
[0018]裁切像素值会改变像素的“色调”，它表示R、G和B通道的相对比例。例如，如果增益施加块生成一个像素值(380，240，0)，它是红橙色，那么该块会将像素值裁切为(255，240，0)，它是黄色。出现这个问题是因为只有R通道被裁切，而G和B通道保持不变，因此通道值的相对比例发生了变化。
[0019]在增益施加块108和110之后，有一个颜色传播高亮恢复块112，它处理已经被裁切的像素以便恢复它们的色调。为此，对于每个被裁切的像素，颜色传播高亮恢复块112调查最近的未被裁切的周围像素，并从周围未裁切像素的色调推断出被裁切像素的色调。当在相对较小的裁切像素区域(例如，被裁切的两个或四个像素的簇)上执行此过程时，该过程可以产生良好的结果。然而，这个过程有几个缺点，当对于较大的裁切像素区域执行时会出
现这些缺点。在本说明书中，“区域”是图像的一组连续像素。
[0020]当对较大的裁切像素区域执行颜色传播高亮恢复过程时，恢复的像素色调通常是不正确的。例如，为了恢复裁本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：图像捕获设备，被配置为生成图像的原始图像数据，对于所述图像中的多个高亮区域中的每个高亮区域，所述原始图像数据包括所述高亮区域的一个或多个通道的原始通道值；以及图像信号处理器，包括：图像处理流水线的一个或多个组件，被配置为处理所述原始图像数据以生成更新的图像数据，其中，所述更新的图像数据包括所述图像中的每个高亮区域的更新通道值，并且其中，对于所述图像的一个或多个高亮区域中的每个高亮区域，所述高亮区域的一个或多个更新通道值超过根据预定数据精度的最大通道值，以及高亮恢复电路，被配置为对所述图像的所述一个或多个高亮区域的所述更新通道值执行色调校正过程，其中，执行所述色调校正过程包括：处理所述更新通道值以生成最终通道值，所述最终通道值i)满足所述预定数据精度和ii)恢复所述图像的所述一个或多个高亮区域的色调值。2.根据权利要求1所述的系统，其中，所述高亮区域是个体的像素，并且其中，所述一个或多个通道包括R通道、G通道和B通道。3.根据权利要求1所述的系统，其中，所述高亮区域是在滤色器阵列中以2
×
2网格布置的四个像素的组，其中，所述像素中的每个具有表示单个颜色的单个值，并且其中，所述一个或多个通道包括所述四个像素的值。4.根据权利要求1
‑
3中任一项所述的系统，其中，对于所述图像中的每个高亮区域执行所述色调校正过程包括：计算色调值，包括：对于所述高亮区域的所述一个或多个通道中的每个通道调整相应的更新通道值，其中，所述色调值表示所述通道的所述更新通道值的比例；对于所述一个或多个通道中的每个通道生成裁切通道值，其中，如果所述更新通道值小于或等于所述最大通道值，则所述裁切通道值等于相应的更新通道值，并且如果所述更新通道值大于所述最大通道值，则所述裁切通道值等于所述最大通道值；以及对于所述一个或多个通道中的每个通道计算最终通道值，包括：使用相应的色调值调整相应的裁切通道值，以模拟所述通道的所述更新通道值的所述比例。5.根据权利要求4所述的系统，其中，对于所述图像中的每个高亮区域计算所述色调值进一步包括：确定所述高亮区域的所述一个或多个通道的相应的更新通道值的集中趋势的量度；以及计算色调值，包括：使用所述高亮区域的所述更新通道值的集中趋势的量度来调整所述一个或多个通道中的每个通道的相应的更新通道值。6.根据权利要求5所述的系统，其中，对于所述图像中的每个高亮区域计算所述一个或多个通道中的每个通道的最终通道值包括：确定所述一个或多个通道的所述裁切通道值的集中趋势的量度；以及计算所述一个或多个通道中的每个通道的最终通道值，包括：使用所述高亮区域的相应的色调值和所述裁切通道值的集中趋势的所述量度来调整相应的裁切通道值。7.根据权利要求6所述的系统，其中，对于每个高亮区域：
所述一个或多个通道的所述更新通道值和所述裁截通道值的集中趋势的量度是相应通道值的平均值；以及计算所述一个或多个通道的所述色调值包括：通过计算在所述更新通道值与所述更新通道值的所述平均值之间的差来生成初始色调值；以及通过将所述初始色调值归一化来生成所述色调值，包括：将所述初始色调值除以第一向量的长度，其中，所述第一向量的每个元素是初始色调值。8.根据权利要求7所述的系统，其中，计算所述一个或多个通道的所述最终通道值包括：通过将所述色调值缩放第二向量的长度来生成缩放色调值，其中，所述第二向量的每个元素是通道的裁切通道值与裁切通道值的平均值之间的差；以及通过将所述缩放色调值与所述裁切通道值的平均值相加来生成所述最终通道值。9.一种方法，包括：接收图像的原...

【专利技术属性】
技术研发人员：西村纯，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：