颜色恒常性的多假设分类制造技术

一种用于估计源图像的场景照明颜色的设备，所述设备用于：确定一组候选光源，并且针对每个所述候选光源，确定所述源图像的相应校正；针对每个所述候选光源，对所述源图像应用所述相应校正，以形成相应的一组校正图像；针对所述一组校正图像中的每个校正图像，实施训练数据驱动模型以估计所述相应校正图像的相应非彩色概率；以及基于对所述一组校正图像的所述估计的非彩色概率，获得所述源图像的所述场景照明颜色的最终估计。这种方法可以评估多个候选照明以确定所述场景照明颜色的估计，这可以在校正场景照明时提高图像质量，从而在目标图像中实现自然图像外观。标图像中实现自然图像外观。标图像中实现自然图像外观。

【技术实现步骤摘要】
【国外来华专利技术】颜色恒常性的多假设分类


[0001]本专利技术涉及为了对数字图像执行自动白平衡(Auto White Balancing，AWB)而准确地估计场景照明颜色。

技术介绍

[0002]数码相机拍摄的图像的颜色受场景中主要光源颜色的影响。考虑场景光源的影响并生成规范外观的图像(就像在非彩色光源下拍摄的图像一样)是数字摄影管道的重要组成部分。这个问题称为颜色恒常性，因为对于人类观察者来说，尽管物体被不同的光源照射，但物体的颜色通常看起来是不变的。实现这种效果的计算方法称为自动白平衡(Auto White Balancing，AWB)。
[0003]AWB的问题变成以下问题：估计场景的照明颜色，并调整图像的颜色以使其看似就像在非彩色(白色)光源下拍摄的图像。
[0004]三色光敏传感器响应以标准方式建模，使得：
[0005]ρ
k
(X)＝∫
Ω
E(λ)S(λ,X)R
k
(λ)dλk∈{R,G,B}
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0006]其中ρ
k
(X)是像素位置X处的颜色通道k的强度，λ是光的波长，使得：E(λ)表示光源的光谱，S(λ,X)是像素位置X处的表面反射率，R
k
(λ)是通道k的相机光谱灵敏度(camera spectral sensitivity，CSS)，考虑了可见波长Ω的光谱。
[0007]然后计算颜色恒常性的目标变成估计全局照明颜色其中：
[0008][0009]由于在每个像素X处产生相同图像值的光源颜色和表面反射率的组合非常多，因此为方程(2)中的每个k找到是不适定的。
[0010]例如，如果在图像中呈现黄褐色布像素，则可以将其分解并解释为在黄色光源下照射的白色布对象或在白色光源下照射的黄色布对象。在现实环境下，大量此类光源颜色和物体表面的组合可导致同样的像素测量观察结果。
[0011]过去对图像光源颜色估计的研究大致可分为基于统计的方法(其采用经典的数字图像统计汇总方法)和基于学习的方法(对未知场景光源进行估计)。
[0012]当代基于学习的回归方法经过优化，可以学习所考虑的特定目标任务的图像特征，对于光源估计，这构成了学习从输入图像直接到全局场景照明颜色的映射。就推理准确度而言，卷积神经网络式模型目前可以被认为是场景光源估计的最新技术。
[0013]然而，典型的回归式卷积方法会导致将输入图像仅映射到学习模型的目标空间中的单一颜色。即使在拍摄时现实环境中是全局场景光源的假设合理成立的情况下，根据定义，此类推理也必须折叠为光源颜色空间中的单点估计。因此，如果多个场景照明颜色可以合理地解释图像中记录的像素观察结果，则标准回归方法将无法识别或解释这一点。
[0014]此外，在标准回归方法中，没有提供关于所做出的特定光源推理的置信度的标志或指示。这是有问题的，因为在许多领域中，能够指示和推理其自身推理确定性的计算方法
可以被认为具有很高的实用性。
[0015]对于学习颜色恒常性，新数据的捕获和标注可以被认为是成本高昂(半手动)且耗时的过程。因此，各个相机的可用数据集通常很小(大约有数百或数千张图像)。增加可用数据的一种方法是组合由不同设备捕获的数据集。然而，由于影响学习目标的相机色彩空间之间存在(通常是细微的)差异，盲目尝试额外添加由不同传感器或相机捕获的图像可能会导致灾难性干扰或灾难性遗忘。这种组合可能会影响对由最初考虑的以及额外增加的传感器或相机捕获的图像的推理性能。
[0016]需要开发一种能解决这些问题的颜色恒常性方法。

技术实现思路

[0017]根据第一方面，提供了一种用于估计源图像的场景照明颜色的设备，所述设备用于：确定一组候选光源，并且针对每个所述候选光源，确定所述源图像的相应校正；针对每个所述候选光源，对所述源图像应用所述相应校正，以形成相应的一组校正图像；针对所述一组校正图像中的每个校正图像，实施训练数据驱动模型以估计所述相应校正图像的相应非彩色概率；以及基于对所述一组校正图像的所述估计的非彩色概率，获得所述源图像的所述场景照明颜色的最终估计。
[0018]所述源图像的所述场景照明颜色的所述最终估计可以使用所述候选光源中至少两个的加权来获得。这可以提高图像质量。
[0019]所述设备可用于使用二元分类对每个校正图像的所述非彩色进行分类。这可能是对使用每个特定候选光源是否会产生良好白平衡图像进行分类的有效方式。
[0020]所述设备还可用于确定所述场景照明颜色的所述最终估计的置信值。这可能有助于提高准确性，并允许所述设备在测试时可靠地推理不确定度并标记具有挑战性的图像。
[0021]所述设备还可用于基于所述场景照明颜色的所述最终估计来变换所述源图像。所述变换后的图像可以代表所述源图像在规范光源下的场景。这会校正场景照明，从而在目标图像中实现自然的图像外观。
[0022]所述一组候选光源可以通过在光源空间中以均匀间隔采样来确定。所述一组候选光源可以通过K
‑
均值聚类来确定。所述一组候选光源可以使用高斯混合模型来确定。以这些方式确定的所述一组候选光源可以代表现实环境中可能的光源颜色的空间，如所考虑的传感器所观察到的。这可以允许所述设备获得一组用于所述光源空间的代表性候选光源。
[0023]学习的数据驱动模型可以使用由至少两个相机捕获的一组训练图像来进行训练。因此所述设备可以利用相机间数据集来训练相机无关模型并提高鲁棒性。
[0024]所述训练数据驱动模型可以是卷积神经网络。这可能是一种方便的实现方式。
[0025]根据第二方面，提供了一种用于估计源图像的场景照明颜色的方法，所述方法包括以下步骤：确定一组候选光源，并且针对每个所述候选光源，确定所述源图像的相应校正；针对每个所述候选光源，对所述源图像应用所述相应校正，以形成相应的一组校正图像；针对所述一组校正图像中的每个校正图像，实施训练数据驱动模型以估计所述相应校正图像的相应非彩色概率；以及基于对所述一组校正图像的所述估计的非彩色概率，获得所述源图像的场景照明颜色的最终估计。
[0026]所述源图像的所述场景照明颜色的所述最终估计可以使用所述候选光源中至少
两个的加权来获得。这可以提高图像质量。
[0027]所述训练数据驱动模型可以使用由至少两个相机捕获的一组图像来进行训练。因此所述方法可以利用相机间数据集来训练相机无关模型并提高鲁棒性。
[0028]所述训练数据驱动模型可以是卷积神经网络。这可能是一种方便的实现方式。
附图说明
[0029]现将参考附图通过示例的方式对本专利技术进行描述。在附图中：
[0030]图1在概念上示出了本文所述的自动白平衡方法；
[0031]图2示出了用于预测候选光源校正图像的非彩色概率的卷积神经网络的结构规范的示例；
[0032]图3示出了用于估计源图像的场景照明颜色的方法的示例；本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于估计源图像的场景照明颜色的设备(401)，其特征在于，所述设备用于：确定(301)一组候选光源，并且针对每个所述候选光源，确定所述源图像的相应校正；针对每个所述候选光源，对所述源图像应用(302)所述相应校正，以形成相应的一组校正图像(101、102、103)；针对所述一组校正图像中的每个校正图像，实施(303)训练数据驱动模型以估计所述相应校正图像的相应非彩色概率；基于对所述一组校正图像的所述估计的非彩色概率，获得(304)所述源图像的所述场景照明颜色的最终估计。2.根据权利要求1所述的设备，其特征在于，所述源图像的所述场景照明颜色的所述最终估计使用所述候选光源中至少两个的加权来获得。3.根据上述权利要求中任一项所述的设备，其特征在于，所述设备用于使用二元分类对每个校正图像的所述非彩色进行分类。4.根据上述权利要求中任一项所述的设备，其特征在于，所述设备还用于确定所述场景照明颜色的所述最终估计的置信值。5.根据上述权利要求中任一项所述的设备，其特征在于，所述设备还用于基于所述场景照明颜色的所述最终估计来变换所述源图像。6.根据权利要求5所述的设备，其特征在于，所述变换后的图像代表所述源图像在规范光源下的场景。7.根据上述权利要求中任一项所述的设备，其特征在于，所述一组候选光源通过在光源空间中以均匀间隔采样来确定。8.根据权利要求1至6中任一项所述的设备，其特征在于，所述一组候选光源通过...

【专利技术属性】
技术研发人员：丹尼尔，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：