一种场景自适应的色调迁移方法技术

本发明专利技术公开了一种场景自适应的色调迁移方法，首先将执行色调迁移的图像转换到LAB颜色空间，进而使用基于累计直方图分布的非线性映射算法对辐照度进行迁移；然后使用线性蒙特卡罗仿射变化算法对色度进行迁移；针对图像内容显著不同的情况，执行基于监督的前后背景分割过程，进而针对源图像和目标图像的前后背景相应进行映射；最后，添加目标图像和源图像的权重调节，使色调迁移结果同时保持源图像的色调特征和目标图像的色调特征。本方法由于能够考虑到了图像的内容分布不同而执行自适应聚类，因此在不同的输入下都能具有鲁棒、高质量的迁移结果。除此之外，该方法能够实现无监督执行，自动化程度高，适用于影视后期处理、图像序列色调配准等领域。

【技术实现步骤摘要】

本专利技术属于虚拟现实
，具体涉及一种场景自适应的色调迀移方法。
技术介绍
如何获得使目标图像在无监督条件下高效真实的具有源图像的颜色分布特征是 影视制作、电脑动画和广告传媒等领域所普遍面临的问题，一条行之有效却鲜有人提及的 方案是利用自适应的色调迀移算法执行目标图像和源图像之间的颜色自动迀移和匹配。本 专利技术正是基于这种方案提出的一种场景自适应的色调迀移方法。 色调迀移是指将源图像的色调特征映射到目标图像上，包含了图像的辐照度特征 和色度特征，是影响场景风格和内容的重要因素。 通过提取并映射源图像中的色调特征，即可使用这些数据来完成源图像色调到目 标图像色调的迀移。非线性映射类算法如累计直方图分布能够更好的表现出图像的细节但 是依赖于图像的色调分布，对图像内容不太强调的利用简单统计特征的方法不能充分表达 图像内容。针对这两类方法的适用环境，本专利技术综合两类方法的优势，在各种极端的输入下 获得鲁棒的自适应迀移结果。目前很少有方案综合非线性映射算法和简单统计特征方法的优势，一个相近的工 作是Bonneel等人提出的色调迀移模型，他们对辐照度通道使用累计直方图映射，从而使 辐照度更好的体现源图像的细节；对色度通道使用蒙特卡罗仿射映射，从来使色度分布不 依赖于图像的内容。然而，该模型仅仅对辐照度通道使用三等分亮度带的方式，使得对于源 图像和目标图像具有明显不同的辐照度分布时会出现不理想的差错。 本专利技术提出的场景自适应的色调迀移方法完全解决了现有方法所存在的主要问 题。通过对图像内像素的辐照度通道进行聚类，自适应的将辐照度划分成若干个不等数目 像素的亮度带，进而在源图像和目标图像间相应亮度带之间进行色调迀移可以解决现有方 法在图像间的分布显著不同时不能有效处理的问题；同时针对典型的色调迀移方法得到 的色调迀移结果仅保留源图像的色调特征，本专利技术提出一种动态权重调节模型能够使迀移 结果同时保持源图像和目标图像的特征，对于场景融合等应用有了更广泛的应用性和适用 性。
技术实现思路
本专利技术的目的是解决在影视制作、电脑动画和广告传媒等领域难以实现的无监督 且高效、鲁棒的色调迀移问题，提出了一种场景自适应的色调迀移方法，可以实现源图像的 图像特征到目标图像的无监督高效迀移，并能根据需要动态的调整色调迀移结果。 为完成本专利技术的目的，本专利技术采用的技术方案是：一种场景自适应的色调迀移方 法，包括以下步骤： (1)将源图像和目标图像转换至LAB颜色空间； (2)通过执行累计直方图非线性映射来匹配源图像和目标图像之间的辐照度分 布；标准直方图迀移函数定义为Lt= H 1CT1);其中操作符H表示归一化的辐照度累计分布 函数，T1代表目标图像中某像素在L通道下的累计概率分布值，L ,表示表示辐照度迀移后 的值； (3)通过执行线性蒙特卡罗线性映射算法来匹配目标图像和源图像的色度分布； 在辐照度迀移的基础上，利用K-medoids算法将源图像和目标图像依照辐照度值分别聚类 成不同的亮度带；进而，在每一个聚类点集中选择相应的代表点；此时的聚类结果被视作 源图像和目标图像的初始分类；经过K-medoids算法聚类之后，聚类结果被保存在二元组 ，其中f表示辐照度代表点向量，f表示各聚类点集的像素数目，m表示聚类数 目；基于f向量，聚类点集频数低于阈值σ的点集将会与它临近的点集进行合并；基于f 向量，通过计算每个聚类C的类内辐照度平均距离d(C)同时合并d(C)低于阈值的类；至 此，则分别获得了源图像和目标图像的最终聚类，并将它们作为最终的亮度带划分； 进而以计算出的亮度聚类为基础在源图像和目标图像之间相应辐照度带之间进 行配对，然后依据亮度带划分的像素带为基础，在相应的像素带对之间再次执行色度变换； 通过计算各个亮度带在LAB空间的a和b通道的平均值，a和b通道的平均值构成了一个平 均值向量[μ a，μ Jt和一个2x2的方阵T st;进而通过对目标图像的色度通道值a JP b屢 行蒙特卡罗线性变换，得到at'和bt' ；蒙特卡罗线性变换算法的公式如下所示： 其中μ as和μ bs表示源图像a和b通道的平均值；μ at和μ bt表示目标图像中a 和b通道的平均值，Tst表示色度变换矩阵，T st定义如下所示： 其中Σ 3ΡΣ汾别表示源图像和目标图像的协方差矩阵； (4)、经过步骤（2)和（3)的算法处理，继而将辐照度迀移结果和色度迀移结果分 别作为LAB颜色空间中的L通道和AB通道合成为最终的色调迀移图像； (5)为了进一步实施真实感场景融合，添加权重调节，使结果图像依照权重同时保 持源图像和目标图像的颜色特征。 其中，辐照度迀移执行时，事先需要提取原图像和目标图像的辐照度数据。之后针 对辐照度数据，通过实现标准累计直方图分布算法来匹配源图像和目标图像之间的辐照度 分布。图像的辐照度计算通过将输入图像的颜色空间转换到LAB颜色空间，图像像素的L 通道值即为相应的辐照度值。特别的，当累计分布函数不可逆时，通过利用累计分布函数的 广义逆实施这种变换。同时针对输入图像对具有明显的噪声或具有显著不同直方图分布的 情况，采用一些滤波算法对其进行预处理。 其中，通过使用线性蒙特卡罗线性映射算法来匹配目标图形和源图像的色度分 布。在辐照度迀移的基础上，利用K-medoids算法将源图像和目标图像分别聚类成不同的 亮度带。进而，我们在每一个聚类点集中选择相应的代表点。此时的聚类结果被视作源图 像和目标图像的初始分类。经过K-medoids算法聚类之后，通过计算每个聚类的类内辐照 度平均距离后合并平均距离低于指定阈值的类。至此，我们分别获得了源图像和目标图像 的最终聚类，并将它们作为最终的亮度带划分。进而在源图像和目标图像之间相应辐照度 带之间进行配对，然后在相应的亮度带对之间进行变换。 其中，针对源图像具有显著局部对比的情况，需要对源图像和目标图像进行前后 背景分割后实施区域映射。首先提取初始蒙版，利用一系列的局部分类器来分类输入图像 局部特征，进而通过各种分类器的协作提取出前景物体。进而通过腐蚀和膨胀操作对初始 的蒙版进一步精化，通过求解稀疏线性方程系统可以获得全局最优化的蒙版。 其中，针对传统的色调迀移图像仅和源图像的色调保持一致，为了进一步实施真 实感场景融合，需要添加权重调节，使结果图像依照权重同时保持源图像和目标图像的颜 色特征。其中源图像和目标图像的差异通过辐照度和色度差异两部分进行建模，同时辐照 度和色度差异分别是在相应的亮度聚类间进行建模计算，之后通过加权整合差异。 本专利技术的原理在于： 基于图像的辐照度累积直方图非线性变换，实现源图像到目标图像间的辐照度映 射从而保留源图像的辐照度细节。利用基于辐照度的亮度聚类，将图像自适应的划分成若 干亮度带，进而在源图像和目标图像相应的亮度带之间通过线性蒙特卡罗线性映射进行色 度迀移，可以得到更加准确、鲁棒的色度迀移结果。利用前后背景分割实现前后背景分离迀 移，可以在源图像具有显著的局部色调对比的情况下获得准确的色调迀移结果。利用源图 像和目标图像的权重调节色调迀移结果，使迀移结果根据需要同时保持源图像和目标图像 的特征。 与现有技术相比，本专利技术的有益效果是： (1)使用辐照本文档来自技高网...

【技术保护点】
一种场景自适应的色调迁移方法，其特征在于包括如下步骤：(1)将源图像和目标图像转换至LAB颜色空间；(2)通过执行累计直方图非线性映射来匹配源图像和目标图像之间的辐照度分布；标准直方图迁移函数定义为Lt＝H‑1(Tl)；其中操作符H表示归一化的辐照度累计分布函数，Tl代表目标图像中某像素在L通道下的累计概率分布值，Lt表示表示辐照度迁移后的值；(3)通过执行线性蒙特卡罗线性映射算法来匹配目标图像和源图像的色度分布；在辐照度迁移的基础上，利用K‑medoids算法将源图像和目标图像依照辐照度值分别聚类成不同的亮度带；进而，在每一个聚类点集中选择相应的代表点；此时的聚类结果被视作源图像和目标图像的初始分类；经过K‑medoids算法聚类之后，聚类结果被保存在二元组中，其中表示辐照度代表点向量，表示各聚类点集的像素数目，m表示聚类数目；基于向量，聚类点集频数低于阈值σ的点集将会与它临近的点集进行合并；基于向量，通过计算每个聚类C的类内辐照度平均距离d(C)同时合并d(C)低于阈值的类；至此，则分别获得了源图像和目标图像的最终聚类，并将它们作为最终的亮度带划分；进而以计算出的亮度聚类为基础在源图像和目标图像之间相应辐照度带之间进行配对，然后依据亮度带划分的像素带为基础，在相应的像素带对之间再次执行色度变换；通过计算各个亮度带在LAB空间的a和b通道的平均值，a和b通道的平均值构成了一个平均值向量[μa，μb]T和一个2x2的方阵Tst；进而通过对目标图像的色度通道值at和bt实行蒙特卡罗线性变换，得到at’和bt’；蒙特卡罗线性变换算法的公式如下所示：at′bt′=Tstat-μatbt-μbt+μasμbs]]>其中μas和μbs表示源图像a和b通道的平均值；μat和μbt表示目标图像中a和b通道的平均值，Tst表示色度变换矩阵，Tst定义如下所示：Tst=Σt-1/2(Σt-1/2ΣsΣt-1/2)1/2Σt-1/2]]>其中∑s和∑t分别表示源图像和目标图像的协方差矩阵；(4)经过步骤(2)和(3)的算法处理，继而将辐照度迁移结果和色度迁移结果分别作为LAB颜色空间中的L通道和AB通道合成为最终的色调迁移图像；(5)为了进一步实施真实感场景融合，添加权重调节，使结果图像依照权重同时保持源图像和目标图像的颜色特征；源图像S和目标图像T的辐照度差异通过如下公式定义：CL(S,T)=Σm||μSlm-μTlm||2]]>其中m表示亮度带的数目，和分别表示位于S和T中第m个亮度带的辐照度平均值；源图像S和目标图像T的色度差异通过如下公式定义：Cab(S,T)=Σmtr(ΣSm+ΣTm-2(ΣSm1/2ΣTmΣSm1/2)1/2)+||μSabm-μTabm||2]]>其中m表示亮度带的数目，和分别表示S中第m个亮度带的协方差矩阵和色度平均值；相应的，定义和分别表示T中第m个亮度带的协方差矩阵和色度平均值。...

【技术特征摘要】

【专利技术属性】
技术研发人员：周忠，吴威，冯亚男，余涛，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11