描述了针对视频编码和处理应用的光照补偿参数推导和光照主转变类型的确定。检测光照变化如淡入、淡出、交叉淡入淡出和闪光等。然后将这些光照变化的检测用于加权预测以提供改善了的光照补偿。
【技术实现步骤摘要】
【国外来华专利技术】用于视频编码和处理的光照补偿和转变的方法及系统相关申请的交叉引用本申请要求于2010年9月3日提交的美国临时专利申请No.61/380,111的优先权，出于所有目的将其全部内容通过引用合并到本申请中。
本专利技术一般涉及图像处理。更具体地，本专利技术的实施例涉及针对视频编码和处理的光照补偿参数推导以及光照主转变类型检测。
技术介绍
视频信号的从一个画面到下一个画面的转变经常表征为：新画面相对于先前画面的可能经历了压缩或处理操作的运动、对象或对象的一部分的出现或消失，或新场景的完全出现，使得先前编码的、处理的、或原始的画面不太适合用作预测参考。可以使用运动补偿（帧间预测的特殊情况）和帧内预测来对这些事件的大多数进行建模。运动补偿用于使用一个或多个先前编码的画面中的样本对当前画面中的样本进行预测。更具体地，在基于块的运动补偿中，根据来自一些已经解码的参考画面的样本块预测当前画面中的样本块。已经解码的参考画面称为预测块。预测块可以像一些先前编码画面中的布置块（collocatedblock）一样简单，其与全零运动向量对应。但是为了说明运动，传输以下运动向量：该向量指导解码器使用与正在被预测的块较为匹配的一些其他的、位移的块。该运动模型能够像平移运动模型（其中运动参数由水平和竖直位移运动向量组成）一样简单，或像需要6或8个运动参数的仿射运动模型或透视运动模型一样复杂。更复杂的运动补偿方案还可以产生预测块，预测块是与不同的运动参数对应的多个块的组合。但是，视频信号还包含不能有效地通过运动补偿（帧间预测）或帧内预测来建模的全局或局部光照变化。这些光照变化通常被发现为淡入淡出（fade）、交叉淡入淡出（cross-fade）、闪光和其他局部光照变化，其例如可以由多个光源的存在而引起。加权预测（WP），例如，光照补偿能够有益于对于淡入淡出、交叉淡入淡出、闪光和其他局部光照变化的预测效率。加权预测包括：将颜色分量样本（例如，亮度样本和/或色度样本）与增益加权（相乘），再通过加上附加的偏移进一步增大。请注意，在本公开内容中，可以将颜色参数或颜色分量用于指代包括颜色域或空间的各个分量。还请注意，在一些域或空间中，颜色分量可以包括与强度有关的分量和与颜色有关的分量。与强度有关的分量可以包括一个或多个亮度值，并且与颜色有关的分量可以包括一个或多个色度值。现有技术中的编解码器如H.264/AVC支持可能位于许多可能的颜色空间/域之一中的样本的加权预测。加权预测还具有时间预滤波和后滤波用途，其能够用于减小传感器噪声、压缩或其他失真和时域闪烁/不一致等。实践中，负责光照变化的图像处理操作可以不必在用于压缩或处理图像的域例如YCbCr中发起。受实验发现支持的直觉显示：这些操作通常在一些其它域中进行，通常是sRGB域（sRGB是广泛地用于PC和数字相机的RGB颜色空间），其也接近于人类对颜色信息的感知观念。注意，存在转换至RGB颜色空间或由RGB颜色空间转换的许多可能的YCbCr转换公式。此外，必须说明在产生光照变化的操作之前或之后已经被伽马校正了的RGB值的问题。除了由处理（主要是淡入淡出和交叉淡入淡出）产生的光照变化以外，还存在作为内容的一部分的光照变化，例如全局或局部的闪光、来自闪光灯和灯具的改变的光照、以及偏移自然光照等。通过某种加权预测参数搜索/估计（WP搜索）来导出加权预测参数例如增益w和偏移f，其用于根据样本p对样本s进行光照补偿s＝w×p+f。在其最直接和最高复杂度形式中，可以使用暴力（bruteforce）搜索方案，该方案考虑了在某个受限窗口内的增益和偏移的所有可能的组合，与暴力搜索类似，用于运动估计的全搜索方案计算光照补偿参考信号与源信号相比的失真/相似性并且选择产生最小失真的光照补偿参数。在这样的搜索期间还可以考虑运动估计和补偿。但是全搜索是计算密集的。已经提出了估计对于某个给定的块、区域或甚至是整个帧（对于全局光照补偿）的“最佳”增益和偏移的各种加权参数估计技术。例如，参见K.Kamikura,etal."GlobalBrightness-VariationCompensationforVideoCoding,"IEEETransactionsonCircuitsandSystemsforVideoTechnology，vol.8,no,8,December1998,pp.988–1000，其描述了一种提高视频场景的编码效率的全局亮度变化补偿方案，上述视频场景包含由淡入/淡出、相机光圈调节、闪烁、光照变化等引起的全局亮度变化。还参见Y.KikuchiandT.Chujoh,"Interpolationcoefficientadaptationinmulti-frameinterpolativeprediction",JointVideoTeamofISO/IECMPEGandITU-TVCEG,JVT-C103,Mar.2002以及H.KatoandY.Nakajima,"WeightingfactordeterminationalgorithmforH.264/MPEG-4AVCweightedprediction,"Proc.IEEE6thWorkshoponMultimediaSignalProc.,Siena,Italy，Oct.2004。为了最好的可能结果，如上面在参考文献中所讨论的方法必须单独地应用到每个颜色分量。加权参数搜索可能还从运动估计与补偿中受益。例如，参见J.M.Boyce,"WeightedpredictionintheH.264/MPEG-4AVCvideocodingstandard,"Proc.IEEEInternationalSymposiumonCircuitsandSystems,Vancouver，Canada,May2004,vol.3,pp.789-792。在H.264/AVC标准中，在对样本的运动补偿后接着应用加权预测以产生最终的预测样本。因此，在WP搜索期间，运动向量与加权参数之间有互依性。这可以通过进行如下的多次迭代来解决：使用某种简单算法来初始化加权参数并且使用加权参数来按比例缩放和偏移参考帧。然后将所按比例缩放并且偏移的参考帧用于产生运动向量的运动估计。可替代地，可以将对样本的按比例缩放和偏移结合到运动估计步骤中。在这样的实施中，动态（on-the-fly）考虑按比例缩放和偏移并且不需要产生加权参考的离散步骤。在第二次迭代中，在WP搜索期间使用这些运动向量以针对每个MB使用实际的预测参考块来导出WP参数。然后再一次在这之后接着生成按比例缩放和偏移的参考帧，该参考帧经历了考虑已经导出的按比例缩放和偏移的运动估计或单一的运动估计步骤。通常，如果WP参数已经会聚则这些算法终止。如上面所表示的，现有技术中已知的用于解决光照补偿的方法可能是计算地密集的，这导致图像显示的性能降低或提供所期望的性能的硬件成本增加。注意，即使可以互换地使用术语帧与画面，可互换的用途仍不应该解释为排除隔行扫描的内容如场画面。本公开内容的教示可以应用于渐进扫描的帧以及隔行扫描的场（顶部或底部）画面。附图说明结合到本说明书并且构成本说明书的一部分的附图示出了本公开内容的一个或多个实施例并且本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】2010.09.03 US 61/380,1111.一种用于在视频信号的从一个画面到下一个画面的转变中检测淡入淡出和确定所述淡入淡出的全局或局部性质的方法，所述方法包括：提供画面的多个帧和有关的预测参考帧；对于每个帧和有关的预测参考帧，计算或获得第一颜色域中的一个或多个与强度有关的值和一个或多个与颜色有关的值，其中所计算的所述一个或多个与强度有关的值和所述一个或多个与颜色有关的值包括颜色分量；对于每个帧和有关的预测参考帧，计算所述第一颜色域中的每个所计算的颜色分量值的加权预测增益，其中，根据所计算的颜色分量值中的一个颜色分量值的加权预测增益来计算颜色分量值中的另一个颜色分量值的加权预测增益；如果所述加权预测增益是全为非负并且彼此基本上相似，则确定具有零偏移的全局转变发生在第二颜色域中，其中如果所述加权预测增益在彼此的5％到10％以内，则所述加权预测增益基本上相似；以及如果所述加权预测增益不是全为非负并且彼此基本上相似，则确定以下各项中的至少一项不发生：全局淡入淡出转变；具有零偏移的全局淡入淡出转变；或在所述第二颜色域中具有零偏移的全局淡入淡出转变。2.根据权利要求1所述的方法，其中所述与强度有关的值包括一个或多个亮度值。3.根据权利要求1所述的方法，其中所述与颜色有关的值包括一个或多个色度值。4.根据权利要求1所述的方法，其中所述第一颜色域包括YCbCr域，并且使用包括以下项的值来计算所述加权预测增益：帧和所述帧的预测参考帧的亮度分量；所述帧的色度分量值；所述帧的所述预测参考帧的色度分量值，以及颜色格式转换偏移值。5.根据权利要求1所述的方法，其中所述与强度有关的值和所述与颜色有关的值包括与强度有关的平均值和与颜色有关的平均值。6.根据权利要求1所述的方法，其中所述与强度有关的值和所述与颜色有关的值是根据直方图信息来计算的。7.根据权利要求1所述的方法，其中所述多个帧包括帧序列的一部分。8.根据权利要求1所述的方法，其中所述多个帧包括被指示具有光照变化的一组帧的一部分。9.根据权利要求1所述的方法，其中限定从所述第一颜色域到所述第二颜色域的转变的颜色空间矩阵是线性的。10.根据权利要求1所述的方法，还包括：用对数换算所述加权预测增益，使所述加权预测增益具有0到1之间的值，并且通过计算所述加权预测增益值之间的差是否小于0.05或0.1来确定所述增益是...
【专利技术属性】
技术研发人员：阿萨纳西奥斯·莱昂塔里斯，亚历山德罗斯·图拉皮斯，
申请(专利权)人：杜比实验室特许公司，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。