用于对数字图像或视频流进行编码和解码的方法和装置制造方法及图纸

本发明专利技术涉及一种用于对数字图像或视频流进行编码的方法，包括：‑接收阶段，其中接收图像(f)的一部分；‑图形权重预测(GWP)阶段，其中，与涉及图像(f)的块(被预测的块)的图形相关联的权重矩阵(W)中的元素基于图像(f)中的至少一个在先前被编码的块(预测块)的被重构的、被去量化的和被逆变换的像素值来预测，所述权重矩阵(W)为包括象征了在构成所述图像(f)的一对像素之间的相似性水平的元素(wi,j)的矩阵，‑图形变换计算阶段，其中执行图像(f)的块的图形傅里叶变换，为所述块获得一组基于所预测的权重确定的系数；‑系数量化阶段，其中所述系数被量化；‑输出阶段，其中传输和/或储存包括有被变换和量化的系数的比特流。

Methods and devices for encoding and decoding digital images or video streams

【技术实现步骤摘要】
【国外来华专利技术】用于对数字图像或视频流进行编码和解码的方法和装置
本专利技术涉及对数字图像进行编码和/或解码的方法和装置；特别地，所述方法和装置借助于所谓的基于图形的变换对数字图像进行编码和/或解码。
技术介绍
对基于块的图像和视频压缩而言，离散余弦变换(DCT)是最常用的变换(见K.Sayood，Introductiontodatacompression(数据压缩简介)，Newnes出版社，2012)；实际上，离散余弦变换是流行的视频编码标准的基础，所述流行的视频编码标准比如是MPEG-2(运动图像专家组-其例如用于地面和卫星的标准清晰度视频广播并且作为DVD存储格式)、H.264/AVC(用于高清晰度视频广播，IP网络流和蓝光光盘)以及最近作为标准的H.265/HEVC(预计将会取代H.264/AVC在上述场景中的应用)。离散余弦变换DCT的主要缺点之一在于，当块包含中断，则所得变换系数不是稀疏的，并且高频系数能够具有大的幅值。这会导致较高的比特率或者在中断周围的重构假象。目前，已提出了基于图形的方法，根据该方法，高维数据自然地存在于图形的顶点上并且其能够被视为定义成图形信号的有限样本集合，其中在图形的每个定点处具有一个样本(见D.I.Shuman、S.K.Narang、P.Frossard、A.Ortega和P.Vandergheynst，“Theemergingfieldofsignalprocessingongraphs：Extendinghigh-dimensionaldataanalysistonetworksandotherirregulardomains(图形信号处理的新兴领域：将高维数据分析扩展至网络和其他不规则域)”，IEEE信号处理期刊，第30卷，第3号，第83–98页，2013)。在近些年来，研究人员已经研究了如何将经典的信号处理技术应用在图形领域中。已经开发出了在图形领域中进行滤波、变换、调制和下采样的技术。还已经提出了若干种图形变换，比如图形傅里叶变换(G.Taubin，“Asignalprocessingapproachtofairsurfacedesign(适当表面设计的信号处理方法)”，第22界计算机图形和交互技术年会的论文集，ACM，1995，第351–358页)。一般来说，虽然图形变换被证明比传统的基于块的变换更有效率，但图形传输的开销可能很容易抵消编码效率所带来的好处。因此，对于设计图形表示和相应图形变换非常重要的是，在图形被转移至解码器时同样也是高效的。Sandryhaila等人的文献(“Nearest-neighborimagemodel(最邻近的图像模型)”，在ICIP2012会议上发表)提出了将图像表示为节点和弧的图形，其中确定弧的权重从而最小化在接收器处的预期失真。然而，该论文并没有教导如何压缩图形权重，这导致在现实环境中难以应用该技术。Ortega等人的文献(US2011/206288A1)描述了一种使用基于图形的像素预测的图像编码和解码系统。该文献教导了如何通过预测器的选择来编码和解码图片，然而，该文献并没有教导如何压缩图形权重，这导致在现实环境中难以应用该技术。Kim、Narang和Ortega的文献(“Graphbasedtransformsfordepthvideocoding(用于深度视频编码的基于图形的变换)”，在ICASSP2012会议上发表)提出了寻找最佳的相邻矩阵，并且使用按照固定顺序的基于上下文的自适应二进制算术编码对其进行压缩；然而，该文献并未教导如何压缩图形权重，这导致在现实环境中难以应用该技术。W.Hu、G.Cheung、A.Ortega和O.C.Au的文献(“MultiresolutiongraphFouriertransformforcompressionofpiecewisesmoothimages(用于压缩分段平滑图像的多分辨率图形傅里叶变换)”，在IEEE图像处理期刊中公开)提出了压缩分段平滑(PWS)图像(例如，深度图或动画图像)，其中使用图形傅里叶变换(GFT)来最小化每个像素块的总信号表示成本，同时考虑信号变换系数的稀疏性以及变换描述的紧凑性。然而，该文献报告了关于自然图像的无法令人满意的结果，其中，描述图形所需的成本抵消了由自适应图形变换所提供的编码增益。G.Shen、W.S.Kim、S.K.Narang、A.Ortega、J.Lee和H.Wey的文献(“Edgeadaptivetransformsforefficientdepthmapcoding(用于有效深度图编码的边缘自适应变换)”，在图片编码研讨会议(PCS2010)上公开)提出了一种基于边缘自适应图形的变换(EATs)作为标准DCTs的替代方案，用于编码多视图视频编码系统中的视图合成的深度图。在H.264/AVC中，这些变换与DCT相结合，并且，变换模式选择算法被用于以速率-失真优化的方式在DCT和EAT之间进行选择。然而，出于与上面介绍的相同的原因，如果在自然图像上使用，该方法也会给出无法令人满意的结果。Narang、Chao和Ortega的文献(“Criticallysampledgraph-basedwavelettransformsforimagecoding(用于图像编码的基于关键采样图形的小批量变换)”，在APSIPA2013会议上公开)提出了将图形编码为二进制未加权图形并且使用尺寸为(2N-1)×(N-1)的JBIG对其进行编码，其中N是原始图像中的像素的数量。该编码方案产生了具有高水平编码噪声的图像，这是因为该二进制未加权图形限制了可被编码的信息量。G.Fracastoro、E.Magli的文献(“PredictiveGraphConstructionforimagecompression(用于图像压缩的预测图形构造)”，在IEEE关于图像处理的国际会议(ICIP)，2015，第2204-2208页)描述了一种数字图像或视频流的编码和解码系统，其使用了基于图形的像素预测。该文献教导了如何量化图形权重矩阵的每个元素，其中每个元素借助于非线性函数(例如柯西函数)来进行处理。该文献教导了如何传输像素预测边缘图，代替更加笨重的权重矩阵。无论如何，需要在解码器上发送与图形权重相关的大量信息。最近，在图形傅里叶变换(GFT)的背景下采用了帧内预测技术。对基于块的视频编码标准，比如H.264/AVC和H.265/HEVC而言，帧内预测是一种通行的工具，来自邻近块的一个或多个被解码的像素用于预测在当前块中的像素。W.Hu、G.Cheung和A.Ortega的文献(“Intra-predictionandgeneralizedgraphFouriertransformforimagecoding(用于图像编码的帧内预测和通用化的图形傅里叶变换)”，公开于IEEE信号处理期刊，第22卷，2015)提出了一种对残余像素预测的优化变换，这是基于图形傅里叶变换(GFT)的通用化版本。然而，该方法也需要在解码器处发送额外的信息，比如对象轮廓，用于识别在编码器处选择的变换和帧内预测。为了更好地理解现有技术中的限制，以下提出了关于一种基于图形的编码-解码图像系统本文档来自技高网...

【技术保护点】
1.一种用于对数字图像或视频流进行编码的方法，包括：‑接收阶段，其中接收到图像(f)的一部分；‑图形权重预测(GWP)阶段，其中，与涉及所述图像(f)的块(被预测的块)的图形相关联的权重矩阵(W)中的元素基于所述图像(f)中的至少一个在先前被编码的块(预测块)的被重构的、被去量化的和被逆变换的像素值来预测，所述权重矩阵(W)为包括象征了在构成所述图像(f)的一对像素之间的相似性水平的元素(wi,j)的矩阵，‑图形变换计算阶段，其中执行所述图像(f)的块的图形傅里叶变换，为所述块获得一组基于所预测的权重确定的系数；‑系数量化阶段，其中所述系数被量化；‑输出阶段，其中传输和/或储存包括有被变换和量化的系数的比特流。

【技术特征摘要】
【国外来华专利技术】2017.03.03 IT 1020170000242941.一种用于对数字图像或视频流进行编码的方法，包括：-接收阶段，其中接收到图像(f)的一部分；-图形权重预测(GWP)阶段，其中，与涉及所述图像(f)的块(被预测的块)的图形相关联的权重矩阵(W)中的元素基于所述图像(f)中的至少一个在先前被编码的块(预测块)的被重构的、被去量化的和被逆变换的像素值来预测，所述权重矩阵(W)为包括象征了在构成所述图像(f)的一对像素之间的相似性水平的元素(wi,j)的矩阵，-图形变换计算阶段，其中执行所述图像(f)的块的图形傅里叶变换，为所述块获得一组基于所预测的权重确定的系数；-系数量化阶段，其中所述系数被量化；-输出阶段，其中传输和/或储存包括有被变换和量化的系数的比特流。2.如权利要求1所述的编码方法，其中，至少一个预测块与被预测的块相邻，所述预测块具有至少一个边界像素，其与所述被预测的块的至少一个边界像素邻接。3.如权利要求1或2所述的编码方法，其中，与多个预测块有关的被重构的像素值用于执行图像块的所述图形权重预测(GWP)阶段。4.如权利要求1至3中任一项所述的编码方法，其中，为图像块执行多个图形权重预测(预测模式)，并且，根据选择阶段的结果来选择所述预测模式中的一个。5.如权利要求4所述的编码方法，其中，所述多个图形权重预测包括以下项：-垂直预测模式，其使用与从上方和所述被预测的块相邻的块有关的像素值，以及-水平预测模式，其使用与从左侧和所述被预测的块相邻的块有关的像素值。6.如权利要求4或5所述的编码方法，其中，所述选择阶段包括以下项中的一个：-通过在多组被量化的系数中选出对于所述块而言会产生最大数量的零系数的预测模式，从而选择预测模式；-在基于拉格朗日函数的最小化的率失真理论和优化技术中选择预测模式。7.如权利要求4至6中任一项所述的编码方法，包括发信通知阶段，其中发信通知信息(B)被插入到所述比特流中，所述发信通知信息(B)指明用于所述被预测的块的、所选择的预测模式。8.一种用于对数字图像或视频流进行解码的方法，包括：-接收阶段，其中接收被编码的比特流，所述被编码的比特流包括图像块的被量化的变换的系数；-图形权重预测(GWP)阶段，其中，与涉及所述图像的块(被预测的块)的图形相关联的权重矩阵(W)中的元素基于所述图像(f)中的至少一个在先前被编码的块(预测块)的被重构的、被去量化的和被逆变换的像素值来预测，所述权重矩阵(W)为包括象征了在构成所述图像(f)的一对像素之间的相似性水平的元素(wi,j)的矩阵；-去量化阶段，其中每个被解码的块的系数被去量化；-逆图形变换计算阶段，其中对于所述图像的块而言，执行被去量化的块的系数的逆图形傅里叶变换，从而使得所述逆图形傅里叶变换基于所述被解码的块的预测图形权重来确定；-恢复图像阶段，其中获得被重构的图像信号；以及-输出阶段，其中输出和/或储存被重构的图像。9.如权利要求8所述的解码方法，其中，至少一个预测块与被预测的块相邻，所述预测块具有至少一个边界像素，其与所述被预测的块的至少一个边界像素邻接。10.如权利要求8或9所述的解码方法，其中，与多个预测块有关的被重构的像素值用于执行图像块的所述图形权重预测(GWP)阶段。11.如权利要求8至10中任一项所述的解码方法，其中，为图像块执行多个图形权重预测(预测模式)，并且，根据选择阶段的结果来选择所述预测模式中的一个。12.如权利要求11所述的解码方法，其中，所述多个图形权重预测包括以下项：-垂直预测模式，其使用与从上方和所述被预测的块相邻的块有关的像素值，以及-水平预测模式，其使用与从左侧和所述被预测的块相邻的块有关的像素值。13.如权利要求11或12所述的解码方法，其中，所...

【专利技术属性】
技术研发人员：M·格兰齐，弗朗西斯科·韦尔多加，
申请(专利权)人：西斯维尔科技有限公司，
类型：发明
国别省市：意大利,IT