用于编码和解码数字图像或视频流的方法和装置制造方法及图纸

本发明专利技术涉及用于编码和/或解码数字图像或视频流的方法和装置，其中编码装置(1100)包括处理部件(1110)，处理部件(1110)被配置用于读取所述图像(f)的一部分、计算图像的像素值之间的差值、量化这种像素差值以获得经量化的权重图(W)、基于经量化的权重图计算由指示图像的所述部分的对应像素是否是边缘的元素(f'i)组成的边缘图(f')、基于边缘图(f')确定重构的权重图(W')、基于重构的权重图(W')确定图变换矩阵(U)、基于图变换矩阵(U)和图像(f)的所述部分计算变换系数(f^)、发送所计算的变换系数(f^)和边缘图(f')。

【技术实现步骤摘要】
【国外来华专利技术】用于编码和解码数字图像或视频流的方法和装置
本专利技术涉及用于编码和/解码数字图像的方法和装置；特别是用于借助于所谓的基于图的变换来编码和/解码数字图像的方法和装置。
技术介绍
离散余弦变换(DCT)是用于基于块的图像和视频压缩的最常见变换(参见K.Sayood，Introductiontodatacompression，Newnes，2012)；事实上，DCT是流行的视频编码标准的基础，诸如MPEG-2(用于例如地面和卫星标准清晰度视频广播和DVD存储格式)、H.264/AVC(用于高清晰度视频广播、经IP网络的流传输以及蓝光盘)以及最近标准化的H.265/HEVC(预计在上述场景中取代H.264/AVC)。DCT的一个主要缺点是，当块包含不连续(discontinuity)时，所得到的变换系数不是稀疏的，并且高频系数可能具有大的量值。这导致较高的位速率或在不连续周围有重建伪像。最近，已经提出了基于图的做法，根据这种基于图的做法，高维度数据自然地驻留在图的顶点上并且它们可以被可视化为定义为图信号的样本的有限集，其中在图的每个顶点处有一个样本(参见D.I.Shuman，S.K.Narang，P.Frossard，A.Ortega和P.Vandergheynst，“Theemergingfieldofsignalprocessingongraphs:Extendinghigh-dimensionaldataanalysistonetworksandotherirregulardomains”，信号处理杂志，IEEE，第30卷，第3期，第83-98页，2013)。在过去的几年中，研究人员已经研究了如何在图域中应用经典的信号处理技术。已经开发出了用于在图域中滤波、平移、调制和下采样的技术。还已经提出了几种图变换(graphtransform)，诸如图傅立叶变换(G.Taubin，“Asignalprocessingapproachtofairsurfacedesign”，计算机图形和交互技术第22届年会论文集，ACM，1995，第351-358页)。一般而言，虽然已经表明图变换比常规的基于块的变换更高效，但图传输的开销可以轻易地掩盖编码效率的益处。因此，非常重要的是设计出在必须将图传送到解码器时仍然高效的图表示和对应的图变换。Sandryhaila等人在ICIP2012论文集中发表的“Nearest-neighborimagemodel”中提出将图像表示为节点和弧的图，其中确定弧权重以使接收器处的预期失真最小化。但是，这个文章没有教导如何压缩权重图，这导致难以在真实世界环境中应用这种技术。在美国专利申请No.US2011/206288A1中，Ortega等人描述了使用基于图的像素预测的图像编码和解码系统。这个文档教导如何通过预测器选择来编码和解码图片，但它没有教导如何压缩权重图，这导致难以在真实世界环境中应用这种技术。Kim、Narang和Ortega在ICIP2012论文集中发表的“Graphbasedtransformsfordepthvideocoding”中提出寻找最佳邻接矩阵并使用基于上下文的自适应二值化算术编码按照固定次序对其进行压缩；但是，他们的文章也没有教导如何压缩权重图，这导致难以在真实世界环境中应用这种技术。Narang、Chao和Ortega在APSIPA2013论文集中发表的“Criticallysampledgraph-basedwavelettransformforimagecoding”中提出将图像编码为二值化的未加权图并使用尺寸为(2N-1)×(N-1)的JBIG对其进行编码，其中N是原始图像中的像素数量。这种编码方案产生具有高级别的编码噪声的图像，因为二值化的未加权图限制了可以被编码的信息量。为了更好地理解现有技术的局限性，下面提供基于图的编码-解码图像系统如何工作的简要描述。根据现有技术的基于图的编码-解码系统的体系架构按照其基本功能单元被示出在图1中。参考图1，假设图像f(或其块)具有等于的宽度和高度，使得它包括N个像素此外，假设f被编码为每像素8位的灰度级图像，并且f也可以由顶点和弧的图(V，A)表示，其中V是图像的像素，并且A是连接像素的弧，如根据一些适当的标准定义的。描述图像像素的图可以被表示为N×N矩阵(即，具有N2个元素的矩阵)，其被称为权重矩阵，如稍后讨论的。图1例示了基于图变换的图像编码器150和图像解码器170，其目的在于示出关于权重矩阵W*的传输/存储的当前技术状态的限制。编码器150至少包括权重图生成单元100、图拉普拉斯(graphLaplacian)单元110和图变换单元120。权重图生成单元100以所述N像素图像f作为输入，并生成如下所述的那样计算的N×N权重矩阵W*。为了描述如何计算权重矩阵W*，假设di，j表示图像f的第i个像素fi和第j个像素fj之间在灰度级空间中的距离，例如di，j可以计算为像素fi和fj的值之间的绝对差：di，j＝|fi-fj|此外，假设借助于以下公式计算权重矩阵W*的每个元素：结果，如果fi和fj是相似的像素，那么连接像素fi和fj的图弧的权重(即，wi，j)的值将会接近1(“高”弧权重)，而如果fi和fj不相似，那么wi，j将接近0(“低”弧权重)。图拉普拉斯单元110生成以权重矩阵W*作为输入的变换矩阵U。这个单元被配置用于读取W*并计算具有N×N维度的对角矩阵E，使得其对角线的第i个元素等于如W＊中所描述的进入第i个像素的所有弧的所有权重之和；因此，E以矩阵符号定义，如下所示：E＝diag(W＊·V1)在已经计算出对角矩阵E的至少一部分之后，该单元计算矩阵L(具有N×N维度)作为对角矩阵E与权重矩阵W＊之间的差，即，矩阵L是W＊的拉普拉斯算子。这个计算步骤以矩阵符号总结，如下所示。LE-W*最后，该单元计算被称为变换矩阵的N×N矩阵U，其中U的行是L的特征向量，即，U的行是允许对角化L的向量。图变换单元120以图像f(其被认为是N×1的向量)和变换矩阵U作为输入，并且经由矩阵乘法来计算N×1个系数向量f^f^＝U·f然后，编码器通过带宽受限的信道将变换矩阵U(或者，可替代地，可以用于计算U的权重矩阵W＊)和系数向量f^发送到接收器节点，或者将它们存储在存储器支持上以备后用，例如用于解码目的。解码器170至少包括图拉普拉斯单元110和逆图变换单元180，逆图变换单元180被配置用于从存储设备或经由通信信道读取权重矩阵W和系数向量f^这两者。为了简单起见，我们假设解码器170可用的W＊和f^均与编码器150生成的W＊和f^完全相同，因为在实际应用中采取了足够的措施来最小化在从编码器到解码器的信息传送期间发生的读/写或信道错误。在功能上类似于在发送器侧找到的对等部分的图拉普拉斯单元110以权重矩阵W＊作为输入并且如上面针对编码器对等部分所描述的那样生成变换矩阵U。逆图变换单元180以U和f^作为输入并恢复原始图像f。为了执行这个任务，单元180通过生成N×N逆变换矩阵U-1在内部对矩阵U求逆，在当前情况下，U-1等于转置矩阵UT，因为U由W'的拉普拉斯矩阵的特征向量组成；之后，该单元经由以下被称为逆图傅本文档来自技高网...

【技术保护点】
一种用于编码数字图像的装置(1100)，包括‑输入部件(1170)，被配置用于从源(1000)获取图像(f)的至少一部分，‑输出部件(1180)，被配置用于将编码图像的至少一部分发送到目的地(1200)，‑处理部件(1110)，被配置用于读取所述图像(f)的至少一部分，其特征在于处理部件(1110、1120、1150)还被配置用于‑计算至少所述图像的所述部分的每个像素值与同一部分的其它像素的每个值之间的差值，‑通过基于量化信息量化所述差值来确定经量化的像素差值，‑基于所述经量化的像素差值确定权重图(W)，‑计算由指示图像的所述至少一部分的对应的像素是否是边缘的元素(f'i)组成的边缘图(f')，其中所述元素中的每个元素基于与对应于该元素的图像像素和与对应于该元素的所述图像像素邻接的至少一个图像像素相关联的所述权重图(W)的值而被标记为边缘(“b”)或非边缘(“w”)，‑基于边缘图(f')确定重构的权重图(W')，‑确定从所述重构的权重图(W')导出的图变换矩阵(U)，‑基于所述图变换矩阵(U)和图像(f)的所述部分来确定变换系数(f^)，‑借助于输出部件(1180)将所计算的变换系数(f^)和所述边缘图(f')发送到所述目的地(1200)。...

【技术特征摘要】
【国外来华专利技术】2015.09.18 IT 1020150000531321.一种用于编码数字图像的装置(1100)，包括-输入部件(1170)，被配置用于从源(1000)获取图像(f)的至少一部分，-输出部件(1180)，被配置用于将编码图像的至少一部分发送到目的地(1200)，-处理部件(1110)，被配置用于读取所述图像(f)的至少一部分，其特征在于处理部件(1110、1120、1150)还被配置用于-计算至少所述图像的所述部分的每个像素值与同一部分的其它像素的每个值之间的差值，-通过基于量化信息量化所述差值来确定经量化的像素差值，-基于所述经量化的像素差值确定权重图(W)，-计算由指示图像的所述至少一部分的对应的像素是否是边缘的元素(f'i)组成的边缘图(f')，其中所述元素中的每个元素基于与对应于该元素的图像像素和与对应于该元素的所述图像像素邻接的至少一个图像像素相关联的所述权重图(W)的值而被标记为边缘(“b”)或非边缘(“w”)，-基于边缘图(f')确定重构的权重图(W')，-确定从所述重构的权重图(W')导出的图变换矩阵(U)，-基于所述图变换矩阵(U)和图像(f)的所述部分来确定变换系数(f^)，-借助于输出部件(1180)将所计算的变换系数(f^)和所述边缘图(f')发送到所述目的地(1200)。2.如权利要求1所述的编码装置(1100)，其中处理部件(1110、1150)还被配置用于基于图像的所述部分的每个像素的值与邻接像素的每个值之间的差来确定权重图(W)，其中所述邻接像素是在所述像素的顶部、左侧、底部和右侧的像素。3.如权利要求1或2所述的编码装置(1100)，其中处理部件(1110、1150)还被配置为借助于柯西函数确定权重图(W)的元素。4.如权利要求1至3中任一项所述的编码装置(1100)，其中处理部件(1110、1150)还被配置用于通过基于量化信息将权重图(W)的每个元素映射到仅两个可能的符号来计算边缘图(f')，其中量化信息包括阈值和分别与所述两个符号相关联的两个值。5.如权利要求4所述的编码装置(1100)，其中处理部件(1110、1150)被配置用于至少确定所述两个符号的值，以最小化权重图(W)与经量化的差值之间的平方重构误差。6.如前述权利要求中任一项所述的编码装置(1100)，其中处理部件(1110、1150)还被配置用于处理边缘图(f')，以删除没有近邻边缘的孤立边缘。7.如权利要求1至6中任一项所述的编码装置(1100)，其中处理部件(1110、1120)还被配置用于通过计算所述重构的权重图(W')的图拉普拉斯矩阵的特征向量来确定所述图变换矩阵(U)。8.如前述权利要求中任一项所述的编码装置(1100)，其中处理部件(1110、1120)还被配置用于针对边缘图(f')的每个元素，基于所述元素的至少两个近邻来计算所述重构的权重图(W')的行和/或列的至少一部分。9.如权利要求8所述的编码装置(1100)，其中所述至少两个近邻位于边缘图(f')的所述元素的右侧和底部。10.如前述权利要求中的任一项所述的编码装置(1100)，其中处理部件(1110、1120)被配置用于通过基于在边缘图(f')中作为所述图像的两个给定像素之一的水平和/或垂直近邻的边缘的数量向表示所述两个给定像素之间的相似性的权重(w＇ij)分配较高的值(M)或较低的值(m)，从边缘图(f')导出所述重构的权重图(W')。11.一种用于解码数字图像的装置(1300)，包括-输入部件(1380)，被配置用于从通信信道或存储介质(1200)获取图像(f)的经压缩的至少一部分，-输出视频部件(1370)，被配置用于输出重构图像(f～)，-处理部件(1305)，被配置用于通过输入部件(1380)接收变换系数(f^)，其特征在于处理部件(1305、1310、1320、1330)还被配置用于-通过输入部件(1380)接收针对图像的每个像素表示该像素是否是边缘的边缘图(f')，-基于所述边缘图(f')确定重构的权重图(W')，-基于所述重构的权重图(W')确定逆图变换矩阵(U-1)，-基于逆图变换矩阵(U-1)和变换系数(f^)计算重构图像(f～)，-通过所述输出视频部件(1370)输出所述重构图像(f～)。12.如权利要求11所述的解码装置(1300)，其中处理部件(1305、1320)还被配置用于针对边缘图(f')的每个元素，基于所述元素的至少两个近邻来计算所述重构的权重图(W')的行和/或列的至少一部分。13.如权利要求12所述的解码装置(1300)，其中所述至少两个近邻位于边缘图(f')的所述元素的右侧和底部。14.如权利要求11至13中任一项所述的解码装置(1300)，其中处理部件(1305、1320)还被配置用于通过基于在边缘图(f')中作为所述图像的两个给定像素之一的水平和/或垂直近邻的边缘的数量向表示所述...

【专利技术属性】
技术研发人员：G·弗拉卡斯托罗，E·麦格丽，
申请(专利权)人：西斯维尔科技有限公司，
类型：发明
国别省市：意大利,IT