深度图像的编码、解码处理方法及装置制造方法及图纸

本发明专利技术公开了一种深度图像的编码、解码处理方法及装置，其中，该编码方法包括：确定在对深度图像进行编码过程中所采用的编码方式的标志位，编码方式包括：使用深度查找表对深度图像在所述深度查找表序号域进行编码和/或直接对深度图像在深度值域进行编码；将标志位写入码流中的以下之一位置：深度图像对应引用的视频参数集、深度图像对应引用的序列参数集、深度图像对应引用的图像参数集、深度图像对应的条带头。通过本发明专利技术解决了现有技术中在每一个块中都传输一个标识位导致的开销较大，编解码效率较低的问题，进而减少了传输标志位的开销，提高了深度图像的编解码效率。

【技术实现步骤摘要】
深度图像的编码、解码处理方法及装置
本专利技术涉及通信领域，具体而言，涉及一种深度图像的编码、解码处理方法及装置。
技术介绍
现有技术中视频编码分层结构：采用H.264/AVC以及最新的HEVC等编码标准时，一帧图像可以划分为多个条带(slice)，对每个条带分别进行编码和解码。编码条带产生条带码流，条带码流中同时包含了这个条带的一些编码参数，如该条带所引用的参数集序号等。在H.264/AVC中的分层结构中，使用了图像参数集和序列参数集两级参数集来描述视频序列的一些参数。序列参数集可以被图像参数集引用，图像参数集可以被条带引用，通过此机制，条带可以根据其含有的图像参数集序号，找到对应序号的图像参数集，进而找到其对应的图像参数集对应的序列参数集，从图像参数集或者序列参数集中获取参数。例如，条带能够根据其含有的图像参数集序号，在对应序号的图像参数集中获取该条带的帧序号等信息；条带能够根据其对应的图像参数集所含有的序列参数集序号，在对应序号的序列参数集中获取该条带所使用的编码档次(Profile)和编码级别(Level)等参数。在HEVC编码标准中，新加入了视频参数集的概念，视频参数集可以被序列参数集引用，序列参数集可以被图像参数集引用，图像参数集可以被条带引用，通过此机制，条带可以根据其含有的图像参数集序号，逐层向上引用，从图像参数集、序列参数集或者视频参数集中获取参数。条带类型，视频序列中的条带有着不同的类型，常见的有以下三种类型：帧内预测条带：该条带不可以使用其他条带中的像素来进行预测，只能使用该条带中已经编码过的像素来进行预测。单向帧间预测条带：该条带可以使用其他条带中的像素来进行单向预测。双向帧间预测条带：该条带可以使用其他条带中的像素来进行预测，并且可以使用多个其他条带中的像素进行加权预测。基于块的视频编解码，现有视频编解码技术中，基于块的视频编解码是最常见的。在基于块的视频编码技术中，视频图像或者是视频图像的每一个条带被分为若干个矩形图像块(又称为编码单元)，对于每一个图像块，通过预测得到其预测图像块，将其原始图像块与预测图像块相减得到残差图像块，然后对残差图像块进行编码。残差图像块的编码一般包括：对残差图像块进行变换操作得到变换系数块、对变换系数块进行量化得到量化后的变换系数块，之后编码量化后的变换系数块。对残差图像块进行编码后，需要将残差图像进行编码后的信息写入码流中,这部分信息一般包括量化后的变换系数信息、预测模式信息和运动矢量信息等边信息。其中预测模式信息表示了对该图像块进行预测时究竟使用了哪一种预测模式。一般来讲，一个图像块可以使用的预测模式有若干种，如HEVC帧内预测模式有35种，编码器一般会选择一部分预测模式或是全部可选的预测模式进行一次预测，选出预测效果最好的预测模式作为该图像块的预测模式，并将该预测模式信息写入码流中。在基于块的视频解码技术中，视频图像或者是视频图像的每一个条带也会被分为若干个矩形图像块(又称为编码单元)，对于视频图像的每一个块，解码端通过码流中的预测模式信息和运动矢量信息等边信息解码得到其预测图像块，通过码流中的量化后的变换系数信息解码得到其残差图像块。残差图像块的解码一般包括：对量化后的变换系数信息进行反量化得到重建的变换系数信息，对重建的变换系数信息进行反变换得到残差图像块。最后将预测图像块与残差图像块相加得到最终的重建图像块。深度图像与深度查找表：深度图像是三维视频编解码中的一类图像，深度图像中的每个像素值表示的是对应位置的物体距离摄像机的远近，利用深度图像，可以进行虚拟视点合成等后处理工作。深度图像在三维视频中有着重要的意义，如何高效编解码深度图像是一个值得研究的问题。深度查找表利用了深度图像的稀疏性来提高深度图像的编码效率。具体说来，假设一副深度图像每个像素可以取值的范围为0值255，即对于深度图像的每一个像素点，其像素值可能的取值种类为256种。但是由于深度图像自身的性质，一副深度图像中所有出现过的像素值往往只有256种中的一小部分。如对于一副深度图像，其中出现过的像素值只有{20,23,50,57,100,111}六个值，那么就可以根据这六个值建立一张深度查找表，如下表所示：深度查找表序号深度值02012325035741005111根据这张表，就可以建立深度查找表序号域向深度值域的映射。如深度查找表序号0被映射为深度值20,深度查找表序号1被映射为深度值23……深度查找表序号5被映射为深度值111。同样，也可以建立深度值域向深度查找表序号域的映射，这个映射是多对一的，一般可以根据误差最小法则来建立映射，例如深度值0-21可以被映射为深度查找表序号0，深度值22-36可以被映射为深度查找表序号1，深度值37-53可以被映射为深度查找表序号2，深度值54-78可以被映射为深度查找表序号3，深度值79-105可以被映射为深度查找表序号,4，深度值106-255可以被映射为深度查找表序号5。当然也有其他的建立方法，只要保证一个深度值只被映射到一个深度查找表序号即可，在此不一一赘述。深度查找表会被编码在参数集中，解码端可以从参数集中获取到深度查找表，从而也可以建立起深度查找表序号域向深度值域的映射以及深度值域向深度查找表序号域的映射。可见，通过深度查找表，就可以在深度查找表序号域上进行编码和解码了。具体说来，在上文介绍的基于块的视频编码技术中，如果预测图像块和原始图像块中的每个值表示是深度值的大小，则将原始图像块与预测图像块相减得到的残差图像块中的每个值表示的是预测图像块和原始图像块的深度值的差值，此时可称预测图像块和原始图像块等数据为深度值域上的数据，相应的编码称为在深度值域上对深度图像进行编码；如果通过深度查找表序号域向深度值域的映射，将预测图像块和原始图像块中的每个深度值映射为深度查找表的序号，则将原始图像块与预测图像块相减得到的残差图像块中的每个值表示的是预测图像块深度值对应的深度查找表序号和原始图像块深度值对应的深度查找表序号的差值，此时可称预测图像块和原始图像块等数据为深度查找表序号域上的数据，相应的编码称为在深度查找表序号域上对深度图像进行编码。同理，在上文介绍的基于块的视频解码技术中，如果预测图像块中的每个值表示是深度值的大小，残差图像块中的每个值表示是深度值的差值，则通过将预测图像块与残差图像块相加得到的重建图像块中的每个值也表示的是深度值的大小，此时可称预测图像块和残差图像块等数据为深度值域上的数据，相应的解码称为在深度值域上对深度图像进行解码；如果通过深度查找表序号域向深度值域的映射，将预测图像块中的每个深度值映射为深度查找表的序号，同时残差图像块中的每个值表示是深度查找表序号的差值，则通过将预测图像块与残差图像块相加得到的重建图像块中的每个值也表示的是深度查找表的序号(最终可以通过深度查找表序号域向深度值域的映射将重建图像块中的每个值映射为深度值)，此时可称预测图像块和残差图像块等数据为深度查找表序号域上的数据，相应的解码称为在深度查找表序号域上对深度图像进行解码。深度查找表通过将深度值域映射到深度查找表序号域，从而减小了变量取值范围和变量的方差，提高了深度图像的压缩效率。不过，由于一般来讲深度查找表是每隔若干帧编本文档来自技高网...

【技术保护点】
一种深度图像的编码方法，其特征在于，包括：确定在对深度图像进行编码过程中所采用的编码方式的标志位，所述编码方式包括：使用深度查找表对所述深度图像在所述深度查找表序号域进行编码和/或直接对所述深度图像在深度值域进行编码；将所述标志位写入码流中的以下之一位置：所述深度图像对应引用的视频参数集、所述深度图像对应引用的序列参数集、所述深度图像对应引用的图像参数集、所述深度图像对应的条带头。

【技术特征摘要】
2013.10.18 CN 20131049516031.一种深度图像的编码方法，其特征在于，包括：确定在对深度图像进行编码过程中所采用的编码方式的标志位，所述编码方式包括：使用深度查找表对所述深度图像在所述深度查找表序号域进行编码和/或直接对所述深度图像在深度值域进行编码；将所述标志位写入码流中的以下之一位置：所述深度图像对应引用的视频参数集、所述深度图像对应引用的序列参数集、所述深度图像对应引用的图像参数集、所述深度图像对应的条带头；其中，确定用于指示对所述深度图像进行编码所采用的编码方式的所述标志位包括：判断所述编码过程所采用的编码方式；在判断结果指示在所述深度查找表序号域上对所述深度图像进行编码的情况下，产生用于指示在所述深度查找表序号域上对所述深度图像进行编码的标志位，并且选择对所述深度查找表序号域数据进行编码；在选择对所述深度查找表序号域数据进行编码之前，还包括：判断所述深度图像的编码块的预测模式是否在预设预测模式集中，其中，所述预设预测模式集包括：允许使用所述深度查找表序号域数据进行编码的预测模式；在判断结果为在预设预测模式集中的情况下，选择对所述编码块的深度查找表序号域数据进行编码；在判断结果为不在所述预设预测模式集中的情况下，选择对所述编码块的深度值域数据进行编码。2.根据权利要求1所述的方法，其特征在于，在判断结果指示在所述深度值域上对所述深度图像进行编码的情况下，产生用于指示在所述深度值域上对所述深度图像进行编码的标志位，并且选择对所述深度值域数据进行编码。3.根据权利要求2所述的方法，其特征在于，选择对所述深度查找表序号域数据进行编码，包括：选择使用所述深度查找表序号域数据构造所述深度图像中的编码块的预测值。4.根据权利要求2所述的方法，其特征在于，选择对所述深度值域数据进行编码，包括：选择使用所述深度值域数据构造所述深度图像中编码块的预测值。5.根据权利要求1所述的方法，其特征在于，将所述标志位写入所述深度图像对应的条带头中，包括：判断所述条带的条带类型是否在预设条带类型集中，其中，该预设条带类型集包括：需要传输标志位的条带类型；其中，在判断结果为是时，将所述标志位写入所述条带头中；否则，不写入所述条带头中。6.一种深度图像的解码方法，其特征在于，包括：解析码流，从码流中的以下之一位置获取用于指示解码过程所采用的解码方式的标志位：所述深度图像对应引用的视频参数集、所述深度图像对应引用的序列参数集、所述深度图像对应引用的图像参数集、所述深度图像对应的条带头，其中，所述解码方式包括：使用深度查找表对所述深度图像在所述深度查找表序号域进行解码和/或直接对所述深度图像在深度值域进行解码；按照所述标志位指示的解码方式对所述深度图像进行解码；其中，在所述深度查找表序号域进行解码和/或在所述深度值域进行解码，包括：判断所述解码过程所采用的解码方式；在判断结果指示在所述深度查找表序号域上对所述深度图像进行解码的情况下，产生用于指示在所述深度查找表序号域上对所述深度图像进行解码的标志位，并且选择对所述深度查找表序号域数据进行解码；在选择对所述深度查找表序号域数据进行解码之前，还包括：判断所述解码块的预测模式是否在预设预测模式集中，其中，所述预设预测模式集包括：允许使用所述深度查找表序号域数据进行解码的预测模式；在判断结果为在所述预设预测模式集中的情况下，选择对所述深度查找表序号域数据进行解码；在判断结果为不在所述预设预测模式集中的情况下，选择使用所述深度值域数据进行解码。7.根据权利要求6所述的方法，其特征在于，在判断结果指示在所述深度值域上对所述深度图像进行解码的情况下，则产生用于指示在所述深度值域上对所述深度图像进行解码的标志位，并且选择对所述深度值域数据进行解码。8.根据权利要求7所述的方法，其特征在于，选择对所述深度查找表序号域数据进行解码，包括：选择使用所述深度查找表序号域数据构造所述深度图像中的解码块的预测值。9.根据权利要求6所述的方法，其特征在于，选择使用所述深度值域数据进行解码包括：选择使用所述深度值域数据构造所述解码块的预测值。10.根据权利要求7所述的方法，其特征在于，选择对所述深度值域数据进行解码，包括：选择使用所述深度值域数据构造所述深度图像中解码块的预测值。11.根据权利要求6所述的方法，其特征在于，从码流中的所述条带头获取用于指示解码过程所采用的解码方式的标志位包括：判断所述条带头所指示的条带类型是否在预设条带类型集中，其中，该预设条带类型集包括：包含有所述标志位对应比特字段的条带类型；其中，在判断结果为是时，从所述条带头中获取所述标识位；否则，将所述标志位设置为默认值。12.一种深度图像的编码装置，其特征在于，包括：第一判断模块，用于判断对深度图像进行编码过程中所采用的编码方式，其中，所述编码方式包括：使用深度查找表对所述深度图像在所述深度查找表序号域进行编码和/或不使用深度查找表而直接对所述深度图像在深度值域进行编码；第一编码模块，用于在所述第一判断模块输出的判断结果指示在所述深度查找表序号域上对所述深度图像进行编码，则产生用于指示在所述深度查找表序号域上对所述深度图像进行编码的标志位，并且选择对所述深度查找表序号域数据进行编码；第二判断模块，用于在选择对所述深度查找表序号域数据进行编码之前，对于所述深度图像中的所述编码块，判断所述编码块的预测模式是否在预设预测模式集中，其中，所述预设预测模式集包括：允许使用所述深度查找表序号域数据进行编码的预测模式，在判断结果为在所述预设预测模式集中的情况下，选择对所述编码块的深度查找表序号域数据进行编码；在判断结果为不在所述预设预测模式集中的情况下，选择对所述编码块的深度值域数据进行编码；确定模块，用于确定所采用的编码方式的所述标志位；写入模块，用于将所述标志位写入码流中的以下之一位置：所述深度图像对应引用的视频参数集、所述深度图像对应引用的序列参数集、所述深度图像对应引用的图像参数集、所述深度图像对应的条带头。13.根据权利要求12所述的装置，其特征在于，所述装置还包括：第二编码模块，用于在所述第一判断模块输出的判断结果指示在所述深度值域上对所述深度图像进行编码，则产生用于指示在所述深度值域上对所述深度图像进行编码的标志位，并且选择对所述深度值域数据进行编码。14.根据权利要求12所述的装置，其特征在于，所述第一编码模块还用于选择使用所述深度查找表序号域数据构造所述深度图像中的编码块的预测值。15.根据权利要求13所述的装置，其特征在于，所述第二编码模块还用于选择使用所述深度值域数据构造所述深度图像中编码块的预测值。16.根据权利要求12所述的装置，其特征在于，所述装置还包括：第三判断模块，用于判断所述条带的条带类型是否在预设条带类型集中，其中，该预设条带类型集包括：需要传输标志位的条带类型；其中，在判断结果为是时，将所述标志位写入所述条带头中；否则，不写入所述条带头。17.一种深度图像的解码装置，其特征在于，包括：获取模块，用于从码流中的以下之一位置获取用于指示解码过程所采用的解码方式的标志位：所述深度图像对应引用的视频参数集、所述深度图像对应引用的序列参数集、所述深度图像对应引用的图像参数集、所述深度图像对应的条带头，其中，所述解码方式包括：使用深度查找表对所述深度图像在所述深度查找表序号域进行解码和/或不使用深度查找表而直接对所述深度图像在...

【专利技术属性】
技术研发人员：虞露，吕鹏，李明，尚国强，
申请(专利权)人：浙江大学，中兴通讯股份有限公司，
类型：发明
国别省市：浙江;33