一种光场焦点堆栈图像序列编、解码方法、装置及系统制造方法及图纸

本发明专利技术公开了一种光场焦点堆栈图像序列编、解码方法、装置及系统，由于焦点堆栈图像每帧之间存在很大相关性，每帧之间仅有对焦区域与失焦模糊区域不同，通过对对焦区域进行高斯滤波，即可模拟出其他帧的失焦模糊区域。本发明专利技术通过遍历预测运动矢量候选列表，将失真代价最小的预测运动矢量所指的位置作为起始点，依次进行整像素搜索和级联的亚像素搜索，并对搜索过程中的每一个匹配块进行高斯滤波，比较高斯滤波前后匹配块的率失真代价，选择率失真代价较小的匹配块最优最优匹配块，将高斯滤波应用到帧间预测模型之中，有效的减小了预测单元与编码单元的残差分布，从而有效的节省了码率，编码效率较高。

A method, device and system for encoding and decoding image sequence of optical field focus stack

【技术实现步骤摘要】
一种光场焦点堆栈图像序列编、解码方法、装置及系统
本专利技术属于立体视觉和视频编码交叉
，更具体地，涉及一种光场焦点堆栈图像序列编、解码方法、装置及系统。
技术介绍
光场焦点堆栈图像序列是一组聚焦于不同深度的二维图像，包含了丰富的三维信息，广泛应用于如重聚焦、景深扩展、三维显示，由于密集的采样和可忽略的视差，因此存在大量的空间冗余，需要进一步压缩消除冗余。光场焦点堆栈图像序列与普通图像序列有较大差别，普通图像序列帧与帧之间的对焦区域大致相同，而焦点堆栈图像序列在场景的对焦区域和失焦区域不同。大多数现有的编、解码方法是针对普通图像序列而设计的，故研究光场焦点堆栈图像序列编、解码方法及系统具有重要意义。现有的光场焦点堆栈图像序列编码方法中，基于3D-DCT的光场焦点堆栈图像序列编码方法，先将焦点堆栈图像序列分割为8x8x8的3D像素块，再对每个3D块3D-DCT变换和线性量化，采用Z字形扫描方式将3D块从低频到高频重新排列为1D信号，将1D信号采用Huffman编码生成二进制码流文件。而基于小波变换的光场焦点堆栈图像序列压缩方法，对原始焦点堆栈图像序列进行3D-DWT变化，并对变换结果采用3D多级树集合分裂(SPIHT)算法获得多分辨率图像金字塔，进一步通过编码算法获得码流，相比于基于3D-DCT的焦点堆栈压缩算法，有效的抑制了编码块效应。但是，以上方法均没有考虑到图像之间的高度相关性，编码效率较低。综上所述，提出一种编码效率较高的光场焦点堆栈图像序列编、解码方法、装置及系统是亟需解决的问题。>
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种光场焦点堆栈图像序列编、解码方法、装置及系统，其目的在于解决现有技术由于没有考虑到图像之间的高度相关性而导致的编码效率较低的问题。为实现上述目的，第一方面，本专利技术提供了一种光场焦点堆栈图像序列编码方法，包括以下步骤：S1、对光场焦点堆栈图像序列中的第一帧进行帧内编码；S2、为当前待编码帧构造参考帧列表，将编码深度值初始化为零，并基于编码深度将当前待编码帧划分为编码单元；S3、对于当前编码深度的编码单元，根据当前帧间预测模式得到其子预测单元；S4、构造当前子预测单元的预测运动矢量候选列表，在参考帧列表中遍历预测运动矢量候选列表，选择率失真代价最小的预测运动矢量，并将其所指的位置作为起始点，在起始点的预设搜索范围内，进行整像素搜索；S5、将整像素搜索的最优运动矢量所指的位置作为起始点，进行级联的亚像素搜索，并对搜索过程中的每一个匹配块进行高斯滤波，比较高斯滤波前后匹配块的率失真代价，选择率失真代价较小的匹配块为当前子预测单元的最优匹配块，其运动矢量为当前子预测单元的最优运动矢量；S6、对每一个子预测单元，重复步骤S4-S5进行迭代，直至得到当前编码深度下每一子预测单元的最优匹配块及其率失真代价；S7、对当前编码深度的编码单元遍历所有帧间预测模式，按照S3-S6所述的方法进行操作，将率失真代价最小的帧间预测模式作为该编码单元的最优帧间预测模式；S8、递增编码深度值，将编码单元进一步划分为子编码单元；S9、对当前编码深度的每一个子编码单元依次按照S3-S8所述的方法进行操作，比较当前深度下各子编码单元的率失真代价之和与上一深度的率失真代价，将率失真代价较小的作为当前待编码帧各子编码单元的最优编码划分模式；S10、基于当前帧的最优编码划分模式和最优帧间预测模式下的各编码单元下的子预测单元的最优运动矢量、高斯滤波参数，通过运动补偿分别构造出其各编码单元的预测块；S11、计算各编码单元与其对应预测块的残差，对高斯滤波参数、所得残差以及其对应的运动信息进行熵编码；S12、对光场焦点堆栈图像序列中的所有待编码帧按照步骤S2-S11所述的方法进行编码，直至光场焦点堆栈图像序列全部编码完毕，得到堆栈图像序列的码流文件。进一步优选地，当编码深度值初始化为零时，将待编码帧划分为最大编码单元。进一步优选地，上述最优帧间预测模式包括对称分割模式和非对称分割模式。进一步优选地，步骤S5中将整像素搜索的最优运动矢量所指的位置作为起始点进行级联的亚像素搜索的方法包括以下步骤：S51、将整像素搜索的最优运动矢量所指的位置作为起始点，在起始点的预设搜索范围内进行半像素运动搜索；S52、将半像素运动搜索的最优运动矢量所指的位置作为起始点，在起始点的预设搜索范围内进行1/4像素运动搜索。进一步优选地，上述步骤S5中，对搜索过程中的每一个匹配块采用不同高斯滤波参数进行高斯滤波，选取使率失真代价最小的高斯滤波参数作为匹配块的高斯滤波参数，以步长0.1在0.6-2.6范围内递增的进行高斯滤波参数的取值。进一步优选地，率失真代价函数为：Jpred＝Dpred+λpred*Rpred其中，Jpred为失真代价，Dpred为与待编码帧的编码块与其匹配块相比的失真，λpred为拉格朗日乘子，Rpred为参考块编码所需的比特数量。第二方面，本专利技术提供了一种光场焦点堆栈图像序列解码方法，包括：解析码流文件中的高斯滤波参数、残差和运动信息，基于高斯滤波参数对根据运动信息通过运动补偿重构的图像块进行滤波，重构出预测块，将预测块与残差块相结合，得到重建的解码图像，完成焦点堆栈图像序列的解码过程。第三方面，本专利技术提供了一种编码器，采用本专利技术第一方面所提出的光场焦点堆栈图像序列编码方法进行编码；第四方面，本专利技术提供了一种解码器，采用本专利技术第二方面所提出的光场焦点堆栈图像序列解码方法进行解码。第五方面，本专利技术提供了一种光场焦点堆栈图像序列编解码系统，包括：第四方面所述的编码器和第五方面所述的解码器。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：1、本专利技术提出了一种光场焦点堆栈图像序列编码方法，焦点堆栈图像每帧之间存在很大相关性，视差很小或没有，每帧之间仅有对焦区域与失焦模糊区域不同。对焦区域进行高斯滤波，可有效的模拟出其他帧的失焦模糊区域，将高斯滤波应用到帧间预测模型之中，通过对预测块进行滤波，有效的减小了预测块与编码单元的残差分布，从而有效的节省了码率，编码效率较高。2、本专利技术所提供的一种光场焦点堆栈图像序列解码方法，对搜索过程中的每一个匹配块采用不同高斯滤波参数进行高斯滤波，选取使率失真代价最小的高斯滤波参数作为匹配块的高斯滤波参数，以步长0.1在0.6-2.6范围内递增的进行高斯滤波参数的取值，较小的步长和适中的范围减小了滤波参数突变的可能性，可以避免产生编码块效应，编码效果更加自然、平滑。3、本专利技术所提供的一种光场焦点堆栈图像序列解码方法，由于高斯滤波参数为浮点数，在熵编码时将高斯滤波参数扩大10倍后进行取整操作，将浮点数转换为整数，从而避免小数点后的长位数造成的编码浪费，大大提高了编码码率。附图说明图1是本专利技术所提供的一种光场焦点堆栈本文档来自技高网...

【技术保护点】
1.一种光场焦点堆栈图像序列编码方法，其特征在于，包括以下步骤：/nS1、对光场焦点堆栈图像序列中的第一帧进行帧内编码；/nS2、为当前待编码帧构造参考帧列表，将编码深度值初始化为零，并基于编码深度将当前待编码帧划分为编码单元；/nS3、对于当前编码深度的编码单元，根据当前帧间预测模式得到其子预测单元；/nS4、构造当前子预测单元的预测运动矢量候选列表，在参考帧列表中遍历预测运动矢量候选列表，选择率失真代价最小的预测运动矢量，并将其所指的位置作为起始点，在起始点的预设搜索范围内，进行整像素搜索；/nS5、将整像素搜索的最优运动矢量所指的位置作为起始点，进行级联的亚像素搜索，并对搜索过程中的每一个匹配块进行高斯滤波，比较高斯滤波前后匹配块的率失真代价，选择率失真代价较小的匹配块为当前子预测单元的最优匹配块，其运动矢量为当前子预测单元的最优运动矢量；/nS6、对每一个子预测单元，按照步骤S4-S5所述的方法进行操作，直至得到当前编码深度下每一子预测单元的最优匹配块及其率失真代价；/nS7、对当前编码深度的编码单元遍历所有帧间预测模式，按照S3-S6所述的方法进行操作，将率失真代价最小的帧间预测模式作为该编码单元的最优帧间预测模式；/nS8、递增编码深度值，将编码单元进一步划分为子编码单元；/nS9、对当前编码深度的每一个子编码单元依次按照S3-S8所述的方法进行操作，比较当前深度下各子编码单元的率失真代价之和与上一深度的率失真代价，将率失真代价较小的作为当前待编码帧各子编码单元的最优编码划分模式；/nS10、基于当前帧的最优编码划分模式和最优帧间预测模式下的各编码单元下的子预测单元的最优运动矢量、高斯滤波参数，通过运动补偿分别构造出其各编码单元的预测块；/nS11、计算各编码单元与其对应预测块的残差，对高斯滤波参数、所得残差以及其对应的运动信息进行熵编码；/nS12、对光场焦点堆栈图像序列中的所有待编码帧按照步骤S2-S11所述的方法进行编码，直至光场焦点堆栈图像序列全部编码完毕，得到堆栈图像序列的码流文件。/n...

【技术特征摘要】
1.一种光场焦点堆栈图像序列编码方法，其特征在于，包括以下步骤：
S1、对光场焦点堆栈图像序列中的第一帧进行帧内编码；
S2、为当前待编码帧构造参考帧列表，将编码深度值初始化为零，并基于编码深度将当前待编码帧划分为编码单元；
S3、对于当前编码深度的编码单元，根据当前帧间预测模式得到其子预测单元；
S4、构造当前子预测单元的预测运动矢量候选列表，在参考帧列表中遍历预测运动矢量候选列表，选择率失真代价最小的预测运动矢量，并将其所指的位置作为起始点，在起始点的预设搜索范围内，进行整像素搜索；
S5、将整像素搜索的最优运动矢量所指的位置作为起始点，进行级联的亚像素搜索，并对搜索过程中的每一个匹配块进行高斯滤波，比较高斯滤波前后匹配块的率失真代价，选择率失真代价较小的匹配块为当前子预测单元的最优匹配块，其运动矢量为当前子预测单元的最优运动矢量；
S6、对每一个子预测单元，按照步骤S4-S5所述的方法进行操作，直至得到当前编码深度下每一子预测单元的最优匹配块及其率失真代价；
S7、对当前编码深度的编码单元遍历所有帧间预测模式，按照S3-S6所述的方法进行操作，将率失真代价最小的帧间预测模式作为该编码单元的最优帧间预测模式；
S8、递增编码深度值，将编码单元进一步划分为子编码单元；
S9、对当前编码深度的每一个子编码单元依次按照S3-S8所述的方法进行操作，比较当前深度下各子编码单元的率失真代价之和与上一深度的率失真代价，将率失真代价较小的作为当前待编码帧各子编码单元的最优编码划分模式；
S10、基于当前帧的最优编码划分模式和最优帧间预测模式下的各编码单元下的子预测单元的最优运动矢量、高斯滤波参数，通过运动补偿分别构造出其各编码单元的预测块；
S11、计算各编码单元与其对应预测块的残差，对高斯滤波参数、所得残差以及其对应的运动信息进行熵编码；
S12、对光场焦点堆栈图像序列中的所有待编码帧按照步骤S2-S11所述的方法进行编码，直至光场焦点堆栈图像序列全部编码完毕，得到堆栈图像序列的码流文件。


2.根据权利要求1所述的光场焦点...

【专利技术属性】
技术研发人员：杨铀，吴科君，刘琼，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42