基于卷积神经网络的3D-HEVC深度图帧内编码单元划分方法及装置制造方法及图纸

本发明专利技术公开了一种基于卷积神经网络的3D

【技术实现步骤摘要】
基于卷积神经网络的3D
‑
HEVC深度图帧内编码单元划分方法及装置


[0001]本专利技术涉及视频编码领域，具体涉及一种基于卷积神经网络的3D
‑
HEVC深度图帧内编码单元划分方法及装置。

技术介绍

[0002]随着多媒体技术的日益成熟，人们对更能反映真实场景信息的3D视频需求越来越高。但与此同时，3D视频需要对多个视点进行编码，导致数据量非常大，国际视频组织为了能在保证编码质量的前提下有效压缩视频数据，提出了针对3D视频的编码标准3D
‑
HEVC(3D High Efficiency Video Coding)，其中加入了大量新的编码工具，能够保证在只编码3个视点的前提下，得到高质量的合成视点结果，但这些算法的加入，大大增加了编码的时间复杂度。因此如何在保证编码质量的前提下加速深度图的编码进程，是一个亟待解决的问题。
[0003]传统的快速算法受限于对特征的选取，不同特征对应视频序列中的不同特点，而人工提取某一特征会导致最终的结果具有偏向性。现有的基于深度学习的方法能显著提升视频编码领域的潜力性能，但需要依赖大量丰富的训练数据作为支撑，在纹理视频编码领域，有较多的与深度学习相结合的工作，因为纹理图可以将图片制作为序列来进行编码，得到丰富的训练数据；但在3D
‑
HEVC中，对深度图的编码需要用到相机参数的配置文件，需要依赖官方的测试序列，相关研究较少。

技术实现思路

[0004]针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于卷积神经网络的3D
‑
HEVC深度图帧内编码单元划分方法及装置，来解决以上
技术介绍
部分提到的技术问题。
[0005]第一方面，本专利技术提供了一种基于卷积神经网络的3D
‑
HEVC深度图帧内编码单元划分方法，包括以下步骤：
[0006]S1，构建基于卷积神经网络的编码单元划分预测模型并进行训练，得到经训练的编码单元划分预测模型；
[0007]S2，获取待编码深度图序列，将待编码深度图序列划分得到若干个第一尺寸下的当前待编码块，将当前待编码块输入经训练的编码单元划分预测模型，输出的预测值为在编码过程中当前待编码块中不同尺寸的编码单元是否需要向缩小一个级别的尺寸的编码单元继续划分的若干个标签值，采用3D
‑
HEVC编码器对当前待编码块进行编码，在编码过程中确定编码单元的当前尺寸和当前编码量化参数；
[0008]S3，根据编码单元的当前尺寸和/或当前编码量化参数确定在编码过程中采用速度模式或性能模式，在速度模式中，将经训练的编码单元划分预测模型的预测值作为当前待编码块的划分结果；在性能模式中，使用3D
‑
HEVC编码器预测当前待编码块的划分结果，当前待编码块的划分结果为当前尺寸的编码单元是否向缩小一个级别的尺寸的编码单元
继续划分；
[0009]S4，判断编码单元的当前尺寸是否大于第四尺寸，若是则调整当前待编码块的尺寸缩小一个级别，并重复步骤S3
‑
S4，否则得到当前待编码块的所有划分结果。
[0010]作为优选，不同尺寸包括第一尺寸、第二尺寸、第三尺寸和第四尺寸，第一尺寸为64
×
64，第二尺寸为32
×
32，第三尺寸为16
×
16，第四尺寸为8
×
8，并为依次缩小一个级别的尺寸，当前编码量化参数包括QP＝(25，34)，(30，39)，(35，42)，(40，45)。
[0011]作为优选，步骤S3中根据编码单元的当前尺寸和/或当前编码量化参数确定在编码过程中采用速度模式或性能模式，具体包括：
[0012]响应于确定编码单元的当前尺寸为第一尺寸或第二尺寸，或者当前编码量化参数为25或40，确定在编码过程中采用速度模式；
[0013]响应于确定编码单元的当前尺寸为第三尺寸或第四尺寸，且当前编码量化参数为30或35，确定在编码过程中采用性能模式。
[0014]作为优选，编码单元划分预测模型包括第一分支、第二分支和第三分支，分别对应第一尺寸、第二尺寸和第三尺寸的预测值，第一分支、第二分支和第三分支均包括依次连接的第一去平均层、第一池化层、第一卷积层、第一ReLU激活层、第二卷积层、第二ReLU激活层、第三卷积层、第三ReLU激活层和全连接层，第一卷积层的卷积核大小为4
×
4、步长为4、填充为0，第二卷积层的卷积核大小为2
×
2、步长为2、填充为0，第三卷积层的卷积核大小为2
×
2、步长为2、填充为0，第一池化层，第一级池化核大小为4
×
4、步长为4，第二级池化核大小为2
×
2、步长为2，第三级池化核大小为1
×
1、步长为1。
[0015]作为优选，编码单元划分预测模型的训练过程如下：
[0016]获取训练数据；
[0017]采用训练数据对编码单元划分预测模型进行训练，在训练过程中，
[0018]假设训练数据的样本总数为T个，t表示其中的单个样本，该样本的真实值为假设训练数据的样本总数为T个，t表示其中的单个样本，该样本的真实值为其中y1、y2、y3分别表示编码单元划分预测模型中第一分支、第二分支和第三分支的输出，l表示每一个分支的标签值，因此i∈{1}、j∈{2
‑
3}、k∈{6
‑
21}，则单个样本的损失L
t
是对该样本中所有元素的交叉熵进行累加，计算公式如下：
[0019][0020]其中，表示样本经过编码单元划分预测模型预测得到的三个分支的预测值，C(y
t
,y
′
t
)表示真实值与预测值之间的交叉熵，所有T个样本的总损失值用L表示，计算公式如下：
[0021][0022]作为优选，编码单元划分预测模型的输入为当前待编码块，输出为在编码过程中当前待编码块的不同尺寸的编码单元是否需要向缩小一个级别的尺寸的编码单元继续划分的若干个标签值，该标签值为flag，其表示为：
[0023][0024][0025][0026]其中，i表示预测值的第1个标签值，表示第一尺寸的编码单元是否划分，j为预测值的第2至第5个标签，表示4个第二尺寸的编码单元是否划分，最后k为预测值的第6至第21个标签，表示16个第三尺寸的编码单元是否划分。
[0027]作为优选，获取训练数据，具体包括：
[0028]获取深度图序列，将深度图序列进行数据增强，数据增强包括翻转、镜像以及翻转后的镜像，得到数据增强后的深度图序列；
[0029]采用3D
‑
HEVC编码器对数据增强后的深度图序列在全帧内的配置下进行编码，得到编码量化参数QP为(25，34)，(30，39)，(35，42)，(40，45)下锚定的不同尺寸的编码单元的划分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的3D
‑
HEVC深度图帧内编码单元划分方法，其特征在于，包括以下步骤：S1，构建基于卷积神经网络的编码单元划分预测模型并进行训练，得到经训练的编码单元划分预测模型；S2，获取待编码深度图序列，将待编码深度图序列划分得到若干个第一尺寸下的当前待编码块，将所述当前待编码块输入所述经训练的编码单元划分预测模型，输出的预测值为在编码过程中所述当前待编码块中不同尺寸的编码单元是否需要向缩小一个级别的尺寸的编码单元继续划分的若干个标签值，采用3D
‑
HEVC编码器对所述当前待编码块进行编码，在编码过程中确定编码单元的当前尺寸和当前编码量化参数；S3，根据所述编码单元的当前尺寸和/或当前编码量化参数确定在编码过程中采用速度模式或性能模式，在所述速度模式中，将所述经训练的编码单元划分预测模型的预测值作为所述当前待编码块的划分结果；在所述性能模式中，使用所述3D
‑
HEVC编码器预测所述当前待编码块的划分结果，所述当前待编码块的划分结果为当前尺寸的编码单元是否向缩小一个级别的尺寸的编码单元继续划分；S4，判断所述编码单元的当前尺寸是否大于第四尺寸，若是则调整所述当前待编码块的尺寸缩小一个级别，并重复步骤S3
‑
S4，否则得到当前待编码块的所有划分结果。2.根据权利要求1所述的基于卷积神经网络的3D
‑
HEVC深度图帧内编码单元划分方法，其特征在于，所述不同尺寸包括第一尺寸、第二尺寸、第三尺寸和第四尺寸，第一尺寸为64
×
64，第二尺寸为32
×
32，第三尺寸为16
×
16，第四尺寸为8
×
8，并为依次缩小一个级别的尺寸，所述当前编码量化参数包括QP＝(25，34)，(30，39)，(35，42)，(40，45)。3.根据权利要求2所述的基于卷积神经网络的3D
‑
HEVC深度图帧内编码单元划分方法，其特征在于，所述步骤S3中根据所述编码单元的当前尺寸和/或当前编码量化参数确定在编码过程中采用速度模式或性能模式，具体包括：响应于确定所述编码单元的当前尺寸为第一尺寸或第二尺寸，或者所述当前编码量化参数为25或40，确定在编码过程中采用速度模式；响应于确定所述编码单元的当前尺寸为第三尺寸或第四尺寸，且所述当前编码量化参数为30或35，确定在编码过程中采用性能模式。4.根据权利要求2所述的基于卷积神经网络的3D
‑
HEVC深度图帧内编码单元划分方法，其特征在于，所述编码单元划分预测模型包括第一分支、第二分支和第三分支，分别对应第一尺寸、第二尺寸和第三尺寸的预测值，所述第一分支、第二分支和第三分支均包括依次连接的第一去平均层、第一池化层、第一卷积层、第一ReLU激活层、第二卷积层、第二ReLU激活层、第三卷积层、第三ReLU激活层和全连接层，所述第一卷积层的卷积核大小为4
×
4、步长为4、填充为0，所述第二卷积层的卷积核大小为2
×
2、步长为2、填充为0，所述第三卷积层的卷积核大小为2
×
2、步长为2、填充为0，所述第一池化层，第一级池化核大小为4
×
4、步长为4，第二级池化核大小为2
×
2、步长为2，第三级池化核大小为1
×
1、步长为1。5.根据权利要求4所述的基于卷积神经网络的3D
‑
HEVC深度图帧内编码单元划分方法，其特征在于，所述编码单元划分预测模型的训练过程如下：获取训练数据；采用所述训练数据对所述编码单元划分预测模型进行训练，在训练过程中，
假设训练数据的样本总数为T个，t表示其中的单个样本，该样本的真实值为假设训练数据的样本总数为T个，t表示其中的...

【专利技术属性】
技术研发人员：陈婧，周廷开，曾焕强，朱建清，施一帆，林琦，
申请(专利权)人：华侨大学，
类型：发明
国别省市：