一种基于深度神经网络加速的快速块分割编码方法和装置制造方法及图纸

本发明专利技术提供一种基于深度神经网络加速的快速块分割编码方法和装置，在至少一种网络裁剪策略中选出一种网络裁剪策略，通过设置不同的权重参数的保留比例，得到不同复杂度的提前终止机制分层深度卷积神经网络模型；对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测，本发明专利技术实施例通过确定提前终止机制分层深度卷积神经网络模型各部分的计算复杂度，使其中最耗时的部分，即可训练层中的权重参数WP可以得到显著加速，并且通过联合优化时间复杂度和率‑失真性能，提出一种最优的提前终止机制分层深度卷积神经网络模型裁剪方法，并由此获得多种不同的加速模型，用于预测编码树单元划分。

【技术实现步骤摘要】
一种基于深度神经网络加速的快速块分割编码方法和装置
本专利技术实施例涉及深度神经网络
，具体涉及一种基于深度神经网络加速的快速块分割编码方法和装置。
技术介绍
与上一代视频编码标准H.264相比，高效率视频编码能够有效降低视频码率，但编码复杂度也成倍增加。在高效率视频编码中，一种灵活的编码树单元分块结构占用大量的编码复杂度，这是因为其中的率-失真优化过程需要递归的遍历搜索。近年来，研究者们提出了多种方法，通过深度神经网络直接决定编码树单元中的编码单元分割，跳过费时的遍历搜索，来降低高效率视频编码的编码复杂度。然而，已有的方法仍然难以进行实时高效率视频编码，这是因为网络结构本身比较复杂，需要较长的计算时间。
技术实现思路
为了解决现有技术存在的至少一个问题，本专利技术实施例提供了一种基于深度神经网络加速的快速块分割编码方法和装置。第一方面，本专利技术的至少一个实施例提供了一种基于深度神经网络加速的快速块分割编码方法，包括：根据至少一种网络剪裁策略，确定提前终止机制分层深度卷积神经网络模型中每层和每个级别上权重参数的保留比例；结合时间复杂度和率-失真性能，在至少一种网络裁剪策略中选出一种网络裁剪策略，通过设置不同的权重参数的保留比例，得到不同复杂度的提前终止机制分层深度卷积神经网络模型；对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测。在一些实施例中，上述方法中对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测，包括：使得提前终止机制分层深度卷积神经网络模型的复杂度接近目标复杂度。在一些实施例中，上述方法中根据至少一种网络剪裁策略，确定提前终止机制分层深度卷积神经网络模型中每层和每个级别上权重参数的保留比例，包括以下三种策略：恒定权重参数保留比例；级间自适应权重参数保留比例；级间和层间自适应权重参数保留比例。在一些实施例中，上述方法中对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测，包括：当编码树单元输入提前终止机制分层深度卷积神经网络模型时，进行预处理得到预处理后的数据；对预处理后的数据经过至少一个卷积层操作后提取纹理特征；所述预处理与卷积层操作均在并行的支路中进行；卷积层操作完成后，将并行的支路的特征图伸直，连接成一个特征向量；将特征向量再次在并行的支路中进行处理后，通过全连接层提取抽象特征，经至少一个全连接层处理后得到分层编码单元分割图；预处理包括：降采样和去均值。在一些实施例中，上述方法中将量化参数值作为一个外部特征，添加到至少一个全连接层中；在一些实施例中，上述方法中，当编码树单元输入终止机制分层深度卷积神经网络模型时，对于帧内模式，提前终止机制分层深度卷积神经网络模型的输入是原始帧中的一个亮度编码树单元；对于帧间模式，提前终止机制分层深度卷积神经网络模型的输入是从快速预编码过程生成的残差帧中的亮度编码树单元。第二方面，本专利技术实施例提供了一种基于深度神经网络加速的快速块分割编码装置，包括：确定模块：用于根据至少一种网络剪裁策略，确定提前终止机制分层深度卷积神经网络模型中每层和每个级别上权重参数的保留比例；设置模块：用于结合时间复杂度和率-失真性能，在至少一种网络裁剪策略中选出一种网络裁剪策略，通过设置不同的权重参数的保留比例，得到不同复杂度的提前终止机制分层深度卷积神经网络模型；预测模块：用于对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测。在一些实施例中，上述装置中的预测模块，用于对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测，包括：使得提前终止机制分层深度卷积神经网络模型的复杂度接近目标复杂度。在一些实施例中，上述装置中的设置模块根据至少一种网络剪裁策略，确定提前终止机制分层深度卷积神经网络模型中每层和每个级别上权重参数的保留比例，包括以下三种策略：恒定权重参数保留比例；级间自适应权重参数保留比例；级间和层间自适应权重参数保留比例。在一些实施例中，上述装置中对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测，包括：当编码树单元输入提前终止机制分层深度卷积神经网络模型时，进行预处理得到预处理后的数据；对所述预处理后的数据经过至少一个卷积层操作后提取纹理特征；所述预处理与卷积层操作均在并行的支路中进行；所述卷积层操作完成后，将并行的支路的特征图伸直，连接成一个特征向量；将所述特征向量再次在并行的支路中进行处理后，通过全连接层提取抽象特征，经至少一个全连接层处理后得到分层编码单元分割图。本专利技术实施例的优点在于：根据至少一种网络剪裁策略，确定提前终止机制分层深度卷积神经网络模型中每层和每个级别上权重参数的保留比例；结合时间复杂度和率-失真性能，在至少一种网络裁剪策略中选出一种网络裁剪策略，通过设置不同的权重参数的保留比例，得到不同复杂度的提前终止机制分层深度卷积神经网络模型；对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测，本申请实施例通过提前终止机制分层深度卷积神经网络模型各部分的计算复杂度，使其中最耗时的部分，即可训练层中的权重参数可以得到显著加速，并且通过联合优化时间复杂度和率-失真性能，提出一种最优的提前终止机制分层深度卷积神经网络模型裁剪方法，并由此获得多种不同的提前终止机制分层深度卷积神经网络加速模型，用于预测编码树单元CTU划分。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提出的一种基于深度神经网络加速的快速块分割编码方法的流程示意图之一；图2为本专利技术实施例提出的一种基于深度神经网络加速的快速块分割编码装置的结构示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。基于所描述的本专利技术的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。第一方面，本专利技术的至少一个实施例提供了一种基于深度神经网络加速的快速块分割编码方法，包括：S101：根据至少一种网络剪裁策略，确定提前终止机制分层深度卷积神经网络模型中每层和每个级别上权重参数的保留比例；具体的本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络加速的快速块分割编码方法，其特征在于，包括：/n根据至少一种网络剪裁策略，确定提前终止机制分层深度卷积神经网络模型中每层和每个级别上权重参数的保留比例；/n结合时间复杂度和率-失真性能，在至少一种网络裁剪策略中选出一种网络裁剪策略，通过设置不同的权重参数的保留比例，得到不同复杂度的提前终止机制分层深度卷积神经网络模型；/n对不同的编码树单元中的编码单元分割采用所述不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测。/n

【技术特征摘要】
1.一种基于深度神经网络加速的快速块分割编码方法，其特征在于，包括：
根据至少一种网络剪裁策略，确定提前终止机制分层深度卷积神经网络模型中每层和每个级别上权重参数的保留比例；
结合时间复杂度和率-失真性能，在至少一种网络裁剪策略中选出一种网络裁剪策略，通过设置不同的权重参数的保留比例，得到不同复杂度的提前终止机制分层深度卷积神经网络模型；
对不同的编码树单元中的编码单元分割采用所述不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测。


2.根据权利要求1所述的方法，其特征在于，所述对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测，包括：
使得提前终止机制分层深度卷积神经网络模型的复杂度接近目标复杂度。


3.根据权利要求1所述的方法，其特征在于，所述根据至少一种网络剪裁策略，确定提前终止机制分层深度卷积神经网络模型中每层和每个级别上权重参数的保留比例，包括以下三种策略：
恒定权重参数保留比例；
级间自适应权重参数保留比例；
级间和层间自适应权重参数保留比例。


4.根据权利要求1所述的方法，其特征在于，所述对不同的编码树单元中的编码单元分割采用不同复杂度的提前终止机制分层深度卷积神经网络模型进行预测，包括：
当编码树单元输入提前终止机制分层深度卷积神经网络模型时，进行预处理得到预处理后的数据；
对所述预处理后的数据经过至少一个卷积层操作后提取纹理特征；所述预处理与卷积层操作均在并行的支路中进行；
所述卷积层操作完成后，将并行的支路的特征图伸直，连接成一个特征向量；
将所述特征向量再次在并行的支路中进行处理后，通过全连接层提取抽象特征，经至少一个全连接层处理后得到分层编码单元分割图；其中，所述预处理包括：降采样和去均值。


5.根据权利要求4所述的方法，其特征在于，将量化参数值作为一个外部特征，添加到至少一个全连接层中；
所述预处理包括：降采样和去均值。


6.根据权利要求4所述的方法，其特征在于，所述当编码树单元输入终止机制分层深度卷积神经网...

【专利技术属性】
技术研发人员：徐迈，李天一，关振宇，周迪，翟禹，
申请(专利权)人：北京航空航天大学杭州创新研究院，浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33