一种定码率压缩视频质量增强方法技术

技术编号:32512566 阅读:47 留言:0更新日期:2022-03-02 11:00
本发明专利技术公开了一种定码率压缩视频质量增强方法,首先将原始视频压缩成对应的定码率压缩视频;然后搭建图像增强网络模型,训练图像增强网络模型;最后,将压缩后的定码率压缩视频输入视频增强网络模型得到增强后的高质量视频。本发明专利技术方法通过采用提出的定码率压缩视频质量增强网络模型作为视频增强模型,对定码率压缩视频进行增强,使经过网络增强后的定码率压缩视频的观感质量获得提升。率压缩视频的观感质量获得提升。率压缩视频的观感质量获得提升。

【技术实现步骤摘要】
一种定码率压缩视频质量增强方法


[0001]本专利技术涉及视频处理、计算机视觉领域,具体涉及一种定码率压缩视频质量增强方法。

技术介绍

[0002]定码率压缩视频中使用恒定的比特率对视频进行压缩,因此视频的图像质量时常不稳定,在剧烈运动的场景中画面质量会严重下降。
[0003]现有的视频质量增强技术都是以恒定量化参数的压缩视频作为研究对象,然而定码率压缩视频中的编码单元具有多种尺寸,编码单元的分布也不规则。同时不同的编码单元的压缩程度也不相同。这些问题使得现有的视频质量增强方法在定码率压缩视频质量增强任务中的效果非常有限。

技术实现思路

[0004]基于现有技术所存在的问题,本专利技术的目的是提供一种定码率压缩视频质量增强方法,在进行定码率压缩视频增强任务中与现有的方法相比具有更好的效果。
[0005]本专利技术提供一种定码率压缩视频质量增强方法,采用具有多尺度结构的视频质量增强网络模型,利用训练好的所述视频质量增强网络模型对低质量的定码率压缩视频进行增强处理,增强处理后得到高质量的定码率压缩视频。
[0006]一种定码率压缩视频质量增强方法,步骤如下:
[0007]步骤一,将原始视频压缩成对应的定码率压缩视频。
[0008]步骤二,搭建图像增强网络模型。
[0009]步骤三,训练图像增强网络模型。
[0010]步骤四,将压缩后的定码率压缩视频输入视频增强网络模型得到增强后的高质量视频。
[0011]所述的步骤一具体方法如下:
[0012]使用x265视频编码器对原始视频进行定码率的HEVC编码。
[0013]所述的步骤二具体方法如下:
[0014]图像增强网络包括三个分支,每个分支有一个双域恢复模块(DRM)来处理相应尺度的块状伪影。双域恢复模块的基本处理尺寸为8
×
8。通过分支一中的特征对齐及融合模块FAFM对输入进行处理,获得对齐并融合后的特征。此特征与分支二的输出特征进行拼接,然后通过3
×
3conv和ReLU输入双域恢复模块(DRM)中进行处理,再通过3
×
3conv、ReLU、5
×
5conv、ReLU输出最终增强后的图像。分支二对对齐并融合后的特征进行降采样,然后与分支三的输出特征进行拼接处理,经过3
×
3conv和ReLU,再由双域恢复模块(DRM)进行处理后,最后再通过3
×
3conv、ReLU和上采样操作输出。分支三对分支二降采样之后的数据再进行一次降采样操作,经过3
×
3conv和ReLU,再由双域恢复模块(DRM)进行处理后,最后再通过3
×
3conv、ReLU和上采样操作输出。
[0015]在分支一中通过双域恢复模块(DRM)对特征中的8
×
8尺寸的块状伪影进行处理,分支二通过二倍下采样使原特征中尺寸为16
×
16的块状伪影转换为8
×
8大小,从而通过双域恢复模块(DRM)对其进行处理,分支三将分支二中经过下采样后的特征再一次进行二倍下采样,从而将原特征中的32
×
32尺寸的块状伪影变为8
×
8大小进行处理。
[0016]特征对齐及融合模块FAFM,首先通过金字塔型级联的可变形卷积将特征从低尺度到高尺度进行对齐。接下来引入时间注意力机制,通过计算参考帧和相邻帧的特征之间的逐元素关系来为不同的特征赋予不同的权重,再根据权重对特征进行融合,最终将每个相邻帧与参考帧对齐,并合并所有帧的特征得到融合后的特征以供后续操作使用。
[0017]降采样操作采用Pixel Unshuffle方法对图像进行二倍降采样处理,将具有64通道的特征输入,使用缩放倍数为2的Pixel Unshuffle方法将特征的长和宽缩小为输入特征的1/2,通道数变为256,最后使用卷积核大小为3
×
3的二维卷积将图像由256通道转为64通道。
[0018]3×
3conv为一个卷积核大小为3
×
3的二维卷积。
[0019]ReLU为线性整流函数。
[0020]Concatenation为拼接操作,将两个特征在最后一个维度上进行拼合。
[0021]上采样采用Pixel Shuffle方法对特征进行二倍上采样处理,首先通过一个卷积核大小为3
×
3的二维卷积将特征的通道数由64变为256,再使用缩放倍数为2的Pixel Shuffle方法将特征的长和宽放大为输入特征的2倍,通道数变为64。
[0022]所述的双域恢复模块DRM,首先通过一组由3
×
3膨胀卷积组成的DenseNet来执行特征提取。然后采用一个3
×
3卷积作为特征融合层,对DenseNet产生的卷积特征进行融合。然后分为两个主分支:像素域分支和DCT域分支。在像素域分支中,使用一个3
×
3卷积层来对像素域的信息进行恢复。DCT域分支由两个子分支组成:明度分支和色度分支。在这两个分支中都有线性校正单元(LCU)、损失预测单元(LPU)和隐式变换单元(ITU)。明度分支使用3
×
3卷积层来估计明度通道中的相对量化损失,色度分支使用膨胀率为2的3
×
3膨胀卷积来估计色度通道中的相对量化损失。然后,将量化损失与特征相乘并输入ITU,通过隐式DCT变换将其变换到DCT域,接下来通过一个3
×
3卷积层对DCT域损失进行矫正。最后,将DCT域校正后的明度和色度特征拼接在一起,用一个3
×
3卷积层进行融合。为了避免梯度爆炸,使用一个缩放层来缩放最终的特征。缩放率设置为0.1。
[0023]在DRM模块中:
[0024](1)膨胀卷积为卷积核大小为3
×
3,膨胀系数为2的膨胀卷积。
[0025](2)ReLU为线性整流函数。
[0026](3)3
×
3conv为一个卷积核大小为3
×
3的二维卷积。
[0027](4)LPU为损失预测单元,在LPU中首先通过步长为2的3
×
3卷积层提取全局特征,接下来采用全局平均池层对每个通道内的特征进行融合。然后,设置了四个带有ReLU激活函数的全连接层。最后,将得到的权重与输入的特征相乘。其中:
[0028]conv为一个卷积核大小为3
×
3步长为2的二维卷积。Global avg pooling为全局平均池化层。FC为全链接层。LPU中四个全链接层的输入通道数均为64,输出通道数分别为512、256、128和64。ReLU为线性整流函数。
[0029](5)LCU为线性矫正单元。其中具有两个可学习的参数矩阵,分别作为系数和偏差。
这两个矩阵与HEVC中固定的量化表具有本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种定码率压缩视频质量增强方法,其特征在于,步骤如下:步骤一,将原始视频压缩成对应的定码率压缩视频;步骤二,搭建图像增强网络模型;步骤三,训练图像增强网络模型;步骤四,将压缩后的定码率压缩视频输入视频增强网络模型得到增强后的高质量视频。2.根据权利要求1所述的一种定码率压缩视频质量增强方法,其特征在于,所述的步骤一具体方法如下:使用x265视频编码器对原始视频进行定码率的HEVC编码。3.根据权利要求2所述的一种定码率压缩视频质量增强方法,其特征在于,所述的步骤二具体方法如下:图像增强网络包括三个分支,每个分支有一个双域恢复模块DRM来处理相应尺度的块状伪影;双域恢复模块的基本处理尺寸为8
×
8;通过分支一中的特征对齐及融合模块FAFM对输入进行处理,获得对齐并融合后的特征;此特征与分支二的输出特征进行拼接,然后通过3
×
3conv和ReLU输入双域恢复模块DRM中进行处理,再通过3
×
3conv、ReLU、5
×
5conv、ReLU输出最终增强后的图像;分支二对对齐并融合后的特征进行降采样,然后与分支三的输出特征进行拼接处理,经过3
×
3conv和ReLU,再由双域恢复模块DRM进行处理后,最后再通过3
×
3conv、ReLU和上采样操作输出;分支三对分支二降采样之后的数据再进行一次降采样操作,经过3
×
3conv和ReLU,再由双域恢复模块DRM进行处理后,最后再通过3
×
3conv、ReLU和上采样操作输出;在分支一中通过双域恢复模块DRM对特征中的8
×
8尺寸的块状伪影进行处理,分支二通过二倍下采样使原特征中尺寸为16
×
16的块状伪影转换为8
×
8大小,从而通过双域恢复模块DRM对其进行处理,分支三将分支二中经过下采样后的特征再一次进行二倍下采样,从而将原特征中的32
×
32尺寸的块状伪影变为8
×
8大小进行处理;特征对齐及融合模块FAFM,首先通过金字塔型级联的可变形卷积将特征从低尺度到高尺度进行对齐;接下来引入时间注意力机制,通过计算参考帧和相邻帧的特征之间的逐元素关系来为不同的特征赋予不同的权重,再根据权重对特征进行融合,最终将每个相邻帧与参考帧对齐,并合并所有帧的特征得到融合后的特征以供后续操作使用;降采样操作采用Pixel Unshuffle方法对图像进行二倍降采样处理,将具有64通道的特征输入,使用缩放倍数为2的PixelUnshuffle方法将特征的长和宽缩小为输入特征的1/2,通道数变为256,最后使用卷积核大小为3
×
3的二维卷积将图像由256通道转为64通道;3
×
3conv为一个卷积核大小为3
×
3的二维卷积;ReLU为线性整流函数;Concatenation为拼接操作,将两个特征在最后一个维度上进行拼合;上采样采用PixelShuffle方法对特征进行二倍上采样处理,首先通过一个卷积核大小为3
×
3的二维卷积将特征的通道数由64变为256,再使用缩放倍数为2的PixelShuffle方法将特征的长和宽放大为输入特征的2倍,通道数变为64。4.根据权利...

【专利技术属性】
技术研发人员:颜成钢肇恒润郑博仑张继勇李宗鹏
申请(专利权)人:杭州电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1