一种基于GAN的HEVC压缩视频视觉感知提升方法技术

本发明专利技术提出了一种基于GAN的HEVC压缩视频视觉感知提升方法。GAN提供了一种接近感知

【技术实现步骤摘要】
一种基于GAN的HEVC压缩视频视觉感知提升方法


[0001]本专利技术涉及视频编码领域中的视频质量提升方法的研究，尤其是涉及一种基于GAN的HEVC压缩视频视觉感知提升方法的方法。

技术介绍

[0002]HEVC作为主流视频编码标准，虽然能取得很好的压缩效率，但在压缩和传输过程中不可避免会造成视频质量损失，这种损失既指客观质量上的失真，也包含主观视觉效果的模糊。图像恢复算法通常通过一些失真来度量，例如：PSNR、SSIM、IFC、VIF，这些失真度量因为要使用原图进行评估称为全参考指标。但在实际传输任务中，原图像并不一定可获得，只能通过需要处理的降质图像进行重建效果评估，这种评估失真的方式称为无参考指标，例如量化视觉感知质量的人类意见评分。实际客观失真度量和视觉感知质量并不是一一对应的，具体来说，随着平均失真的减少，能正确区分是图像恢复算法的输出或者真实图像输出的最佳概率反而会增加(表明是为更差的视觉感知质量)，这个结果对于任何失真度量都是满足的，不仅仅是常用压缩性能评价标准指标PSNR和SSIM，GAN网络还提供了一种接近感知质量和失真度量平衡的原则。
[0003]GAN网络的对抗性损失能很好地学习图像分布间的映射，提高视觉效果，基于GAN网络进行的图像超分辨率重建工作取得了较好的视觉效果。同时在压缩伪影去除的工作中，GAN被证明具有减少伪影的强大能力。现今有学者提出了使用生成对抗框架训练的前馈全卷积残差网络模型，并可以通过优化结构相似度来进行训练，所提GAN能够生成具有更多真实感细节的图像。还有通过GAN进行帧内编码的后处理学习，提出了一种多层递进细化网络MPRNet，该网络可以在一次前馈中预测多级残差，这种从粗到精的细化方式使MPRNet可以在细化的质量和计算复杂度之间进行权衡，这有利于在资源感知型背景下应用。同时有学者提出了一种具有递归框架的对抗学习方法，称为视频伪影去除生成对抗网络VRGAN，VRGAN包含一个生成器，该生成器具有可提高视频一致性的循环框架，一个可增强大型转换单元接收场的密集块，以及一个相对论鉴别器，可评估生成的帧与原始高质量帧之间的关系，所提网络能够生成更逼真的视频。还有学者提出采用GA进行图像超分辨率工作的SRGAN，SRGAN中采用一种感知损失函数，它包含对抗损失和内容损失，使用对抗损失将失真图像逼近自然图像。在SRGAN的基础上，通过分析超分图像的细节常常伴随着令人不愉快的伪影，为提高视觉质量，提出ESRGAN，引入残差密集块，将其不进行批量归一化，这样的结构作为基本的网络构建单元，并使用激活前的特征来改善感观损失，从而可以对亮度一致性和纹理恢复提供更强的监督。
[0004]在控制重建图像与真实图像间差异的前提下，GAN生成的图像更加符合自然图像的分布，能重建出更好的视觉效果。随着4G时代的普及以及5G时代的到来，人们对图像视频的质量和分辨率要求越来越高，也更加追求解码视频感知效果的舒适性，因此需对压缩视频提升主观视觉感知质量。
[0005]经过HEVC压缩解码后的视频帧能通过GAN的生成网络学习从已编码帧到原始帧的
映射，并通过GAN的判别网络来不断逼近这种映射，实现视频帧主观视觉感知的提升，最终有效去压缩。因此，本专利技术将提出一种基于GAN的HEVC压缩视频视觉感知提升方法网络结构，结合GAN的感知及失真平衡特性有效提高HEVC压缩视频的感知质量。

技术实现思路

[0006]随着大数据分析及人工智能的迅速发展，人们对视频的要求不仅是客观质量的保真，也需要满足人眼观察。因此本专利技术将提出一种对压缩视频主观视觉感知质量进行提升的方法-基于GAN的HEVC压缩视频视觉感知提升方法研究。所提深度网络中经过HEVC压缩后的视频帧通过GAN生成器输出重建图像，该输出图像可以有效指导GAN的判别器逼近已编码帧与原始帧之间的映射，再通过生成器的对抗性损失来不断学习这种映射，提高压缩视频序列的视觉感知质量，最终有效去除压缩效应。
[0007]本专利技术提出一种基于GAN的HEVC压缩视频视觉感知提升方法研究。首先设计了基于Convolution-BatchNorm-Relu结构的9层残差网络作为生成器G，一方面用于增强特征映射，提取更能表达重建视频帧信息的特征，另一方面引入残差学习可加快网络收敛。并在残差网络前进行下采，旨在实现空间分辨率的下采，减少网络参数，避免网络参数过多造成过拟合现象。最后为保证输入视频帧和重建帧尺寸一致，采用逆卷积层恢复到原始尺寸。其次判别器D设计为PatchGAN结构，该结构判别器以图像中每个N
×
N块为单位进行真假分类，整幅图像的输出为图像中所有块判别的平均结果。这种结构假设像素之间的独立性大于一个块的尺寸，其优点是避免以整幅图像判别作为输出时的极端结果。GAN的对抗性损失可以最小化生成器G生成图像与训练数据集中图像分布之间的距离，通过利用对抗性损失来实现视频帧的感知质量恢复。经过HEVC压缩后的视频帧能通过GAN的生成网络学习从已编码帧到原始帧的映射，并通过GAN的判别网络来不断逼近这种映射，得到高视觉感知质量的重建帧，最终有效去除干扰视觉观察的伪影。具体包括以下过程步骤：
[0008](1)生成图像残差网络；
[0009](2)将残差块个数n分别设置为5、7、9、11、13，其中9个残差块为生成器所选残差结构；
[0010](3)判别器不变并且生成器中其余层结构不变，分别将生成器中残差块设置为以上5个深度并训练，用5个残差深度下GAN的最佳模型重建压缩视频序列foreman_352
×
288并计算感知指数PI值(在本专利技术基于GAN的HEVC压缩视频视觉感知提升方法研究中，所提GAN框架生成器中的残差块设置为9层时，网络能获得更加丰富的纹理信息，能较好地去除视觉感知上的压缩伪影)；
[0011](4)本改进GAN框架中生成器G采用9层残差网络，能提取更能表达重建视频帧信息的特征并加快网络收敛；在残差网络前进行下采，Convolution-BatchNorm-Relu结构的下采层可以表示为公式(1)，
↓2表示该层卷积步长为2，旨在实现空间分辨率的下采，减少网络参数，并结合在残差网络中使用dropout层按照概率丢掉部分神经元，避免网络参数过多造成过拟合；最后为保证输入视频帧和重建帧尺寸一致，采用逆卷积层恢复到原始尺寸。同理，Convolution-BatchNorm-Relu结构的逆卷积层可以表示为(2)式，其中
↑2表示该层逆卷积步长为2。
[0012][0013][0014]本专利技术所提生成器G的配置如表1所列，结构层公式表示为：
[0015]F0(Y)＝Y
ꢀꢀ
(3)
[0016][0017][0018][0019][0020]F
15
＝W
15
·
F
14
(Y)+B
15
ꢀꢀ
(8)
[0021]F
16
＝Tan本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GAN的HEVC压缩视频视觉感知提升方法，其特征在于：(1)生成图像残差网络；(2)将残差块个数n分别设置为5、7、9、11、13，其中9个残差块为生成器所选残差结构；(3)判别器不变并且生成器中其余层结构不变，分别将生成器中残差块设置为以上5个深度并训练，用5个残差深度下GAN的最佳模型重建压缩视频序列foreman_352
×
288并计算感知指数PI值(在本发明基于GAN的HEVC压缩视频视觉感知提升方法研究中，所提GAN框架生成器中的残差块设置为9层时，网络能获得更加丰富的纹理信息，能较好地去除视觉感知上的压缩伪影)；(4)本改进GAN框架中生成器G采用9层残差网络，能提取更能表达重建视频帧信息的特征并加快网络收敛；在残差网络前进行下采，Convolution-BatchNorm-Relu结构的下采层可以表示为公式(1)，
↓2表示该层卷积步长为2，旨在实现空间分辨率的下采，减少网络参数，并结合在残差网络中使用dropout层按照概率丢掉部分神经元，避免网络参数过多造成过拟合；最后为保证输入视频帧和重建帧尺寸一致，采用逆卷积层恢复到原始尺寸；同理，Convolution-BatchNorm-Relu结构的逆卷积层可以表示为(2)式，其中
↑2表示该层逆卷积步长为2；步长为2；本发明所提生成器G的配置如表1所列，结构层公式表示为：F0(Y)＝Y
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)(3)(3)(3)F
15
＝W
15
·
F
14
(Y)+B
15
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)F
16
＝Tanh(F
15
(Y))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)其中，Y为已编码视频帧，W
i
和B
i
分别为第i层的权重和偏置；本发明所提判别器D的配置如表2所列，结构层公式表示为：F0(Y)＝Y
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)F1(Y)＝LeakyRelu(W1·
F0(Y)+B1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)F
i
(Y)＝F
NormLeaky
(Y),i＝{2,3,4}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)F5＝W5·
F4(Y)+B5ꢀꢀꢀꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：何小海，王婷，汤博文，吴晓红，熊淑华，陈洪刚，滕奇志，
申请(专利权)人：四川大学，
类型：发明
国别省市：