基于非配对学习的提升视频清晰度的方法及装置制造方法及图纸

本发明专利技术提供一种基于非配对学习的提升视频清晰度的方法及装置，包括：对于给定的低清晰度视频，选择内容相似的非配对高清晰度视频作为参考并进行降采样使其相似度相近，取高低清晰度视频关键帧中的亮度分量进行量化并随机裁切图像块，形成低清晰度

【技术实现步骤摘要】
基于非配对学习的提升视频清晰度的方法及装置


[0001]本专利技术涉及一种图像处理
的方法，具体是一种基于非配对学习的提升视频清晰度的方法及装置。

技术介绍

[0002]清晰度是指在图像分辨率相同的情况下，人眼感知的物体边界轮廓、细节纹理的显著程度。一般来说，更多的局部细节纹理与更高局部对比度能够让人眼感知到更高的清晰度。现存的大量旧影视片的摄影装置质量低于当前的主流摄影装置，因此老片与现在的摄像机拍摄的视频相比，往往存在清晰度低的问题。有的老片使用胶片相机拍摄，使用扫描仪将胶片数字化的过程也可能导致清晰度降低；许多视频由于采用较低码率编码或者传播中经过多次降采样和上采样操作也导致了清晰度的降低。与当前主流的高清晰度影视剧相比，低清晰度视频会让人看不清楚物体的边缘轮廓和纹理细节，从而严重影响人眼的主观视觉体验。
[0003]以往的大多数深度学习方法基于配对学习训练神经网络进行视频增强，依靠真实高质量图像与对其施加了某种图像退化模型得到的低质量图像配对进行学习，因此基于配对学习训练的网络往往只针对某个图像退化模型造成的损伤进行修复。基于配对学习的神经网络提高真实低质量视频清晰度存在两个问题：第一个问题为真实低清晰度视频可能存在多种退化原因，如果根据每一种退化原因训练一个增强网络会造成较高的方法复杂度，但多个增强网络可能会相互影响导致增强后的视频出现伪影；第二个问题为难以判断真实低清晰度视频的退化原因，因此只能多次尝试使用不同的网络进行增强并人工判断增强结果的好坏，需要消耗大量人力和时间且不一定能够获得较好的增强效果。现有的非配对学习视频增强同样仍然是针对一个退化的方式进行优化的，而且在数据集的构建过程中往往也只选择针对一个方面的低质量图像，使得网络学到的只是一种退化方式。

技术实现思路

[0004]针对现有技术中存在的不足，本专利技术提供一种基于非配对学习的提升视频清晰度的方法及装置，考虑到内容相似视频之间的关联，使用真实低清晰度视频与非配对的内容相似的高清晰度视频构建非配对数据集，设计了基于卷积神经网络的低高清晰度图像生成器和低清晰度视频判别器，以及评估图像增强效果的损失函数，并通过训练取得了较好的主观效果与客观指标。
[0005]本专利技术的第一目的，提供一种基于非配对学习的提升视频清晰度的方法，包括：
[0006]S1：构建非配对数据集：对于给定的低清晰度视频，选择内容相似的非配对高清晰度视频作为参考并进行降采样使其相似度相近，取低清晰度视频以及降采样后的高清晰度视频关键帧中的亮度分量进行量化并随机裁切图像块，形成低清晰度
‑
非配对高清晰度图像数据集作为训练数据集；对于给定的低清晰度视频，再选择其中连续的一段视频帧图像，取其亮度分量进行量化后作为测试数据集；
[0007]S2：建立非配对学习网络，所述非配对学习网络包括基于卷积神经网络的低清晰度图像生成器、低清晰度图像判别器和高清晰度图像生成器，其中，
[0008]所述低清晰度图像生成器用于将高清晰度图像转换为低清晰度图像；将高清晰度图像输入所述低清晰度图像生成器，输出假的低清晰度图像；
[0009]所述低清晰度图像判别器用于区分输入图像是真实的低清晰度图像还是低清晰度图像生成器输出的假的低清晰度图像；
[0010]所述高清晰度图像生成器用于将转换后的低清晰度图像再转换为高清晰度图像；将假的低清晰度图像输入所述高清晰度图像生成器，重建出高清晰度图像；
[0011]S3：建立由对抗损失、高清晰度图像重建损失以及同一性损失构成的综合损失函数，以最小化损失函数为目标，使用所述训练数据集优化更新生成对抗网络，训练生成对抗网络，使得低清晰度图像生成器、高清晰度图像生成器都能实现更好的低高清晰度图像域之间的相互映射；
[0012]S4：训练完成后，将所述测试数据集输入到所述高清晰度图像生成器中，并与原图像色度信号结合，重建出高清晰度图像。
[0013]优选地，所述构建非配对数据集，其中：建立数据集时，对低清晰度视频选择对应的主体内容相似的非配对高清晰度视频，并通过双三次插值将高清晰度视频降采样使其分辨率与低清晰度视频分辨率高度相同。从低高清晰度视频的关键帧中选取包含相关主体内容的视频帧图像，选取视频图像的数字亮度信号并将其归一化为亮度信号，形成单通道的亮度视频帧图像组成非配对的低高清晰度图像数据集，在训练过程中将图像裁切为图像块并随机水平翻转后再用于训练，数据集中低清晰度图像与高清晰度图像的数量可以不同。
[0014]更优选地，数字亮度信号d
′
Y
通过以下公式归一化为亮度信号
[0015][0016]而后，而后再将亮度信号截断为[0，1]范围内的亮度信号e
′
Y
，
[0017][0018]e
′
Y
即为数据集中用于训练与测试的亮度信号。
[0019]优选地S2中的神经网络由低清晰度图像生成器、低清晰度图像判别器和高清晰度图像生成器组成。其中低清晰度图像生成器将高清晰度图像转换为低清晰度图像；低清晰度图像判别器的任务是区分输入图像是真实的低清晰度图像还是低清晰度图像生成器的输出结果，而高清晰度图像生成器则将转换后的低清晰度图像再转换为高清晰度图像。
[0020]优选地，所述S3中，网络整体的训练损失分为三部分，
[0021]L＝L
GAN
+λ1L
rec
+λ2L
idt
[0022]其中包括低清晰度图像生成器和判别器的对抗损失L
GAN
，确保低清晰度图像生成器与高清晰度图像生成器两次输出后图像整体结构保持一致的高清晰度图像重建损失L
rec
，以及确保以高清图像作为高清晰度图像生成器的输入时输出图像不改变(对低清晰度图像生成器同理)的同一性损失L
idt
三部分组成。λ1与λ2是超参数，控制三种损失函数的比重。
[0023]G
L
为低清晰度图像生成器，D
L
表示低清晰度图像判别器，x表示真实的低清晰度图像，y表示高清晰度图像，G
L
(y)为生成器的输出结果，而D
L
(x)表示判别器对x的判别结果，E
[
·
]表示均方差，||
·
||1表示L1损失。
[0024]判别器D
L
的优化目标是使L
GAN
(G
L
，D
L
)最小，而生成器G
L
的优化目标是使L
GAN
(G
L
，D
L
)最大，为了使训练更加稳定并且生成质量更高的结果，本专利技术采用用了最小均方计算生成对抗网络损失，对抗损失L
GAN
被写为，
[0025][0026]高清晰度图像重建损失不仅可以优化GH的参数使其学习到从低清晰度图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非配对学习的提升视频清晰度的方法，其特征在于，包括：S1：构建非配对数据集：对于给定的低清晰度视频，选择内容相似的非配对高清晰度视频作为参考并进行降采样使其相似度相近，取低清晰度视频以及降采样后的高清晰度视频关键帧中的亮度分量进行量化并随机裁切图像块，形成低清晰度
‑
非配对高清晰度图像数据集作为训练数据集；对于给定的低清晰度视频，再选择其中连续的一段视频帧图像，取其亮度分量进行量化后作为测试数据集；S2：建立基于卷积神经网络的低清晰度图像生成器、低清晰度图像判别器和高清晰度图像生成器，构成生成对抗网络，其中，所述低清晰度图像生成器用于将高清晰度图像转换为低清晰度图像；将高清晰度图像输入所述低清晰度图像生成器，输出假的低清晰度图像；所述低清晰度图像判别器用于区分输入图像是真实的低清晰度图像还是低清晰度图像生成器输出的假的低清晰度图像；所述高清晰度图像生成器用于将转换后的低清晰度图像再转换为高清晰度图像；将假的低清晰度图像输入所述高清晰度图像生成器，重建出高清晰度图像；S3：建立由对抗损失、高清晰度图像重建损失以及同一性损失构成的综合损失函数，以最小化损失函数为目标，使用所述训练数据集优化更新所述生成对抗网络，训练该生成对抗网络，使得低清晰度图像生成器、高清晰度图像生成器都能实现更好的低高清晰度图像域之间的相互映射；S4：训练完成后，将所述测试数据集输入到所述高清晰度图像生成器中，并与原图像色度信号结合，重建出高清晰度图像。2.根据权利要求1所述的基于非配对学习的提升视频清晰度的方法，其特征在于：所述构建非配对数据集，其中：建立数据集时，对低清晰度视频选择对应的主体内容相似的非配对高清晰度视频，并通过双三次插值将高清晰度视频降采样使其分辨率与低清晰度视频分辨率高度相同；从低高清晰度视频的关键帧中选取包含相关主体内容的视频帧图像，选取视频图像的数字亮度信号并将其归一化为亮度信号，形成单通道的亮度视频帧图像组成非配对的低高清晰度图像数据集；在训练过程中将图像裁切为图像块并随机水平翻转后再用于训练，非配对的低高清晰度图像数据集中低清晰度图像与高清晰度图像的数量可以不同。3.根据权利要求2所述的基于非配对学习的提升视频清晰度的方法，其特征在于：所述数字亮度信号d
′
Y
通过以下公式归一化为亮度信号化为亮度信号而后，再将亮度信号截断为[0,1]范围内的亮度信号e
′
Y
：e
′
Y
即为数据集中用于训练与测试的亮度信号。4.根据权利要求1所述的基于非配对学习的提升视频清晰度的方法，其特征在于：所述低清晰度图像生成器与所述高清晰度图像生成器具有相同的结构，其中：生成器先通过一个7
×
7的卷积层提取特征，然后经过两个步长为2的卷积层降采样，再
通过9个残差块，然后通过两个转置卷积上采样为原始分辨率，最后经过一个7
×
7的卷积层输出最后的结果；生成器使用实例归一化，同时，生成器中除最后一层输出层使用双曲正切函...

【专利技术属性】
技术研发人员：宋利，陈晋进，解蓉，甘文耀，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：