基于深度学习的轻量级高精度时空视频超分辨率方法技术

一种基于深度学习的轻量级高精度时空视频超分辨率方法，其特征在于，步骤：获取视频资源；通过

【技术实现步骤摘要】
基于深度学习的轻量级高精度时空视频超分辨率方法


[0001]本专利技术涉及数据处理
，具体地说是一种基于深度学习的轻量级高精度时空视频超分辨率方法
。

技术介绍

[0002]视频有两个重要的属性，即时间分辨率（又称帧率）和空间分辨率
。
时空视频超分辨率技术能够同时提升视频的时间分辨率和空间分辨率
。
而近几年基于深度学习的时空视频超分辨率技术发展迅速
。
[0003]中国专利技术专利申请
ꢀ“
基于跨帧自注意力变换网络的时空视频超分辨率重建方法”（申请号 202210076937 .1
）提供了一种跨帧自注意力的时空视频超分辨技术方法
。
该专利文献将低分辨率低帧率的连续图片序列输入所述训练完成的基于跨帧自注意力变换网络，获得高帧率高分辨率的连续图片序列
。
[0004]中国专利技术专利申请“一种时空视频超分辨率方法
、
装置
、
设备及存储介质”（申请号 202310092691 .1
）提供了一种时空视频超分辨率方法
。
此专利将连续的四帧作为时空视频超分辨率模型的输入，然后根据输出的生成结果确定与待处理视频帧序列对应的时空视频超分辨率结果；其中的时空视频超分辨率模型中至少包括两个视频帧对齐模块，视频帧对齐模块用于提取输入视频帧序列的空间局部特征信息和时间全局特征信息，并根据空间局部特征信息和时间全局特征信息对输入视频帧序列进行对齐
>。
[0005]也就是说，基于深度学习的时空视频超分辨率技术方法最开始通过两个不同的模型（时间维度
‑
帧插值技术模型，空间维度
‑
视频超分辨率技术模型）进行组合来实现时间分辨率和空间分辨率的提升，例如可以将视频先输入到帧插值模型中来提升视频的帧率，随后将所得到的结果输入到视频超分辨率模型中提升空间分辨率
。
很明显这是在两个模型中依次执行，注意到每个模型的结果都是会有误差的，将会导致误差累积问题，使得最终的高分辨率高帧率视频出现模糊
、
伪影等问题，播放出现抖动等现象
。
另外很重要的一点是两个模型的带来的模型冗余太大，参数量过高，占用内存较高，使得这种方法难以在低性能设备上部署运行
。
[0006]上述专利文献“一种时空视频超分辨率方法
、
装置
、
设备及存储介质”所提的方法采用了四个连续的帧作为模型的输入，那么相比于两个输入帧，其将会使得模型在运行过程中需要存储两倍的中间变量，这将会占用更多的内存（显存），难以在低显存的
GPU
上运行，显然不利于技术的传播
。
而此专利通过使用四个连续帧主要为了提供更多的时空信息以保持结果的准确度，由此取得一个权衡
。
[0007]基于深度学习的时空视频超分辨率技术方法需要经历获取数据集
、
模型构建
、
模型训练
、
参数优化
、
模型部署等过程
。
模型部署时一般需要使用的平台为带有
GPU
的
Windows
或
Linux
操作系统，对于大型服务器或高性能主机完全没有问题，但是难以在广大普通消费者的低性能设备或老旧设备上普及
。
这就需要构建并训练一个轻量化的且不失准确率的时空视频超分辨率模型
。
对于低性能设备也可以正常运行
。

技术实现思路

[0008]本专利技术是针对
技术介绍
中提到的技术问题，提供一种基于深度学习的轻量级高精度时空视频超分辨率方法
。
本专利技术的目的是通过轻量化的模型设计和结构以及处理流程的优化，使得本专利技术的模型具有高准确性和轻量化的优势，达到节省内存空间的目的，因为能够部署在低性能设备上，便于技术的应用和传播
。
[0009]为实现上述目的，本专利技术采用的技术方案是：一种基于深度学习的轻量级高精度时空视频超分辨率方法，其特征在于，具体包括下列步骤：（1）获取视频资源；（2）通过
ffmpeg
软件将步骤（1）的视频资料分解为帧序列；（3）从帧序列的首部开始，依次取连续的两帧作为模型的输入帧
;
（4）模型接收两帧图像信息，在这两帧中插值一帧；同时又将两帧和插值的一帧图像重建为指定倍数的高分辨率图像；（5）将所得到的高分辨率图像存储在硬件中，按照视频播放的顺序排序；（6）采用
ffmpeg
将高分辨率连续帧根据帧率要求编码为新的高分辨率高帧率视频；（7）发布新的视频
。
[0010]作为优选的技术方案：步骤（1）中所述的视频资源为低分辨率视频和低帧率视频；其中低分辨率视频为
720p
以下的视频，低帧率视频为
30fps
以下的视频
。
[0011]作为优选的技术方案：步骤（1）中视频资源为通过手机
、
摄像机
、
监控等终端设备获取离线视频资源；或通过互联网获取在线视频资源
。
[0012]作为优选的技术方案：步骤（4）中所述的模型为基于深度学习模式且训练好的时空视频超分辨率模型，其使用了公开数据集
Vimeo90K
作为模型训练的数据集，并经过多次参数调整所达到的最优的模型
。
[0013]作为优选的技术方案：所述模型给定低分辨率图像
L0和
L1，模型的目标是合成对应的高分辨率中间帧
L
t
以及高分辨率帧
H0和
H1；所述模型中的网络架构是先针对空间维度进行处理得到
H0和
H1，然后基于
H0和
H1完成中间帧
H
t
的重建；所述模型的处理流程如下：（
11
）网络通过一个特征提取模块提取输入帧的特征；（
22
）随后通过特征对齐模块对齐相邻帧特征信息；（
33
）重建模块得到残差信息，从而重建出
H0和
H1；（
44
）使用一个轻量级的帧插值模块得到粗糙的高分辨率帧
h
t
；（
55
）通过提出利用经过对齐的
F0和
F1在
h
t
的引导下进行特征插值；（
66
）经过同样的重建过程得到高分辨率中间帧
H
t
。
[0014]作为优选的技术方案：所述特征提取模块由5个级联的标准残差块构成
。
[0015]作为优选的技术方案：所述的轻量级帧插值模块主要由一个精简的
HRNet
构成，主要作用是对图像扭曲的孔洞进行填补和细化
。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于深度学习的轻量级高精度时空视频超分辨率方法，其特征在于，具体包括下列步骤：（1）获取视频资源；（2）通过
ffmpeg
软件将步骤（1）的视频资料分解为帧序列；（3）从帧序列的首部开始，依次取连续的两帧作为模型的输入帧
;
（4）模型接收两帧图像信息，在这两帧中插值一帧；同时又将两帧和插值的一帧图像重建为指定倍数的高分辨率图像；（5）将所得到的高分辨率图像存储在硬件中，按照视频播放的顺序排序；（6）采用
ffmpeg
将高分辨率连续帧根据帧率要求编码为新的高分辨率高帧率视频；（7）发布新的视频
。2.
根据权利要求1所述的基于深度学习的轻量级高精度时空视频超分辨率方法，其特征在于，步骤（1）中所述的视频资源为低分辨率视频和低帧率视频；其中低分辨率视频为
720p
以下的视频，低帧率视频为
30fps
以下的视频
。3.
根据权利要求1所述的基于深度学习的轻量级高精度时空视频超分辨率方法，其特征在于，步骤（1）中视频资源为通过手机
、
摄像机
、
监控等终端设备获取离线视频资源；或通过互联网获取在线视频资源
。4.
根据权利要求1所述的基于深度学习的轻量级高精度时空视频超分辨率方法，其特征在于，步骤（4）中所述的模型为基于深度学习模式且训练好的时空视频超分辨率模型，其使用了公开数据集
Vimeo90K
作为模型训练的数据集，并经过多次参数调整所达到的最优的模型
。5.
根据权利要求4所述的基于深度学习的轻量级高精度时空视频超分辨率方法，其特征在于，所述模型给定低分辨率图像
L0和
L1，模型的目标是合成对应...

【专利技术属性】
技术研发人员：谭秀磊，王崇文，刘淏伟，
申请(专利权)人：北京理工大学唐山研究院，
类型：发明
国别省市：