基于深度学习的短视频超分辨率转换方法、装置及介质制造方法及图纸

本申请涉及短视频分辨率技术领域，具体来说，本申请涉及基于深度学习的短视频超分辨率转换方法、装置及介质。所述方法包括：获取待超分辨率转换的短视频；将待超分辨率转换的短视频输入到去噪网络先进行预设卷积运算，得到不同尺度大小的特征图像；将所述不同尺度大小的特征图像进行元素相加融合，将融合后的特征图像输入到去噪网络的后续层中，得到去除噪声的短视频图像；将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像。本方法可以提高在多种拍摄场景下的超分辨率适应性，并改善由于设备差异、手抖和物体位移等导致画面效果差的问题，提升短视频画面质量。提升短视频画面质量。提升短视频画面质量。

【技术实现步骤摘要】
基于深度学习的短视频超分辨率转换方法、装置及介质


[0001]本申请涉及视频分辨率
，更为具体来说，本申请涉及基于深度学习的短视频超分辨率转换方法、装置及介质。

技术介绍

[0002]随着网络基础设施的快速发展和移动设备的迅速普及，短视频在当前信息社会中的影响力不断增强，观看短视频已经成为人们在线休闲消遣的主要娱乐方式之一。因为短视频具有创作简单、制作门槛较低等特点，所以越来越多的用户通过手机等移动设备完成视频的制作和分享。但是，由于拍摄设备的差异，再加上拍摄过程中容易受到手抖、位移运动和光照环境的影响，使得短视频的质量相较于专业视频有较大差距，从而影响用户的观赏体验。
[0003]随着视频超分辨率技术的发展，基于传统方法的视频超分辨率技术需要进行视频帧之间的配准，配准算法的精度直接影响视频超分效果，并且传统方法也不足以适应视频中的各种场景。基于深度学习的视频超分辨率技术虽然具有较强的特征提取和学习能力，但是短视频复杂多变的拍摄场景也为视频帧间关系挖掘带来了挑战。
[0004]因此，本申请提出了一种基于深度学习的短视频超分辨率转换方法与装置，以解决此问题。

技术实现思路

[0005]为实现上述技术目的，本申请提供了一种基于深度学习的短视频超分辨率转换方法，包括以下步骤：
[0006]获取待超分辨率转换的短视频；
[0007]将待超分辨率转换的短视频输入到去噪网络先进行预设卷积运算，得到不同尺度大小的特征图像；
[0008]将所述不同尺度大小的特征图像进行元素相加融合，将融合后的特征图像输入到去噪网络的后续层中，得到去除噪声的短视频图像；
[0009]将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像。
[0010]优选地，所述去噪网络和所述超分辨率转换网络均为训练好的网络。
[0011]具体地，所述注意力模块包括通道注意力模块和空间注意力模块。
[0012]进一步地，所述将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像，具体包括：
[0013]对所述去除噪声的短视频图像进行预设卷积运算，得到中间过程特征图像；
[0014]将所述中间过程特征图像分别输入到所述通道注意力模块和所述空间注意力模块，得到通道注意力特征图像和空间注意力特征图像；
[0015]将所述通道注意力特征图像和所述空间注意力特征图像采用元素相加的方式进
行融合，得到通道注意力和空间注意力融合的特征图像；
[0016]将所述通道注意力和空间注意力融合的特征图像进行点乘运算，得到注意力加权后的特征图像；
[0017]将所述注意力加权后的特征图像输入到所述超分辨率转换网络的后续层中，最终得到画面提升的高分辨率短视频图像。
[0018]本方案上述的去噪网络和超分辨率网络都要求为训练好的，所述去噪网络和所述超分辨率转换网络的训练步骤为：
[0019]获取短视频训练样本，所述样本由同一拍摄场景下的高分辨率短视频和低分辨率短视频组成；
[0020]将所述低分辨率短视频输入到去噪网络中，得到去除噪声的短视频样本；
[0021]将所述去除噪声的短视频样本输入到嵌入注意力模块的超分辨率转换网络中进行训练，得到画面提升的高分辨率短视频图像；
[0022]根据所述超分辨率转换网络输出的高分辨率短视频图像和对应真实拍摄的高分辨率短视频图像之间的差异，调整所述去噪网络和所述嵌入注意力模块的超分辨率转换网络的参数；
[0023]当迭代次数达到预设次数时，终止训练。
[0024]优选地，所述通道注意力模块由多个自适应大小的卷积核和非线性运算层组成，所述空间注意力模块由多个大小为1*1的卷积核和非线性运算层组成。
[0025]本方明第二方面提供一种基于深度学习的短视频超分辨率转换装置，所述装置包括：
[0026]获取模块，用于获取待超分辨率转换的短视频；
[0027]卷积模块，用于将待超分辨率转换的短视频输入到去噪网络先进行预设卷积运算，得到不同尺度大小的特征图像；
[0028]融合模块，用于将所述不同尺度大小的特征图像进行元素相加融合，将融合后的特征图像输入到去噪网络的后续层中，得到去除噪声的短视频图像；
[0029]超分辨率转换模块，包括注意力模块，用于将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像。
[0030]选择性地，所述装置还包括参数调整模块，根据所述超分辨率转换网络输出的高分辨率短视频图像和对应真实拍摄的高分辨率短视频图像之间的差异，调整参数。
[0031]本专利技术第三方面提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如下步骤：
[0032]获取待超分辨率转换的短视频；
[0033]将待超分辨率转换的短视频输入到去噪网络先进行预设卷积运算，得到不同尺度大小的特征图像；
[0034]将所述不同尺度大小的特征图像进行元素相加融合，将融合后的特征图像输入到去噪网络的后续层中，得到去除噪声的短视频图像；
[0035]将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像。
[0036]本专利技术第四方面提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行以下步骤：
[0037]获取待超分辨率转换的短视频；
[0038]将待超分辨率转换的短视频输入到去噪网络先进行预设卷积运算，得到不同尺度大小的特征图像；
[0039]将所述不同尺度大小的特征图像进行元素相加融合，将融合后的特征图像输入到去噪网络的后续层中，得到去除噪声的短视频图像；
[0040]将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像。
[0041]本申请的有益效果为：本专利技术的所述方法与装置可以提高在多种拍摄场景下的超分辨率适应性，并改善由于设备差异、手抖和物体位移等导致画面效果差的问题，提升短视频画面质量。
附图说明
[0042]图1示出了本申请实施例1的方法流程示意图；
[0043]图2示出了本申请实施例1中网络训练的方法流程示意图；
[0044]图3示出了本申请实施例2的去噪网络结构示意图；
[0045]图4示出了本申请实施例2的超分辨率转换网络结构示意图；
[0046]图5示出了本申请实施例2的注意力模块结构示意图；
[0047]图6示出了本申请实施例3的装置结构示意图；
[0048]图7示出了本申请一实施例所提供的一种电子设备的结构示意图；
[0049]图8示出了本申请一实施例所提供的一种存储介本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的短视频超分辨率转换方法，其特征在于，包括以下步骤：获取待超分辨率转换的短视频；将待超分辨率转换的短视频输入到去噪网络先进行预设卷积运算，得到不同尺度大小的特征图像；将所述不同尺度大小的特征图像进行元素相加融合，将融合后的特征图像输入到去噪网络的后续层中，得到去除噪声的短视频图像；将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像。2.根据权利要求1所述的基于深度学习的短视频超分辨率转换方法，其特征在于，所述去噪网络和所述超分辨率转换网络均为训练好的网络。3.根据权利要求1所述的基于深度学习的短视频超分辨率转换方法，其特征在于，所述注意力模块包括通道注意力模块和空间注意力模块。4.根据权利要求3所述的基于深度学习的短视频超分辨率转换方法，其特征在于，所述将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像，具体包括：对所述去除噪声的短视频图像进行预设卷积运算，得到中间过程特征图像；将所述中间过程特征图像分别输入到所述通道注意力模块和所述空间注意力模块，得到通道注意力特征图像和空间注意力特征图像；将所述通道注意力特征图像和所述空间注意力特征图像采用元素相加的方式进行融合，得到通道注意力和空间注意力融合的特征图像；将所述通道注意力和空间注意力融合的特征图像进行点乘运算，得到注意力加权后的特征图像；将所述注意力加权后的特征图像输入到所述超分辨率转换网络的后续层中，最终得到画面提升的高分辨率短视频图像。5.根据权利要求2所述的基于深度学习的短视频超分辨率转换方法，其特征在于，所述去噪网络和所述超分辨率转换网络的训练步骤为：获取短视频训练样本，所述样本由同一拍摄场景下的高分辨率短视频和低分辨率短视频组成；将所述低分辨率短视频输入到去噪网...

【专利技术属性】
技术研发人员：傅慧源，马华东，刘蓬，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：