【技术实现步骤摘要】
本专利技术涉及计算机视觉的视频超分领域，特别涉及一种基于可变形transformer对齐的多尺度调制视频超分重构方法。
技术介绍
1、目前，随着互联网视频数据的飞速增长，用户对视频质量的需求不断提升，然而，由于带宽限制，视频常常被降采样和压缩，导致质量下降，因此，视频超分辨率(videosuper-resolution，vsr)作为一种视频增强技术应运而生，它旨在提高视频的分辨率，从而提高其清晰度和细节，从而改善由于压缩、传输过程中的质量损失或原始录制分辨率较低而导致的低分辨率视频的质量。传统视频超分辨率方法主要依赖于基于图像处理和统计推断的算法，这些方法在深度学习技术之前是主流。如基于插值的方法：双线性插值、双三次插值和最近邻插值；基于稀疏表示的方法：字典学习；基于正则化方法：最大后验估计、总变差正则化。虽然传统方法在处理视频超分辨率方面取得了一定的成功，但也存在一些固有的缺陷，如重建细节不足、对复杂运动场景的适应性差、计算量大等。
2、现有技术中，成熟的vsr网络模型通常包括一个对齐模块来补偿帧间对象的运动。对齐模块对基于cnn的vsr网络至关重要，因为cnn的局部性归纳偏置只允许它们有效地利用空间紧密的分布信息。同时，基于cnn的vsr的最新进展通过添加如残差学习、密集连接和可变形卷积等技术显示出更佳的性能。psrt提出了对图像补丁对齐的方法，通过将图像裁剪为不重叠、小的自注意力窗口大小的补丁，之后在这些补丁上进行对齐，根据光流定位物体的运动，采用最近邻采样将视频帧对齐到参考帧中的相应位置，最后将这些对齐之后的
3、但是，基于cnn的vsr网络中，cnn的有限感受野只能利用空间上紧密分布的信息，无法处理未对齐的、范围广泛的大运动。引入vsr任务中的transformer保留了复杂的对齐模块，并且只能处理低频率层次的信息，显著增加了计算负担，并且无法有效获取多尺度的图像特征，从而导致其重构的效果不够理想，现有最新的视频超分重构方法虽然获得了比较理想的重构效果，但是增加了网络的参数量，使网络复杂度提高，加重了计算负担。
4、因此，在进行视频超分重构时，如何在保证重构图像拥有高分辨率的同时利用相对较少的网络参数提高视频超分重构的计算效率来实现网络复杂度与性能之间的平衡是现有技术有待解决的问题。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于可变形transformer对齐的多尺度调制视频超分重构方法。
2、本专利技术提供了一种基于可变形transformer对齐的多尺度调制视频超分重构方法，包括：
3、一种基于可变形transformer对齐的多尺度调制视频超分重构方法，包括以下步骤：
4、从视频源获取低分辨率视频帧序列，从多帧低分辨率视频帧序列中提取浅层特征图序列；
5、构建包括可变形transformer对齐模块，多尺度调制模块，swintransformer混合模块以及重建模块的基于可变形transformer对齐的多尺度调制网络；
6、将浅层特征图序列输入基于可变形transformer对齐的多尺度调制网络；
7、通过可变形transformer对齐模块，采用光流对支持帧进行特征预对齐，利用偏移生成网络生成预对齐特征与支持帧之间的偏移量，用以捕获支持帧的相关性关键区域，使用自注意力机制对支持帧的相关性关键区域进行建模，聚合关键区域的关键特征，获得对齐特征图序列；
8、通过多尺度调制模块，在线性层构建时间相关性信息并将多尺度调制模块的输入通道平均划分为多个头部，对每个头部采用不同的3d深度卷积扩展感受野，引入时间相关性信息进行不同尺度的特征融合，获得调制特征图；
9、通过swin transformer混合模块，对调制特征图进行空间特征捕捉，获得调制特征图的细节纹理信息；
10、通过重建模块，采用子像素卷积pixelshuffle的上采样方式将调制特征图及其细节纹理信息进行重构，获得高分辨率图像。
11、优选地，所述浅层特征图序列的获取，具体包括：
12、从视频源获取低分辨率视频帧；
13、设基于可变形transformer对齐的多尺度调制网络的任一传播通道j，则视频帧序列可表示为其中，j＝1,2,3,…，i＝1,2,3,…；
14、从视频帧序列中提取浅层特征图序列
15、其中，表示支持帧，即第j个传播分支中的第i个时间步的浅层特征图，为参考帧，分别代表第i-1和i+1时间步的浅层特征图为第i+1时间步的浅层特征图，分别与互为相邻帧。
16、优选地，所述基于可变形transformer对齐的多尺度调制视频超分重构方法的网络结构是基于改进型基础视频超分辨率网络basic vsr++的递归双向网络结构。
17、优选地，其特征在于，所述对齐特征图序列的获得，具体包括：
18、将浅层特征序列输入至可变形transformer对齐模块；
19、以为参考帧，为支持帧，采用光流估计对参考帧和支持帧进行帧间预对齐，得到预对齐特征：
20、
21、其中，分别为支持帧的两个预对齐特征，w为扭曲操作，flowi-1→i和分别表示第i-1帧到第i帧和第i+1帧到第i帧的光流；
22、将支持帧通过卷积层投影到高频空间，通过公式计算得到高频空间特征；其中，q～为高频空间特征，wq为1×1的卷积层，为支持帧；
23、通过偏移生成网络计算高频空间特征与预对齐特征之间的偏移量，计算公式为：
24、
25、
26、其中，θoffset表示偏移生成网络，由一个深度卷积和一个3×3卷积组成，cat表示拼接操作；
27、将生成的偏移量和光流相加得到光流的残差微调，以确定变形点的采样位置，利用双线性插值的采样函数并通过光流的残差微调对初始对齐特征计算空间采样变形化特征，计算公式为：
28、
29、其中，分别为空间采样变形化特征，为双线性插值的采样函数，flow'i-1→i和flow'i+1→i分别为两参考帧光流的残差微调；
30、通过投影分别获得变形的键和值，利用支持帧对变形化的键和值进行查询，采用自注意力机制对支持帧的相关性关键区域建模并聚合关键特征，得到与支持帧相关的对齐特征，该过程可公式化为：
31、
32、其中，k～和v～为空间采样变形化特征的键和值，wk和wv分别为1×1的卷积层，是空间采样变形化的特征的键和值的投影，分别为支持帧的对齐特征，softmax为激活函数，d为参考帧的维度，b是相对位置偏置，r是q～和k～之间的相对位移，表示相对位置偏差；
33、将支持帧与其对齐特征进行合并，获得对齐特征图序列
34、优选地，所述高频空本文档来自技高网...
【技术保护点】
1.一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，包括：
2.如权利要求1所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述浅层特征图序列的获取，具体包括：
3.如权利要求1所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述基于可变形transformer对齐的多尺度调制视频超分重构方法的网络结构是基于改进型基础视频超分辨率网络Basic VSR++的递归双向网络结构。
4.如权利要求1所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述对齐特征图序列的获得，具体包括：
5.如权利要求3所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述高频空间特征与预对齐特征之间的偏移量反映进一步特征对齐所需的偏移。
6.如权利要求1所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述调制特征图的获
7.如权利要求6所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述线性层相关信息的构建通过一个3×3的3D深度卷积操作所得。
8.如权利要求5所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述针对于每个头部的对齐特征图序列，对其进行不同感受野的3D深度卷积操作并聚合，具体包括：
9.如权利要求5所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述将所得多尺度图像特征按照头部进行混洗并分组的方式为从每个头部中随机选择一个通道从而构建一个组。
10.如权利要求1所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述高分辨率图像的获得，具体包括：
...【技术特征摘要】
1.一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，包括：
2.如权利要求1所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述浅层特征图序列的获取，具体包括：
3.如权利要求1所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述基于可变形transformer对齐的多尺度调制视频超分重构方法的网络结构是基于改进型基础视频超分辨率网络basic vsr++的递归双向网络结构。
4.如权利要求1所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述对齐特征图序列的获得，具体包括：
5.如权利要求3所述的一种基于可变形transformer对齐的多尺度调制视频超分重构方法，其特征在于，所述高频空间特征与预对齐特征之间的偏移量反映进一步特征对齐所需的偏移。
6.如权利要...
【专利技术属性】
技术研发人员：申志军，李传宗，范建中，顾睿雄，
申请(专利权)人：阜阳师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。