【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种图像超分方法及装置。
技术介绍
1、图像超分技术是一种由低分辨率图像恢复出高分辨率图像的技术。由于图像超分辨率业务目前已成为图像画质增强中的重点业务，因此图像超分技术是当前图像处理领域的研究热点之一。
2、目前，包含通道自注意力机制(channel self-attention)的图像超分模型已在图像超分领域取得了极大的进展。然而，通道自注意力机制虽然可以获取较大的感受野，但由于通道自注意力机制内有大量维度变换操作(reshape操作)，因此包含通道自注意力机制的图像超分模型运行速度很慢。
技术实现思路
1、有鉴于此，本申请提供了一种图像超分方法及装置，用于在保证图像超分效果的同时提升图像超分模型的运行速度。
2、为了实现上述目的，本申请实施例提供技术方案如下：
3、第一方面，本申请的实施例提供了一种图像超分方法，包括：
4、对待超分图像进行特征提取，获取第一图像特征；
5、通过残差网络对所述第一图像特征进行处理，获取第二图像特征；所述残差网络包括多级串接的残差块；
6、从特征空间维度将所述第二图像特征分割为多个第一特征块；
7、基于通道自注意力机制分别对所述多个第一特征块进行重标定，获取各个第一特征块对应的第二特征块；
8、合并各个第一特征块对应的第二特征块，生成第三图像特征；
9、根据所述第三图像特征和所述待超分图像生成所述待超分图像对应的
10、作为本申请实施例一种可选的实施方式，所述对待超分图像进行特征提取，获取第一图像特征，包括：
11、通过特征提取网络对所述待超分图像进行特征提取，以获取所述第一图像特征；
12、其中，所述特征提取网络包括：编码模块和解码模块；所述编码模块包括l级串接且空间尺度均不相同的编码器，各级编码器均由串接的卷积层和残差块组成；所述解码模块包括l-1级串接的解码器，第i级解码器用于将所述第i级解码器的输入特征上采样为与第l-i级编码器的空间尺度相同的上采样特征，合并所述上采样特征和第l-i级编码器的输出特征，获取合并特征，以及对所述合并特征进行卷积融合处理，获取所述第i级解码器的输出特征，l、i均为正整数，且i＜l。
13、作为本申请实施例一种可选的实施方式，所述基于通道自注意力机制分别对所述多个第一特征块进行重标定，获取各个第一特征块对应的第二特征块，包括：通过注意力网络分别对所述多个第一特征块进行重标定，以获取各个第一特征块对应的第二特征块；
14、其中，所述注意力网络包括：多级串接的通道自注意力模块，任一级通道自注意力模块用于：将该通道自注意力模块的输入特征扁平化为二维特征，获取扁平化特征；分别通过第一线性映射层、第二线性映射层以及第三线性映射层对所述扁平化特征进行处理，获取第一编码特征、第二编码特征以及第三编码特征；根据所述第一编码特征和第二编码特征，获取通道注意力矩阵；根据所述通道注意力矩阵对所述第三编码特征进行重标定，获取重标定特征；对所述重标定特征进行反扁平化处理，以获取反扁平化特征；对所述反扁平化特征进行正则化处理，获取正则化特征，根据所述正则化特征获取该通道自注意力模块的输出特征。
15、作为本申请实施例一种可选的实施方式，所述对所述反扁平化特征进行正则化处理，获取正则化特征，包括：
16、通过第一激活函数对所述反扁平化特征进行处理，获取第一变换特征；
17、对所述第一变换特征进行卷积处理，获取所述正则化特征。
18、作为本申请实施例一种可选的实施方式，所述根据所述正则化特征获取该通道自注意力模块的输出特征，包括：
19、通过前馈网络ffn对所述正则化特征进行处理，获取前馈特征；
20、对所述前馈特征进行正则化处理，获取所述输出特征。
21、作为本申请实施例一种可选的实施方式，所述对所述前馈特征进行正则化处理，获取第二正则化特征，包括：
22、通过第二激活函数对所述前馈网络的输出特征进行处理，获取第二变换特征；
23、对所述第二变换特征进行卷积处理，获取所述第二正则化特征。
24、作为本申请实施例一种可选的实施方式，所述根据所述第三图像特征和所述待超分图像生成所述待超分图像对应的超分图像，包括：
25、对所述第三图像特征进行上采样，获取第四图像特征；
26、根据所述第四图像特征和所述待超分图像生成所述待超分图像对应的超分图像。
27、作为本申请实施例一种可选的实施方式，所述对所述第二图像特征进行上采样，包括：
28、通过像素重组的上采样方式对所述第二图像特征进行上采样。
29、作为本申请实施例一种可选的实施方式，所述根据所述第四图像特征和所述待超分图像生成所述待超分图像对应的超分图像，包括：
30、对所述待超分图像进行线性插值，获取插值图像；
31、对所述插值图像和所述第四图像特征进行相加融合，以获取所述待超分图像对应的超分图像。
32、第二方面，本申请实施例提供了一种图像超分装置，包括：
33、提取单元，用于对待超分图像进行特征提取，获取第一图像特征；
34、处理单元，用于通过残差网络对所述第一图像特征进行处理，获取第二图像特征；所述残差网络包括多级串接的残差块；
35、分割单元，用于从特征空间维度将所述第二图像特征分割为多个第一特征块；
36、标定单元，用于基于通道自注意力机制分别对所述多个第一特征块进行重标定，获取各个第一特征块对应的第二特征块；
37、合并单元，用于合并各个第一特征块对应的第二特征块，生成第三图像特征；
38、生成单元，用于根据所述第三图像特征和所述待超分图像生成所述待超分图像对应的超分图像。
39、作为本申请实施例一种可选的实施方式，所述提取单元，具体用于通过特征提取网络对所述待超分图像进行特征提取，以获取所述第一图像特征；
40、其中，所述特征提取网络包括：编码模块和解码模块；所述编码模块包括l级串接且空间尺度均不相同的编码器，各级编码器均由串接的卷积层和残差块组成；所述解码模块包括l-1级串接的解码器，第i级解码器用于将所述第i级解码器的输入特征上采样为与第l-i级编码器的空间尺度相同的上采样特征，合并所述上采样特征和第l-i级编码器的输出特征，获取合并特征，以及对所述合并特征进行卷积融合处理，获取所述第i级解码器的输出特征，l、i均为正整数，且i＜l。
41、作为本申请实施例一种可选的实施方式，所述标定单元，具体用于通过注意力网络分别对所述多个第一特征块进行重标定，以获取各个第一特征块对应的第二特征块；
42、其中，所述注意力网络包括：多级串接的通道自注意力模块，任一级通道自注意力模块用于：本文档来自技高网...
【技术保护点】
1.一种图像超分方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对待超分图像进行特征提取，获取第一图像特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于通道自注意力机制分别对所述多个第一特征块进行重标定，获取各个第一特征块对应的第二特征块，包括：通过注意力网络分别对所述多个第一特征块进行重标定，以获取各个第一特征块对应的第二特征块；
4.根据权利要求3所述的方法，其特征在于，所述对所述反扁平化特征进行正则化处理，获取正则化特征，包括：
5.根据权利要求3所述的方法，其特征在于，所述根据所述正则化特征获取该通道自注意力模块的输出特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述对所述前馈特征进行正则化处理，获取第二正则化特征，包括：
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述第三图像特征和所述待超分图像生成所述待超分图像对应的超分图像，包括：
8.根据权利要求7所述的方法，其特征在于，所述对所述第二图像特征进行上采样，包括：>
9.根据权利要求7所述的方法，其特征在于，所述根据所述第四图像特征和所述待超分图像生成所述待超分图像对应的超分图像，包括：
10.一种图像超分装置，其特征在于，包括：
11.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现权利要求1-9任一项所述的图像超分方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-9任一项所述的图像超分方法。
...【技术特征摘要】
1.一种图像超分方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对待超分图像进行特征提取，获取第一图像特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于通道自注意力机制分别对所述多个第一特征块进行重标定，获取各个第一特征块对应的第二特征块，包括：通过注意力网络分别对所述多个第一特征块进行重标定，以获取各个第一特征块对应的第二特征块；
4.根据权利要求3所述的方法，其特征在于，所述对所述反扁平化特征进行正则化处理，获取正则化特征，包括：
5.根据权利要求3所述的方法，其特征在于，所述根据所述正则化特征获取该通道自注意力模块的输出特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述对所述前馈特征进行正则化处理，获取第二正则化特征，包括：
7.根据权利要求1-6...
【专利技术属性】
技术研发人员：董航，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。