【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于图像结构建模的transformer超分辨率网络的图像超分辨率方法。
技术介绍
1、在大数据时代，高分辨率图像在各个领域的广泛应用日益显著。在社交媒体领域中，高分辨率图像有助于提升用户的视觉体验；在医疗领域中，高分辨率图像可协助专业人士做出更准确的诊断与判断；在安全领域中，高分辨率图像有助于维护社会治安与监控。然而，由于设备成本、自然环境等多种因素的限制，采集到的图像通常具有低分辨率、质量不佳以及模糊的特点。因此，单图像超分辨率(single image super-resolution，sisr)技术对各个领域都具有重要的研究价值和实际应用意义。
2、sisr是一种用于从低分辨率(low-resolution，lr)图像生成高分辨率(high-resolution，hr)图像的技术。近年来，卷积神经网络(convolutional neural network，cnn)由于其拟合复杂映射的强大能力成为了研究的热点。基于卷积神经网络cnn的超分辨率sr方法因其从图像中提取高频细节的强大能力而广受欢迎，然而，使用基于cnn的方法建立全局依赖关系是困难的，因而超分的效果并不是很好。
技术实现思路
1、鉴于以上现有技术的缺陷，本专利技术提供一种基于图像结构建模的transformer超分辨率网络的图像超分辨率方法，以解决现有技术中图像超分效果不佳的技术问题。
2、为实现上述目的及其它相关目的，本专利技术提供了一种基于图像结构
3、于本专利技术一实施例中，所述浅层特征提取单元包括第一卷积层，其表达式如下：fshallow＝c1(ilr)，式中，fshallow为所述浅层特征提取单元提取的浅层特征，c1为所述第一卷积层。
4、于本专利技术一实施例中，所述深层特征提取单元包括多个的transformer模块，其表达式如下：式中，fdf为所述深层特征提取单元提取的深层特征，为第i个transformer模块。
5、于本专利技术一实施例中，所述transformer模块包括四个transformer层和一个第二卷积层，其表达式如下：ftb＝c2(htl4(htl3(htl2(htl1(fin))))，式中，fin和ftb分别为所述transformer模块的输入和输出，c2为所述第二卷积层。
6、于本专利技术一实施例中，所述transformer层包括锚定条纹自注意力、窗口自注意力、通道自注意力、多层感知机、第三卷积层以及第四卷积层，其表达式如下：fout1＝hmlp(ca(c4(c3(fin1)))+fin1+hasa(fin1)+hwa(fin1))，式中，fin1和fout1分别为所述transformer层的输入和输出，hasa、hwa、ca和hmlp分别为所述锚定条纹自注意力、所述窗口自注意力、所述通道自注意力、所述多层感知机的函数，c3为所述第三卷积层，c4为所述第四卷积层。
7、于本专利技术一实施例中，所述锚定条纹自注意力的表达式如下：
8、
9、式中，fout2为所述锚定条纹自注意力的输出，vn、kn、an、qn是利用权重矩阵计算整形后的输入特征的线性变换所得，scale是用于控制矩阵大小的常量，softmax为归一化函数。
10、于本专利技术一实施例中，所述窗口自注意力的表达式如下：
11、
12、式中，fout3为所述窗口自注意力的输出，qn、vn是利用权重矩阵计算整形后的输入特征的线性变换所得，为qn的转置矩阵，scale是用于控制矩阵大小的常量，softmax为归一化函数。
13、于本专利技术一实施例中，所述通道自注意力包括第五卷积层、第六卷积层以及激活函数，其表达式如下：fout4＝sigmoid(c6(c5(fin1))×fin4，式中，fin4和fout4分别为所述通道自注意力的输入和输出，c5为所述第五卷积层，c6为所述第六卷积层，sigmoid()为所述激活函数。
14、于本专利技术一实施例中，所述高分辨率重建单元包括第七卷积层和亚像素卷积层，其表达式如下：isr＝p(c7(fdf))，式中，fdf为所述深层特征提取单元提取的深层特征，c7为所述第七卷积层，p为所述亚像素卷积层。
15、本专利技术的有益效果：本专利技术提出的一种基于图像结构建模的transformer超分辨率网络的图像超分辨率方法，该方法通过本专利技术通过transformer层来构建transformer超分辨率网络，在参数和性能做出合适权衡，每个transformer层包含锚定条纹自注意力，它在自注意力的时空复杂性和超出局部范围的建模能力之间实现了良好的平衡，通过对图像中的结构信息局部纹理信息作有针对性的处理，实现了在多种超分辨率任务下的优异表现。
本文档来自技高网...【技术保护点】
1.一种基于图像结构建模的Transformer超分辨率网络的图像超分辨率方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于图像结构建模的Transformer超分辨率网络的图像超分辨率方法，其特征在于，所述浅层特征提取单元包括第一卷积层，其表达式如下：
3.根据权利要求2所述的基于图像结构建模的Transformer超分辨率网络的图像超分辨率方法，其特征在于，所述深层特征提取单元包括多个的Transformer模块，其表达式如下：
4.根据权利要求3所述的基于图像结构建模的Transformer超分辨率网络的图像超分辨率方法，其特征在于，所述Transformer模块包括四个Transformer层和一个第二卷积层，其表达式如下：
5.根据权利要求4所述的基于图像结构建模的Transformer超分辨率网络的图像超分辨率方法，其特征在于，所述Transformer层包括锚定条纹自注意力、窗口自注意力、通道自注意力、多层感知机、第三卷积层以及第四卷积层，其表达式如下：
6.根据权利要求5所述的基于图像结构建模
7.根据权利要求5所述的基于图像结构建模的Transformer超分辨率网络的图像超分辨率方法，其特征在于，所述窗口自注意力的表达式如下：
8.根据权利要求5所述的基于图像结构建模的Transformer超分辨率网络的图像超分辨率方法，其特征在于，所述通道自注意力包括第五卷积层、第六卷积层以及激活函数，其表达式如下：
9.根据权利要求1所述的基于图像结构建模的Transformer超分辨率网络的图像超分辨率方法，其特征在于，所述高分辨率重建单元包括第七卷积层和亚像素卷积层，其表达式如下：
...【技术特征摘要】
1.一种基于图像结构建模的transformer超分辨率网络的图像超分辨率方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于图像结构建模的transformer超分辨率网络的图像超分辨率方法，其特征在于，所述浅层特征提取单元包括第一卷积层，其表达式如下：
3.根据权利要求2所述的基于图像结构建模的transformer超分辨率网络的图像超分辨率方法，其特征在于，所述深层特征提取单元包括多个的transformer模块，其表达式如下：
4.根据权利要求3所述的基于图像结构建模的transformer超分辨率网络的图像超分辨率方法，其特征在于，所述transformer模块包括四个transformer层和一个第二卷积层，其表达式如下：
5.根据权利要求4所述的基于图像结构建模的transformer超分辨率网络的图像超分辨率方法，其特征在于，所述...
【专利技术属性】
技术研发人员：侯芷萌，李士昌，阎瑞珅，唐飞翔，傅佳欣，任积峰，叶佳怡，庞英杰，郑宇洁，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。