【技术实现步骤摘要】
本专利技术属于图像处理及计算机视觉研究，具体涉及一种基于drrn网络的图像超分辨率重建方法。
技术介绍
1、单图像超分辨率(sisr)是一个经典的计算机视觉问题，旨在从低分辨率(lr)图像中恢复高分辨率(hr)图像，sisr广泛应用于计算机视觉领域，从安全和监控成像到医学成像均有应用。在过去的二十年中，计算机视觉领域已经研究了许多sisr方法，从早期的基于字典的sisr方法到后期插值法如双三次插值和lanczos重采样。2014年首次出现深度学习应用到图像超分辨率重建领域，超分辨率重建卷积神经网络srcnn方法使用一个三层的卷积神经网络学习低分辨率图像与高分辨率图像之间映射关系，srcnn方法的性能显著优于经典的非cnn方法。随后经历一段时间的发展cnn又出现很多优化方法，例如，vdsr、drrn，它们的一个共同点是其网络包含少于5层，例如，srcnn使用3个卷积层。理论上随着网络深度的增加，网络的感受野随之增大，能利用到的图像数据也会更多，但实际操作中随着网络深度的增加，模型可能出现梯度爆炸、梯度消失等问题，vdsr方法提出可调节的梯度裁剪来应对此问题，但引入了过多参数也会越多这可能会导致模型过拟合，同时消耗大量存储空间。为了解决这些问题，drrn方法在网络中引入了递归层，以便在递归层中执行更多递归时，在不增加参数的前提下增加网络深度进一步增大感受野。
2、但是上述方法并没有考虑到一味地加深网络层数除了会导致梯度爆炸、梯度消失、过拟合等问题之外，还会导致参数空间中学习的退化速度减慢，导致模型的有效维数减少，网络的可
技术实现思路
1、本专利技术的目的在于克服上述现有技术的缺点，提升超分辨率重建深度神经网络的泛化性和精确性，提出一种基于drrn网络的图像超分辨率重建方法。
2、为了实现上述目的，本专利技术采用如下方案：
3、一种基于drrn网络的图像超分辨率重建方法，包括以下步骤：
4、s1：将原始图像重塑为固定大小尺寸的图像，得到原始高分辨率图像，将所述原始高分辨率图像进行插值下采样，得到低分辨率图像；
5、s2：将所述低分辨率图像的rgb显示模式转换为ycbcr灰度模式，并提取转换后的低分辨率图像的y通道图像；
6、s3：基于重建网络对所述y通道图像进行超分辨率重建，得到超分辨率图像；
7、所述s3具体包括：
8、s3.1：对所述y通道图像进行全局浅层特征提取，得到图像全局浅层特征；
9、s3.2：将所述图像全局浅层特征进行残差密集学习及特征优化，得到图像全局深层特征；
10、s3.3：将图像全局深层特征与所述图像全局浅层特征进行第二残差密集连接计算，得到低分辨率图像特征图；
11、s3.4：对所述低分辨率图像特征图进行上采样，得到高分辨率图像特征图，并通过激活函数对所述高分辨率图像特征图进行重建，得到超分辨率图像；
12、所述s3.2具体包括：
13、s3.2.1：将所述图像全局浅层特征依次输入多个残差优化单元，所述残差优化单元包括由三层卷积层组成的残差单元和与残差单元连接的第一间隔丢弃模块，所述第一间隔丢弃模块用于特征优化；
14、s3.2.2：将最后一个残差优化单元的输出结果与首个残差优化单元的首次卷积结果进行第一密集连接计算；
15、s3.2.3：将第一密集连接计算的结果输入第二间隔丢弃模块进行丢弃，再将丢弃后的结果经一层卷积层进行卷积，通过激活函数得到图像全局深层特征，所述第二间隔丢弃模块也用于特征优化。
16、本专利技术通过间隔丢弃模块丢弃部分图像深层特征，得到丢弃后的低分辨率图像特征图，解决了现有深度神经网络面临的随着深度增加，退化过程会变得越来越快的问题，提高超分辨率重建深度神经网络的泛化性与精确性；同时间隔丢弃模块区别于传统的丢弃方法，避免了使用常规丢弃方法带来的大幅度性能损失。
17、优选地，s3.1具体为：利用第一亚像素卷积层对所述y通道图像进行上采样以提取全局浅层特征，并通过激活函数得到原始的图像全局浅层特征。
18、优选地，s3.2中所述残差单元包括依次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层的输出还与第三卷积层的输出进行残差密集连接，并将所述残差密集连接后的结果作为所述残差单元的输出。
19、优选地，s3.2中所述残差优化单元设置有二十四个。
20、优选地，s3.2中采用所述第一间隔丢弃模块和第二间隔丢弃模块进行特征优化的方法相同，具体为：
21、在输入的数据中的通道中随机选定一个中心点cr，所述中心点cr的宽度和高度均设为常量w，获得中心点cr的方形掩码m，
22、m＝(cr,w)
23、采用均值为1的伯努利分布对所述方形掩码m进行采样；
24、根据所述原始高分辨率图像的尺寸分别设定特征块大小block_size的值和特征图大小feat_size的值，设定每个特征块被丢弃的概率γ，将采样后的方形掩码m中的每间隔一丢弃段interval_value的通道内容丢弃，并输出丢弃后的结果；
25、所述丢弃段interval_value的计算方式为：
26、
27、优选地，所述s3.5具体为，
28、利用亚像素反卷积模块对所述低分辨率图像特征图进行上采样，得到高分辨率特征图，并通过激活函数对所述高分辨率特征图进行重建，得到超分辨率图像；
29、所述亚像素反卷积模块包括依次连接的第四卷积层、反卷积层和第二亚像素卷积层，所述第四卷积层用于将输入的低分辨率图像特征图转化成通道数为r2、尺寸大小与y通道图像一致的第一特征图像，所述y通道图像的尺寸为高h×宽w，所述反卷积层用于将第一特征图像的每个像素的r2个通道重新排列成一个r*r的区域，得到尺寸大小为h×w×r2的第二特征图像，所述第二亚像素卷积层用于将第二特征图像重新排列成r h×r w×1的高分辨率特征图。
30、本专利技术通过亚像素反卷积模块对特征图的像素进行重新排列，能够有效提高图像的空间分辨率，可以从低分辨率输入生成高分辨率输出，并且通过反卷积层能够更好地保留图像中的空间信息，从而在重建过程中更准确地恢复细节和纹理，这有助于生成更真实的图像，并减少图像重建过程中可能出现的失真。同时，通过亚像素反卷积模块进行上采样减少网络内数据量，网络更易收敛本文档来自技高网...
【技术保护点】
1.一种基于DRRN网络的图像超分辨率重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于DRRN网络的图像超分辨率重建方法，其特征在于，S3.1具体为：
3.根据权利要求1所述的基于DRRN网络的图像超分辨率重建方法，其特征在于，S3.2中所述残差单元包括依次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层的输出还与第三卷积层的输出进行残差密集连接，并将所述残差密集连接后的结果作为所述残差单元的输出。
4.根据权利要求1所述的基于DRRN网络的图像超分辨率重建方法，其特征在于，S3.2中采用所述第一间隔丢弃模块和第二间隔丢弃模块进行特征优化的方法相同，具体为：
5.根据权利要求1所述的基于DRRN网络的图像超分辨率重建方法，其特征在于，所述S3.5具体为，
6.根据权利要求1所述的基于DRRN网络的图像超分辨率重建方法，其特征在于，S3.2中所述残差优化单元设置有二十四个。
【技术特征摘要】
1.一种基于drrn网络的图像超分辨率重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于drrn网络的图像超分辨率重建方法，其特征在于，s3.1具体为：
3.根据权利要求1所述的基于drrn网络的图像超分辨率重建方法，其特征在于，s3.2中所述残差单元包括依次连接的第一卷积层、第二卷积层和第三卷积层，所述第一卷积层的输出还与第三卷积层的输出进行残差密集连接，并将所述残差密集连接后的结果作为所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。