【技术实现步骤摘要】
本专利技术涉及图像超分辨率技术中深度学习模型的硬件加速领域，具体涉及一种基于meta-sr的上采样模块电路的fpga设计实现。
技术介绍
1、近年来，深度学习模型在图像超分辨率领域迅速发展，尤其是卷积神经网络(cnn)，极大程度提高了超分辨率模型的成像效果。不同超分辨率模型中的上采样模块常采用不同的算法，如插值、亚像素层以及反卷积层等。其中插值算法不需要进行训练，但成像效果较差；亚像素层和反卷积层成像效果较好，但只能训练单一整数倍上采样，且计算复杂度高。
2、由于亚像素层和反卷积层的计算复杂，在进行fpga设计实现时通常需要消耗大量的硬件资源。例如，李翰雯在其硕士学位论文“快速超精度卷积神经网络(fsrcnn)的fpga设计实现”中对超分辨率卷积神经网络fsrcnn采用反卷积层进行3倍上采样，并在fpga上设计实现，其中反卷积层硬件资源占比约达整体设计的44.7％。
3、xuecai hu等人在cvpr 2019会议上发表的“meta-sr:a magnification-arbitrary network for super-resolution”提出的meta-sr算法在实现任意倍数上采样的同时，不需要进行重复训练，且优化了原模型的成像效果。如图1所示，根据xuecai hu等人给出的计算流程，meta-sr计算可以分为三个步骤：1)计算目标高分辨率图像像素映射到低分辨率图像后的坐标相对与低分辨率图像像素的横纵坐标偏移值。2)根据横纵坐标偏移值以及尺寸因子(目标上采样倍数)计算当前高分辨率图像像素对应
4、根据meta-sr算法计算的步骤，在计算2倍上采样的卷积核权重时，因为尺寸因子为2，所以我们仅需要关注横纵坐标偏移值。如图2所示，在进行2倍上采样时，低分辨率图像像素(1，1)对应4个高分辨率图像像素(1，1)(1，2)(2，1)(2，2)。将高分辨率图像像素映射到低分辨率图像后坐标分别为(0.5，0.5)(0.5，1)(1，0.5)(1，1)，则横纵坐标偏移值分别为(0.5，0.5)(0.5，1)(1，0.5)(1，1)。同理，其他高分辨率像素同样对应这4组坐标偏移值。如图3所示，由卷积核权重的计算方式可得：在2倍上采样的情况下，一张特征图中仅存在4组相对独立的卷积核权重。因此，meta-sr算法中计算得到的卷积核权重具有周期性的性质，在设计实现时应用该性质可以明显减少用于存储卷积核权重的硬件资源。
技术实现思路
1、本专利技术提出了一种可支持任意整数倍的上采样模块电路，该电路兼容输入小于设定输入图像尺寸的低分辨率图像，在对超分辨率模型进行硬件部署时采用此电路可明显降低硬件资源消耗，并一定程度上优化超分辨率模型成像效果。
2、本专利技术的技术方案如下：基于meta-sr算法的上采样模块电路由行缓冲模块、权重读取模块以及卷积模块组成。
3、行缓冲模块实现卷积操作中的“滑窗”操作，即按一定顺序截取特征图中3*3窗口用于卷积。行缓冲模块包含特征图通道数个行缓冲器，行缓冲器存储输入的特征图数据，并在卷积时输出所需的特征图中的3*3窗口。
4、权重读取模块用于提供卷积操作中的卷积核权重。权重读取模块根据当前待卷积数据来自的特征图通道输出对应卷积核权重。
5、卷积模块实现卷积操作中的计算部分。卷积模块接受行缓冲模块输出的特征图窗口与权重读取模块输出的卷积核权重并进行乘加计算，进行循环累加后输出高分辨率图像像素。
本文档来自技高网...【技术保护点】
1.一种基于META-SR算法的上采样模块电路，其特征在于：针对超分辨率神经网络FSRCNN的硬件实现与优化需求，基于META-SR算法，提出了一种可支持任意整数倍上采样模块且兼容输入小于设定输入图像尺寸的低分辨率图像的计算电路。
2.根据权利要求1所述的一种可支持任意整数倍上采样模块的计算电路，其特征在于：该电路支持拓展任意整数倍的上采样功能。上采样模块电路包括三个模块，分别为行缓冲模块、权重存取模块以及卷积模块。其中：1)行缓冲模块由特征图通道数个行缓冲器构成，行缓冲器通过填充和调整对输入特征图进行滑窗输出。2)权重存取模块由基本权重读取单元构成，该单元由9组长度为特征图通道数的移位寄存器构成，根据当前卷积像素来自的特征图通道输出对应卷积核权重。3)卷积模块由基本卷积单元构成，该单元由9个乘法器以及8个加法器以及1个循环累加器构成，在完成特征图通道数次累加后输出高分辨率图像像素。在增加其他上采样倍数的功能时，仅需增加对应倍数权重读取单元以及增加基本卷积单元至最高上采样倍数的平方个。
3.根据权利要求1所述的兼容输入图像尺寸小于设定输入图像尺寸的计算电路
...【技术特征摘要】
1.一种基于meta-sr算法的上采样模块电路，其特征在于：针对超分辨率神经网络fsrcnn的硬件实现与优化需求，基于meta-sr算法，提出了一种可支持任意整数倍上采样模块且兼容输入小于设定输入图像尺寸的低分辨率图像的计算电路。
2.根据权利要求1所述的一种可支持任意整数倍上采样模块的计算电路，其特征在于：该电路支持拓展任意整数倍的上采样功能。上采样模块电路包括三个模块，分别为行缓冲模块、权重存取模块以及卷积模块。其中：1)行缓冲模块由特征图通道数个行缓冲器构成，行缓冲器通过填充和调整对输入特征图进行滑窗输出。2)权重存取模块由基本权重读取单元构成，该单元由9组长...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。