全片上动态可重构超分辨率装置制造方法及图纸

技术编号：33795497 阅读：15 留言：0更新日期：2022-06-12 14:58

一种全片上动态可重构超分辨率装置，属于图像处理技术领域。所述全片上动态可重构超分辨率装置包括预处理电路、算术运算电路、插值电路和后处理电路；预处理电路包括权重缓冲器、输入缓冲器和输入图像色彩空间转换电路，算术运算电路包括数据重分配电路、卷积计算块、共享加法树电路和层间缓冲器，插值电路包括最近邻插值电路和临时缓冲器，后处理电路包括输出整形电路和输出图像色彩空间转换电路。本发明专利技术采用卷积压缩、卷积分解和PE重映射的映射策略以及多个动态可重构PE计算单元组成的卷积计算块，极大的降低了反卷积运算的计算量，提高了反卷积运算的运算效率，有效消除了无效计算，避免了计算负载不均衡的问题。避免了计算负载不均衡的问题。避免了计算负载不均衡的问题。

全部详细技术资料下载

【技术实现步骤摘要】
全片上动态可重构超分辨率装置

[0001]本专利技术属于图像处理
，具体涉及一种全片上动态可重构超分辨率装置。

技术介绍

[0002]随着人工智能算法的发展，基于深度学习的超分辨率网络由于具有更好的图像重建效果，在老照片修复、医疗检测、安防监控等关键行业具有良好的应用前景。然而，超分辨率网络存在计算量大和数据访存量大的问题，使其对硬件的要求极高。究其原因，主要是反卷积过程中的大计算量导致的。传统的反卷积的计算过程存在大量的对计算结果未产生任何作用的无效计算，为了解决上述问题，Chang等人（Chang, Jung
‑
Woo, Keon
‑
Woo Kang, and Suk
‑
Ju Kang. "An energy
‑
efficient FPGA
‑
based deconvolutional neural networks accelerator for single image super
‑
resolution." IEEE Transactions on Circuits and Systems for Video Technology 30.1 (2018): 281
‑
295.）提出了一种将反卷积转化为卷积的TDC（转置卷积转换）方法，通过将反卷积转化为卷积运算、并重分配计算任务，有效减小了反卷积的计算量。但仍然存在PE（Processing Elements）利用率不高和计算负...

【技术保护点】

【技术特征摘要】
1.一种全片上动态可重构超分辨率装置，其特征在于，包括预处理电路、算术运算电路、插值电路和后处理电路；其中，所述预处理电路包括权重缓冲器、输入缓冲器和输入图像色彩空间转换电路；所述权重缓冲器用于缓存超分辨率网络的权重数据，所述输入缓冲器用于缓存输入图像数据，所述输入图像色彩空间转换电路读取输入缓冲器中的输入图像数据，并将输入图像数据从RGB格式转换为YCbCr格式，转换后得到的Y通道数据输入数据重分配电路中，Cb和Cr通道数据输入最近邻插值电路中；所述算术运算电路包括数据重分配电路、卷积计算块、共享加法树电路和层间缓冲器；所述数据重分配电路读取权重缓冲器中的权重数据和输入图像色彩空间转换电路输出的Y通道数据，并根据缩放因子将权重数据和Y通道数据以指定的映射策略进行重分配，得到重分配后的数据；所述卷积计算块接收重分配后的数据，并对重分配后的数据进行卷积运算，得到卷积运算结果；所述共享加法树电路接收卷积运算结果，并对卷积运算结果进行累加，得到超分辨率网络中当前层的输出特征图数据；所述层间缓冲器接收并存储当前层的输出特征图数据，当未达到超分辨率网络的最大层数时，输出特征图数据作为下一层网络的输入特征图输入至数据重分配电路中，当达到超分辨率网络的最大层数时，输出特征图数据输入至输出整形电路；所述插值电路包括最近邻插值电路和临时缓冲器；所述最近邻插值电路基于最近邻插值策略对接收到的Cb和Cr通道数据进行插值，得到插值后的特征图；所述临时缓冲器接收并缓存插值后的特征图；所述后处理电路包括输出整形电路和输出图像色彩空间转换电路；所述输出整形电路读取层间缓冲器的输出特征图数据，并对输出特征图数据进行重排，得到Y通道数据的顺序输出；所述输出图像色彩空间转换电路读取Y通道数据的顺序输出和插值后的特征图，并将Y通道数据的顺序输出和插值后的特征图转换为RGB格式数据后输出。2.根据权利要求1所述的全片上动态可重构超分辨率装置，其特征在于，所述映射策略包括卷积压缩、卷积分解和PE重映射过程，其中，卷积压缩根据缩放因子对权重数据和Y通道数据进行压缩，去除Y通道数据中的0值以及与0值对应的权重数据；卷积分解将压缩后的数据分解为不同长度的卷积；PE重映射将不同长度的卷积组合为固定长度的卷积并输入卷积计算块。3.根据权利要求1所述的全片上动态可重构超分辨率装置，其特征在于，当缩放因子为2时，所述数据重分配电路和卷积计算块的处理过程为：1）卷积压缩：对输入的Y通道数据和权重数据进行压缩，得到个大小为5
×
5的卷积、个大小为5
×
4的卷积、个大小为4
×
5的卷积和个大小为4
×
4的卷积，其中，m和n为正整数；2）卷积分解：
将个大小为5
×
5的卷积分解为个长度为9的卷积和个长度为7的卷积；个大小为5
×
4的卷积分解为个长度为9的卷积和个长度为2的卷积；个大小为4
×
5的卷积分解为个长度为9的卷积和个长度为2的卷积；个大小为4
×
4的卷积分解为个长度为9的卷积和个长度为7的卷积；3）PE重映射：长度为7的卷积与长度为2的卷积组合，得到个长度为9的卷积，然后与剩余的个长度为9的卷积一起输入卷积计算块；4）反卷积运算...

【专利技术属性】
技术研发人员：常亮，赵鑫，周军，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人