【技术实现步骤摘要】
本专利技术属于图像处理与计算机视觉，具体涉及一种基于zynq的红外图像超分辨率系统与装置。
技术介绍
1、由红外图像超分辨率技术是利用红外探测设备测定物体红外辐射差异，通过算法处理得到高质量红外图像的一种技术。红外图像因其独特的成像优势在军事、医学、遥感、水文和视频监控等领域有着广泛应用。然而，红外图像普遍存在细节缺失、分辨率低等问题，影响了其在工业中的应用。
2、现有的红外图像超分辨率方法主要包括以下几种：
3、基于插值的超分辨率方法：如最近邻插值、双三次插值和双线性插值法，这些方法简单易用，计算效率高，但无法有效恢复图像细节，易在图像边缘产生伪影。插值法无法根据红外图像的局部结构和内容预测丢失的高频信息，导致边缘不连续、轮廓不完整。
4、基于退化模型超分辨率方法：利用图像先验知识和全局重构限制构建代价函数，保持图像边缘清晰，但计算量大，需要大量先验知识，不适用于终端设备。退化模型方法计算复杂度高，实时性差，不适用于实时性要求高的系统。
5、基于深度学习的超分辨率方法：如srcnn、gan、esrgan等算法，这些方法能够捕捉图像复杂结构和细节，但网络结构冗余，缺乏轻量化设计，难以部署在资源有限的平台上。深度学习算法网络结构冗余，未做轻量化处理，平台开发周期长，算法可移植性差，主观视觉效果存在噪声干扰。
6、出现这些缺点的原因有：插值法简单填充像素，未考虑图像结构和内容；退化模型方法涉及复杂优化问题，求解过程耗时；深度学习算法未考虑平台特性，未进行轻量化处理，损失函数
7、为了解决这些问题，本专利技术设计了一套基于zynq平台的红外图像超分辨率系统及装置，通过改进esrgan网络结构、引入tv-loss损失函数和进行模型轻量化处理，有效提升了红外图像超分辨率性能，并提高了系统的实用性和可移植性。
技术实现思路
1、本专利技术要解决的是上述现有技术中红外图像超分辨率方法往往存在计算效率低、恢复的图像质量不佳、无法有效恢复细节特征；现有深度学习超分辨率算法通常计算资源消耗大，难以部署在资源受限的嵌入式平台上；现有算法模型往往因为硬件兼容性和实时性处理能力限制，难以在不同平台之间移植和满足实时处理需求；以及现有技术中红外图像显示质量往往不佳，存在噪声和不平滑的技术问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于zynq的红外图像超分辨率系统，包括以下组成部分：
4、红外图像采集模块，负责获取低分辨率红外图像；
5、zynq红外图像处理模块，包含arm处理器和fpga硬件加速模块，用于执行图像处理算法，图像处理算法负责对采集的低分辨率红外图像进行超分辨率重建，以获得高分辨率图像；
6、高分辨率红外图像输出模块，负责输出重建后的高分辨率红外图像；
7、高分辨率红外图像显示模块，用于显示高分辨率红外图像；
8、红外图像采集模块通过红外摄像头采集低分辨率红外图像，红外摄像头采集到的图像数据通过数字接口传输到zynq红外图像处理模块，zynq红外图像处理模块中的图像处理算法开始对图像数据进行超分辨率处理，处理完毕的高分辨率图像数据通过数字接口发送到高分辨率红外图像输出模块，通过hdmi输出到高分辨率红外图像显示模块。
9、作为优选，arm处理器通过内部axi4总线与fpga硬件加速模块通信。
10、作为优选，fpga硬件加速模块包括12c控制模块、红外图像超分辨率模块、yuv2rgb色域转换模块、红外图像缓存模块、raw转换rgb模块、解串模块以及cmos控制模块。
11、作为优选，arm处理器通过i2c控制红外图像采集模块的启动、停止和数据读取，12c控制模块用于与红外图像采集模块进行通信，红外图像采集模块图像数据通过解串模块处理后，通过i2c控制模块与fpga硬件加速模块通信；解串模块用于处理从红外图像采集模块接收的串行数据。
12、作为优选，红外图像采集模块采集到的图像通过yuv2rgb色域转换模块将yuv格式的图像转换为rgb格式发送至红外图像超分辨率模块，红外图像超分辨率模块作为fpga硬件加速模块的核心，负责执行超分辨率算法，其输入为低分辨率红外图像，输出为高分辨率红外图像，红外图像缓存模块用于存储和处理过程中的红外图像数据，以供红外图像超分辨率模块处理，raw转换rgb模块将原始raw格式图像数据转换为rgb格式，cmos控制模块用于控制红外图像采集模块的工作状态。
13、作为优选，arm处理器通过psdor3与fpga硬件加速模块的pl dor3进行连接，用于数据传输和控制。
14、作为优选，红外图像超分辨率模块处理后的rgb格式的高分辨率图像数据通过数字接口发送到高分辨率红外图像输出模块。
15、作为优选，高分辨率红外图像输出模块通过hdmi或其他显示接口将图像数据发送到高分辨率红外图像显示模块，实现图像的显示。
16、一种基于zynq的红外图像超分辨率装置，应用于上述的一种基于zynq的红外图像超分辨率系统，包括：
17、zynq开发板，用于存储算法、中间数据和输出图像；
18、数字接口，用于红外摄像头与zynq开发板之间、zynq开发板与输出设备之间的数据传输；
19、电源管理模块，为整个装置提供稳定的电源；
20、存储器，用于临时存储数据和算法模型；
21、红外摄像头与zynq开发板之间通过数字接口连接，红外摄像头捕捉到的图像数据传输至zynq开发板进行处理，zynq开发板内部的arm处理器和fpga硬件加速模块通过内部总线互连，arm处理器负责算法的主要处理逻辑，fpga硬件加速模块实现硬件加速。
22、一种基于zynq的红外图像超分辨率设计方法，该方法应用于上述的一种基于zynq的红外图像超分辨率装置，包括以下步骤：
23、s1、系统选型与搭建：选择合适的zynq开发板和显示装置，将黑金zynq-7020开发板作为zynq开发板，选择轻量化的ov7725模块作为红外图像采集模块；
24、s2、数据集准备：使用公开的cvc09及cvc14图像集，创建一个包含1000张红外图像的新训练集train-cvc，对图像进行预处理，包括尺寸统一、打乱顺序和降质处理；
25、s3、模型参数设置：根据设备条件设置模型参数，包括低分辨率图像的规格大小、gpu路径、迭代次数和学习率，导入数据集到模型中。
26、s4、模型训练与优化：利用cvc09数据集训练参数模型，初始化模型参数，进行泛化训练，引入注意力机制和多尺度特征融合的iat-esrgan生成网络，使用triping激活函数优化网络性能，设置损失函数，包括tv-loss和ssim-loss，进行迭代训练，保存训练模型；
27、s5、模型移植与部署：将训练好本文档来自技高网...
【技术保护点】
1.一种基于ZYNQ的红外图像超分辨率系统，其特征在于，该系统包括以下组成部分：
2.根据权利要求1所述的一种基于ZYNQ的红外图像超分辨率系统，其特征在于：ARM处理器通过内部AXI4总线与FPGA硬件加速模块通信。
3.根据权利要求2所述的一种基于ZYNQ的红外图像超分辨率系统，其特征在于：FPGA硬件加速模块包括12C控制模块、红外图像超分辨率模块、YUV2RGB色域转换模块、红外图像缓存模块、RAW转换RGB模块、解串模块以及CMOS控制模块。
4.根据权利要求3所述的一种基于ZYNQ的红外图像超分辨率系统，其特征在于：ARM处理器通过I2C控制红外图像采集模块的启动、停止和数据读取，12C控制模块用于与红外图像采集模块进行通信，红外图像采集模块图像数据通过解串模块处理后，通过I2C控制模块与FPGA硬件加速模块通信；解串模块用于处理从红外图像采集模块接收的串行数据。
5.根据权利要求3所述的一种基于ZYNQ的红外图像超分辨率系统，其特征在于：红外图像采集模块采集到的图像通过YUV2RGB色域转换模块将YUV格式的图像转换为
6.根据权利要求3所述的一种基于ZYNQ的红外图像超分辨率系统，其特征在于：ARM处理器通过PSDOR3与FPGA硬件加速模块的PL DOR3进行连接，用于数据传输和控制。
7.根据权利要求3所述的一种基于ZYNQ的红外图像超分辨率系统，其特征在于：红外图像超分辨率模块处理后的RGB格式的高分辨率图像数据通过数字接口发送到高分辨率红外图像输出模块。
8.根据权利要求7所述的一种基于ZYNQ的红外图像超分辨率系统，其特征在于：高分辨率红外图像输出模块通过VGA图像输出接口转HDMI将图像数据发送到高分辨率红外图像显示模块，实现图像的显示。
9.一种基于ZYNQ的红外图像超分辨率装置，应用于利要求1-4任一项所述的一种基于ZYNQ的红外图像超分辨率系统，其特征在于，包括：
10.一种基于ZYNQ的红外图像超分辨率设计方法，其特征在于，该方法应用于权利要求9所述的一种基于ZYNQ的红外图像超分辨率装置，包括以下步骤：
...【技术特征摘要】
1.一种基于zynq的红外图像超分辨率系统，其特征在于，该系统包括以下组成部分：
2.根据权利要求1所述的一种基于zynq的红外图像超分辨率系统，其特征在于：arm处理器通过内部axi4总线与fpga硬件加速模块通信。
3.根据权利要求2所述的一种基于zynq的红外图像超分辨率系统，其特征在于：fpga硬件加速模块包括12c控制模块、红外图像超分辨率模块、yuv2rgb色域转换模块、红外图像缓存模块、raw转换rgb模块、解串模块以及cmos控制模块。
4.根据权利要求3所述的一种基于zynq的红外图像超分辨率系统，其特征在于：arm处理器通过i2c控制红外图像采集模块的启动、停止和数据读取，12c控制模块用于与红外图像采集模块进行通信，红外图像采集模块图像数据通过解串模块处理后，通过i2c控制模块与fpga硬件加速模块通信；解串模块用于处理从红外图像采集模块接收的串行数据。
5.根据权利要求3所述的一种基于zynq的红外图像超分辨率系统，其特征在于：红外图像采集模块采集到的图像通过yuv2rgb色域转换模块将yuv格式的图像转换为rgb格式发送至红外图像超分辨率模块，红外图像超分辨率模块作为fpga硬件加速模块的核心，负责执行超分辨率算法，其输入为低分...
【专利技术属性】
技术研发人员：吕巨建，刘鑫，陈艳美，林凯瀚，黎嘉文，陈荣军，赵慧民，曾宪贤，
申请(专利权)人：广东技术师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。