【技术实现步骤摘要】
本申请涉及图像处理，具体涉及一种基于卷积神经网络的轻量化图像超分辨率重建方法和装置。
技术介绍
1、热成像对光照条件不敏感，因此在智能城市、森林防火、气体泄漏和农业生产等方面有着广泛的应用。然而，由于传感器的尺寸限制，在广泛应用热成像的无人机云台相机上，获取高分辨率的热红外图像非常困难。
2、目前，基于深度学习的图像超分辨率算法，可以有效通过低分辨率图像来重建高分辨率图像，提升图像质量。申请号为202311713718.0的中国专利公开了一种图像超分辨率增强方法及装置、训练方法、设备及介质，其应用的超分图像模型为对抗生成网络模型，包括第一生成器、第二生成器和判别器。其中第一生成器为超分生成网络，负责将低分辨率图像通过超分生成分支网络生成为高质量的高分辨率图像；第二生成器为退化参数生成网络，负责生成退化过程中所需要的控制参数，使高分辨率图像能够通过该退化流程将图像退化为与低分辨率图像质量相近的低分辨率图像；而判别器则用于负责判断图像是否为真实采集的低分辨率图像/高分辨率图像，还是超分生成/退化过程生成的图像数据，从而可使用高质量的高分辨率图像进行正向循环、待超分的低质量的低分辨率图像进行逆向循环来同步训练超分生成网络和退化参数生成网络。
3、上述现有技术方案中的超分图像模型能够适配不同场景类型图像自适应退化以提升超分增强质量，泛化能力好、模型移植效率高。然而，该方案中，超分图像模型需要使用高质量的高分辨率图像进行正向循环、待超分的低质量的低分辨率图像进行逆向循环来同步训练超分生成网络和退化参数生成网络，模型
4、有鉴于此，提供一种在保证图像超分性能、运行速度提升的前提下，降低了模型参数量和复杂度，符合部署在移动端或嵌入式设备的要求的轻量化图像超分辨率重建方法，就显得尤为重要。
技术实现思路
1、为了解决现有技术中的基于深度学习的图像超分辨率算法对算力要求较高，无法满足无人机低算力要求的技术问题，本申请提出了一种基于卷积神经网络的轻量化图像超分辨率重建方法和装置。
2、根据本申请的第一方面，提出了一种基于卷积神经网络的轻量化图像超分辨率重建方法，包括：
3、获取待重建图像；
4、将所述待重建图像输入到预训练好的超分生成网络，输出得到对应的超分辨率图像；
5、其中，所述超分生成网络包括多个卷积层、dts层、resize层和输出层，多个所述卷积层用于对所述待重建图像进行特征提取，得到特征图像的深度信息；所述dts层用于通过通道转平面操作将所述特征图像的深度信息转换为平面信息，生成预设超分倍数的第一放大图像；所述resize层使用最邻近插值得到，用于对所述待重建图像进行放大，生成所述预设超分倍数的第二放大图像；所述输出层用于对所述第一放大图像和所述第二放大图像进行融合相加，映射得到所述超分辨率图像。
6、优选的，所述特征图像的深度信息转换为平面信息的过程如下：
7、[n，k*k*c，h，w]→[n，c，k*h，k*w]
8、其中，n为特征图像数量，c为特征图像的通道数量，h为特征图像的像素高度值，w为特征图像的像素宽度值，k为预设超分倍数。
9、优选的，所述超分生成网络通过双核异构处理器部署，所述双核异构处理器包括第一处理器和第二处理器，其中，多个所述卷积层和所述resize层并行部署于所述第一处理器，所述dts层和所述输出层部署于所述第二处理器，所述第一处理器的卷积运行效率高于所述第二处理器的卷积运行效率。
10、优选的，在重建单帧所述待重建图像过程中，所述第一处理器的运行耗时为第一耗时，所述第二处理器的运行耗时为第二耗时，所述超分生成网络被配置为：所述第一耗时大于所述第二耗时。
11、优选的，所述卷积层的卷积核大小为3x3、输出通道为64、跨度为1，所述卷积层的数量配置为13层，所述第一耗时为50ms。
12、优选的，所述超分生成网络的训练过程包括：
13、构建训练集，所述训练集包括包含多张低分辨率图像的第一训练样本和包含多张高分辨率图像的第二训练样本；
14、构建所述超分生成网络，将所述第一训练样本作为所述超分生成网络的输入，并输出所述超分辨率图像；
15、构建对抗网络，所述对抗网络包括第一判断网络和第二判断网络；
16、其中，所述第一判断网络以所述超分辨率图像为输入，用于判断所述超分辨率图像中的每个像素点相对于原始高分辨率图像的真假值；所述第二判断网络以所述第二训练样本为输入，用于判断所述高分辨率图像中的每个像素点相对于原始高分辨率图像的真假值；所述对抗网络基于所述第一判断网络和所述第二判断网络的判断结果对自身的权重参数进行调整以迭代训练，直至所述对抗网络和所述超分生成网络的损失函数收敛，从而得到预训练好的所述超分生成网络。
17、优选的，所述超分生成网络的训练过程还包括：
18、构建退化生成网络，所述退化生成网络以所述第二训练样本为输入，用于对所述高分辨率图像进行退化处理，得到退化后的低分辨率图像，并作为所述第一训练样本。
19、根据本申请的第二方面，提出了一种基于卷积神经网络的轻量化图像超分辨率重建装置，包括：
20、获取模块，配置用于获取待重建图像；
21、超分生成模块，配置用于将所述待重建图像输入到预训练好的超分生成网络，输出得到对应的超分辨率图像；
22、其中，所述超分生成网络包括多个卷积层、dts层、resize层和输出层，多个所述卷积层用于对所述待重建图像进行特征提取，得到特征图像的深度信息；所述dts层用于通过通道转平面操作将所述特征图像的深度信息转换为平面信息，生成预设超分倍数的第一放大图像；所述resize层使用最邻近插值得到，用于对所述待重建图像进行放大，生成所述预设超分倍数的第二放大图像；所述输出层用于对所述第一放大图像和所述第二放大图像进行融合相加，映射得到所述超分辨率图像。
23、根据本申请的第三方面，提出了一种云台相机，包括：
24、一个或多个处理器；
25、存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述云台相机实现如上述第一方面任一实施方式提供的基于卷积神经网络的轻量化图像超分辨率重建方法。
26、根据本申请的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面任一实施方式提供的基于卷积神经网络的轻量化图像超分辨率重建方法。
27、本申请提出了一种基于卷积神经网络的轻量化图像超分辨率重建方法和装置，超分生成网络基于轻量化卷积神经网络搭建，包括13个本文档来自技高网...
【技术保护点】
1.一种基于卷积神经网络的轻量化图像超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述特征图像的深度信息转换为平面信息的过程如下：
3.根据权利要求1所述的方法，其特征在于，所述超分生成网络通过双核异构处理器部署，所述双核异构处理器包括第一处理器和第二处理器，其中，多个所述卷积层和所述Resize层并行部署于所述第一处理器，所述DTS层和所述输出层部署于所述第二处理器，所述第一处理器的卷积运行效率高于所述第二处理器的卷积运行效率。
4.根据权利要求3所述的方法，其特征在于，在重建单帧所述待重建图像过程中，所述第一处理器的运行耗时为第一耗时，所述第二处理器的运行耗时为第二耗时，所述超分生成网络被配置为：所述第一耗时大于所述第二耗时。
5.根据权利要求4所述的方法，其特征在于，所述卷积层的卷积核大小为3x3、输出通道为64、跨度为1，所述卷积层的数量配置为13层，所述第一耗时为50ms。
6.根据权利要求1所述的方法，其特征在于，所述超分生成网络的训练过程包括：
7.根据权利要求
8.一种基于卷积神经网络的轻量化图像超分辨率重建装置，其特征在于，包括：
9.一种云台相机，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任意一项所述的方法。
...【技术特征摘要】
1.一种基于卷积神经网络的轻量化图像超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述特征图像的深度信息转换为平面信息的过程如下：
3.根据权利要求1所述的方法，其特征在于，所述超分生成网络通过双核异构处理器部署，所述双核异构处理器包括第一处理器和第二处理器，其中，多个所述卷积层和所述resize层并行部署于所述第一处理器，所述dts层和所述输出层部署于所述第二处理器，所述第一处理器的卷积运行效率高于所述第二处理器的卷积运行效率。
4.根据权利要求3所述的方法，其特征在于，在重建单帧所述待重建图像过程中，所述第一处理器的运行耗时为第一耗时，所述第二处理器的运行耗时为第二耗时，所述超分生成网...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：思翼科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。