基于深度学习的无热化成像方法和装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的无热化成像方法和装置，对光学系统进行热分析以划分不同温度变化区间，并构建对应的样本对，利用样本对基于生成式对抗网络构建适配不同温度的图像恢复模型，在此基础上，通过对不同温度下光学系统采集的场景图像利用适配的图像恢复模型进行图像恢复，以得到高质量图像，使得光学系统无需经过无热化处理即可在不同温度下取得高成像质量。下取得高成像质量。下取得高成像质量。

【技术实现步骤摘要】
基于深度学习的无热化成像方法和装置


[0001]本专利技术属于计算视觉与光学设计的交叉
，具体涉及一种基于深度学习的无热化成像方法和装置。

技术介绍

[0002]在一些特殊领域，例如车载相机、空间相机、军用设备等，光学系统面临着严峻而复杂的外部环境，尤其是温度的剧烈变化，会对光学材料及其支撑件的性能产生影响，导致系统成像质量的退化。以温度为例，由于宽温度变化范围导致的像质退化由三方面因素共同影响：光学元件折射面曲率半径和厚度的变化、介质折射率的变化、空气间隔变化，其中第二点占主要地位。为了考虑复杂的环境因素，尤其是宽温度范围的应用场景，例如日常生活中夏天的高温暴晒，北方冬天低至零下的严寒，需要通过特殊的设计或补偿方法使光学系统在一个较大的温度范围内保持焦距、像面或像质不变或变化很小的技术，称为无热化技术。
[0003]无热化技术对于红外和可见光成像系统都同样重要。由于红外光学材料的热变化更显著，以往大部分研究集中在红外系统的无热化，但随着可见光波段光学系统的小型化、轻量化，以及塑料镜片的广泛使用，它们的成像质量和热稳定性远不如传统的大中型光学系统，因此也需要对温度变化做出补偿。
[0004]传统的无热化方法可以分为三类：电子(机械)主动式、机械被动式、光学被动式。机械主动式，利用温度传感器自动探测温度，将温度信息传递给处理器，计算出温度变化引起的像面位移，使电机驱动消热元件到达正确位置。机械被动式，通过利用两种热膨胀系数的机械元件以可靠的方式进行自然膨胀和收缩来获得伸缩量，补偿像面的位移。这两种机械方法存在共同的缺陷：额外的电子和机械部件增加了仪器的体积、质量和成本，且降低了可靠性，维护较为复杂；此外，它们均不能彻底矫正热效应导致的像差失衡。光学被动式，利用材料的热特性差异，通过不同材料的组合来抵消温度的影响。它的可靠性高，结构简单紧凑，不需要额外的部件，是当前工业界应用较为广泛的方法。但是它对材料的要求严格，设计难度高，在小型民用光学器件中应用受限。
[0005]再者，传统的无热化技术往往集中于前处理，没有考虑传感器噪声等外部因素，存在一定的局限性，而现今蓬勃发展的深度学习技术给出了一种端到端的成像方案。尤其是以卷积神经网络(CNN)为架构的学习，本质上就是多层卷积，具有极为强大的去模糊能力，而无热化本质上就是对抗温度变化产生的离焦模糊，因此，CNN在其中有很大的应用潜力。此外，端到端的特性使它无需通过掩膜板进行编码或其他中间步骤，直接学习原始温变离焦图像与清晰图像的映射关系，不需要额外的光学结构，可以直接迁移到任何现成光学成像设备，极具实用性。

技术实现思路

[0006]鉴于上述，本专利技术的目的是提供一种基于深度学习的无热化成像方法和装置，以
克服不同温度对光学系统成像质量的退化影响，实现光学系统无需传统无热化前处理，即可在较大温度范围内获取高质量图像。
[0007]为实现上述专利技术目的，本专利技术实施例提供了一种基于深度学习的无热化成像方法，包括以下步骤：
[0008]对光学系统进行热分析，利用不同温度下的点扩散函数对参考图像进行模拟仿真，得到参考图像对应的第一模糊图像的峰值信噪比随温度的变化曲线，依据变化曲线划分多个温度变化区间；
[0009]构建并控制环境控制装置提供不同温度，处于不同温度变化区间的光学系统对显示器显示的参考图像进行图像采集以得到第二模糊图像，预处理后的第二模糊图像与对应参考图像配准形成样本对；
[0010]利用不同温度下的样本对优化包含生成器和判别器的生成式对抗网络的参数，以参数优化后的生成器作为不同温度变化区间对应的图像恢复模型；
[0011]光学系统采集场景图像时，实时检测光学系统所处温度，使用与实时温度对应的图像恢复模型对场景图像进行质量恢复，以实现无热化成像。
[0012]在一个实施例中，所述依据变化曲线划分多个温度变化区间，包括：
[0013]依据预设的温度变化精度对变化曲线进行多温度变化区间划分，其中，温度变化精度是指每个峰值信噪比值的允许波动幅度、或者每个预设的峰值信噪比范围，峰值信噪比范围包含至少2个峰值信噪比值。
[0014]在一个实施例中，所述环境控制装置具有密封性，能够为内置的光学系统提供稳定温度，装置内置有温度检测器和透光玻璃，光学系统通过透光玻璃进行显示屏显示的参考图像的实时图像采集以得到第二模糊图像，温度检测器实时检测温度，这样温度与第二模糊图像关联起来，得到不同温度对应的第二模糊图像。
[0015]在一个实施例中，对第二模糊图像进行预处理，包括：对第二模糊图像进行去噪、渐晕矫正以及色差矫正；
[0016]预处理后的第二模糊图像与对应参考图像的配准过程包括：将第二模糊图像按照参考图像尺寸进行映射裁剪，第二模糊图像与参考图像配准，形成样本对。
[0017]在一个实施例中，生成式对抗网络的网络复杂度依据温度不同，温度越大，对应的生成式对抗网络的网络复杂度越大。
[0018]在一个实施例中，针对相邻多个温度变化区间对应的多个图像恢复模型，利用测试样本对验证多个图像恢复模型的恢复程度，若恢复程度在阈值范围内，则融合多个图像恢复模型为1个融合图像恢复模型，该融合图像恢复模型对应多个温度变化区间拼接形成的宽温度变化区间；
[0019]其中，恢复程度为测试样本对中第二模糊图像对应的恢复图像与参考图像的差距。
[0020]在一个实施例中，所述融合多个图像恢复模型为1个融合图像恢复模型，包括：
[0021]以多个图像恢复模型中针对多个温度变化区间的测试样本恢复效果最好的一个作为融合图像恢复模型；
[0022]或者，利用相邻多个温度变化区间对应的样本对对被选择的1个图像恢复模型对应的生成式对抗网络进行参数优化，参数优化的生成器作为融合图像恢复模型。
[0023]为实现上述专利技术目的，另一实施例提供了一种基于深度学习的无热化成像装置，包括光学系统、温度检测器、处理器以及上述基于深度学习的无热化成像方法构建的图像恢复模型或融合图像恢复模型；
[0024]所述光学系统用于采集场景图像；
[0025]所述温度检测器用于检测所述光学系统采集场景图像时所处的温度；
[0026]所述融合图像恢复模型或图像恢复模型用于对场景图像进行恢复处理；
[0027]所述处理器用于依据温度调用温度对应的融合图像恢复模型或图像恢复模型对采集的图像进行恢复处理。
[0028]为实现上述专利技术目的，再一实施例提供了一种基于深度学习的无热化成像方法，所述无热化成像方法采用上述无热化成像装置，所述无热化成像方法包括以下步骤：
[0029]利用光学系统采集场景图像；
[0030]利用温度检测器检测所述光学系统采集场景图像时所处的温度；
[0031]利用处理器依据温度调用温度对应的融合图像恢复模型或图像恢复模型对场景图像进行恢复处理，以实现无热化成像。
[0032]与现有技术相比，本专利技术具有的有益效果至少包括：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的无热化成像方法，其特征在于，包括以下步骤：对光学系统进行热分析，利用不同温度下的点扩散函数对参考图像进行模拟仿真，得到参考图像对应的第一模糊图像的峰值信噪比随温度的变化曲线，依据变化曲线划分多个温度变化区间；构建并控制环境控制装置提供不同温度，处于不同温度变化区间的光学系统对显示器显示的参考图像进行图像采集以得到第二模糊图像，预处理后的第二模糊图像与对应参考图像配准形成样本对；利用不同温度下的样本对优化包含生成器和判别器的生成式对抗网络的参数，以参数优化后的生成器作为不同温度变化区间对应的图像恢复模型；光学系统采集场景图像时，实时检测光学系统所处温度，使用与实时温度对应的图像恢复模型对场景图像进行质量恢复，以实现无热化成像。2.根据权利要求1所述的基于深度学习的无热化成像方法，其特征在于，所述依据变化曲线划分多个温度变化区间，包括：依据预设的温度变化精度对变化曲线进行多温度变化区间划分，其中，温度变化精度是指每个峰值信噪比值的允许波动幅度、或者每个预设的峰值信噪比范围，峰值信噪比范围包含至少2个峰值信噪比值。3.根据权利要求1所述的基于深度学习的无热化成像方法，其特征在于，所述环境控制装置具有密封性，能够为内置的光学系统提供稳定温度，装置内置有温度检测器和透光玻璃，光学系统通过透光玻璃进行显示屏显示的参考图像的实时图像采集以得到第二模糊图像，温度检测器实时检测温度，这样温度与第二模糊图像关联起来，得到不同温度对应的第二模糊图像。4.根据权利要求1所述的基于深度学习的无热化成像方法，其特征在于，对第二模糊图像进行预处理，包括：对第二模糊图像进行去噪、渐晕矫正以及色差矫正；预处理后的第二模糊图像与对应参考图像的配准过程包括：将第二模糊图像按照参考图像尺寸进行映射裁剪，第二模糊图像与参考图像配准，形成样本对。5.根据权利要求1所述的基于深度学习的无热化成像方法，其特征...

【专利技术属性】
技术研发人员：李海峰，祁冰芸，陈伟，彭祎帆，
申请(专利权)人：浙江大学，
类型：发明
国别省市：