基于噪声挤压和通道注意力机制的热成像图像超分辨方法技术

本发明专利技术公开了一种基于噪声挤压和通道注意力机制的热成像图像超分辨方法，包括：获取待重建热成像图像；利用超分辨网络对待重建热成像图像进行图像重建得到超分辨率的热成像图像；其中，超分辨网络为通过热成像训练数据进行训练得到的训练好的超分辨网络；超分辨网络包括特征提取模块、多级通道注意力模块、噪声挤压模块、高频滤波模块和上采样模块。本发明专利技术基于提出的新的超分辨网络模型，提高了超分辨率热图像重建细节成像效果。辨率热图像重建细节成像效果。辨率热图像重建细节成像效果。

【技术实现步骤摘要】
基于噪声挤压和通道注意力机制的热成像图像超分辨方法


[0001]本专利技术属于图像处理处理
，具体涉及一种基于噪声挤压和通道注意力机制的热成像图像超分辨方法。

技术介绍

[0002]热成像技术是指利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。常用的红外热像仪就是将物体发出的不可见红外能量转变为可见的热图像，热图像上面的不同颜色代表被测物体的不同温度。单幅图像超分辨率是计算机视觉中一个典型的不适定问题，至今仍是一个活跃的研究领域。
[0003]单幅图像超分辨率的目标是从给定的低分辨率图像中恢复精确的高分辨率表示。在过去的二十年中，人们提出了不同的方法，但近年来，基于深度学习的新技术取得了显著的进步。大多数基于深度学习神经网络方法主要用于可见光谱领域。关于热图像，它们的分辨率是一个常见的限制，这与所使用的传感器技术有关。这些图像在多个领域(如医学、安全、工业等)的各种应用中的使用正在增加。因此，面向热成像图像的超分辨技术成为业界的迫切需求，这就对超分辨的成像质量和去噪能力提出了新的要求。现有实现热成像的超分辨重建方法，大多是结合了分割图来实现热成像超分辨率重建任务，实现对热成像超分辨重建。这类方法用可见光图像分割任务的像素级特征信息弥补热成像超分辨率重建过程中丢失的细节信息，有效地增强超分辨率图像的轮廓信息，提高超分辨率图像的细腻程度。
[0004]但是，这类方法需要借助可见光图像在分割任务中学习到的特征来优化热成像图像超分辨过程中学习到的特征，这极大的造成了数据获取的不便性；同时，由于可见光与热成像图像并不是由同一个传感器所采集，因此两幅图像在一开始就存在着偏差(成像误差)，需要额外的进行配准，否则学习到的特征差异损失将对重建效果造成不好的影响。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于噪声挤压和通道注意力机制的热成像图像超分辨方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]本专利技术实施例提供了一种基于噪声挤压和通道注意力机制的热成像图像超分辨方法，包括：
[0007]获取待重建热成像图像；
[0008]利用超分辨网络对所述待重建热成像图像进行图像重建得到超分辨率的热成像图像；
[0009]其中，所述超分辨网络为通过热成像训练数据进行训练得到的训练好的超分辨网络；所述超分辨网络包括特征提取模块、多级通道注意力模块、噪声挤压模块、高频滤波模块和上采样模块，其中，
[0010]所述特征提取模块，用于对所述待重建热成像图像进行特征提取；所述多级通道
注意力模块，用于对提取的特征按多个通道进行强化，根据所有强化结提取细节特征；所述噪声挤压模块，用于将所述细节特征进行特征相似度计算以及去噪；所述高频滤波模块用于提取所述待重建热成像图像的高频信息；所述上采样模块，用于将去噪后的信息和所述高频信息进行拼接，并对拼接结果进行上采样重建处理得到所述超分辨率的热成像图像。
[0011]在本专利技术的一个实施例中，所述特征提取模块包括依次连接的若干卷积块和一第一卷积层，第一个卷积块的输入还与最后一个卷积块的输出连接一加法器；每一卷积块包括依次连接的若干第二卷积层和一所述第一卷积层，第一个第二卷积层的输入与最后一个第二卷积层的输出连接一加法器。
[0012]在本专利技术的一个实施例中，所述多级通道注意力模块包括并行的N个强化通道、与所述N个强化通道的输出连接的一加法器，以及与所述加法器的输出和与所述N个强化通道的输入连接的一点乘器，N为大于0的整数，其中，
[0013]第n个强化通道包括n个并行的第三卷积层和一卷积激活层，n取值为1～N；
[0014]对于n>1的强化通道，每一强化通道还包括一点乘器，该点乘器的输入连接n个第三卷积层的输出，该点乘器的输出连接卷积激活层的输入。
[0015]在本专利技术的一个实施例中，所述噪声挤压模块中进行特征相似度计算以及去噪的过程包括：
[0016]确定用于特征相似度计算的前置通道；
[0017]计算所述前置通道对应的特征相似度损失；其中，所述特征相似度损失用于训练中所述超分辨网络的网络参数更新；
[0018]对非用于特征相似度计算的后置通道进行降噪处理；
[0019]将所述前置通道对应的输出与降噪后的后置通道对应的输出进行拼接得到所述噪声挤压模块的输出。
[0020]在本专利技术的一个实施例中，所述高频滤波模块包括若干依次连接的第四卷积层和高通滤波器，以及与第一个第四卷积层的输入和最后一个高通滤波器的输出连接的一加法器，该加法器的输出与第五卷积层连接。
[0021]在本专利技术的一个实施例中，所述高通滤波器采用的是低频滤波器反转的策略。
[0022]在本专利技术的一个实施例中，所述上采样模块采用亚像素卷积策略；其中，所述上采样模块的输入连接一全连接层。
[0023]在本专利技术的一个实施例中，所述超分辨网络的训练过程，包括：
[0024]获取热成像训练数据；所述热成像训练数据包括热成像标签图像，以及所述热成像标签图像对应的不含噪的低分辨率热成像图像和含噪的低分辨率热成像图像；
[0025]针对每一次迭代，包括：分别将所述不含噪的低分辨率热成像图像和所述含噪的低分辨率热成像图像输入至特征提取模块进行特征提取得到第一提取特征和第二提取特征；分别将所述第一提取特征和所述第二提取特征输入至多级通道注意力模块进行细节特征提取得到第一细节特征和第二细节特征；同时将所述第一细节特征和所述第二细节特征输入至噪声挤压模块进行去噪处理，以及特征相似度损失计算；将所述含噪的低分辨率热成像图像输入至高频滤波模块提取高频信息；将去噪后的信息和所述高频信息进行拼接输入至上采样模块进行上采样重建处理；根据上采样重建结果和所述热成像标签图像进行图像输出损失计算；根据所述特征相似度损失和所述图像输出损失进行超分辨网络的网络参
数更新；在更新的超分辨网络下，重复上述过程，直至达到最大迭代次数得到训练好的超分辨网络。
[0026]在本专利技术的一个实施例中，所述获取热成像训练数据，包括：
[0027]获取热成像标签图像；
[0028]将所述热成像标签图像进行下采样得到所述热成像标签图像对应的不含噪的低分辨率热成像图像；
[0029]对所述不含噪的低分辨率热成像图像增加噪声形成对应的含噪的低分辨率热成像图像。
[0030]在本专利技术的一个实施例中，所述超分辨网络的训练过程，还包括：
[0031]每一次迭代上采样重建处理后，计算对应上采样重建结果的PSNR；
[0032]从所有采样重建结果的PSNR中找出最大的PSNR，将输出最大的PSNR时对应的超分辨网络作为训练好的超分辨网络。
[0033]本专利技术的有益效果：
[0034]本专利技术提出的基于噪声挤压和通道注意力机制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于噪声挤压和通道注意力机制的热成像图像超分辨方法，其特征在于，包括：获取待重建热成像图像；利用超分辨网络对所述待重建热成像图像进行图像重建得到超分辨率的热成像图像；其中，所述超分辨网络为通过热成像训练数据进行训练得到的训练好的超分辨网络；所述超分辨网络包括特征提取模块、多级通道注意力模块、噪声挤压模块、高频滤波模块和上采样模块，其中，所述特征提取模块，用于对所述待重建热成像图像进行特征提取；所述多级通道注意力模块，用于对提取的特征按多个通道进行强化，根据所有强化结提取细节特征；所述噪声挤压模块，用于将所述细节特征进行特征相似度计算以及去噪；所述高频滤波模块用于提取所述待重建热成像图像的高频信息；所述上采样模块，用于将去噪后的信息和所述高频信息进行拼接，并对拼接结果进行上采样重建处理得到所述超分辨率的热成像图像。2.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法，其特征在于，所述特征提取模块包括依次连接的若干卷积块和一第一卷积层，第一个卷积块的输入还与最后一个卷积块的输出连接一加法器；每一卷积块包括依次连接的若干第二卷积层和一所述第一卷积层，第一个第二卷积层的输入与最后一个第二卷积层的输出连接一加法器。3.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法，其特征在于，所述多级通道注意力模块包括并行的N个强化通道、与所述N个强化通道的输出连接的一加法器，以及与所述加法器的输出和与所述N个强化通道的输入连接的一点乘器，N为大于0的整数，其中，第n个强化通道包括n个并行的第三卷积层和一卷积激活层，n取值为1～N；对于n>1的强化通道，每一强化通道还包括一点乘器，该点乘器的输入连接n个第三卷积层的输出，该点乘器的输出连接卷积激活层的输入。4.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法，其特征在于，所述噪声挤压模块中进行特征相似度计算以及去噪的过程包括：确定用于特征相似度计算的前置通道；计算所述前置通道对应的特征相似度损失；其中，所述特征相似度损失用于训练中所述超分辨网络的网络参数更新；对非用于特征相似度计算的后置通道进行降噪处理；将所述前置通道对应的输出与降噪后的后置通道对应的输出进行拼接得到所述噪声挤压模块的输出。5.根据权利要求1所述的基于噪声挤压和通道注意力机制的热成像图像超分辨方法，其特征在于，所述高频滤...

【专利技术属性】
技术研发人员：刘旭，焦李成，张轩铭，唐旭，孙其功，刘芳，陈璞花，李玲玲，郭雨薇，侯彪，杨淑媛，张向荣，白静，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：