一种面向小目标超分辨重建图像的目标识别模型构建方法技术

本发明专利技术属于目标识别技术领域，具体涉及一种面向小目标超分辨重建图像的目标识别模型构建方法，包括：采用真实高分辨率图像训练包括特征提取网络和识别分类网络的识别网络模型；将已训练特征提取网络的参数迁移至与该特征提取网络结构相同的生成器和特征提取参考网络，将已训练识别分类网络的参数迁移至与该识别分类网络结构相同的分类器，生成器与分类器构成目标识别模型，特征提取参考网络和判别器构成辅助训练网络，以GAN网络对抗方式辅助训练已参数迁移后的目标识别模型；迭代训练过程中，固定特征提取参考网络的参数，根据损失函数交替更新生成器和分类器的参数以及判别器的参数。本发明专利技术能够提高目标识别器在超分辨率重建后目标图像的识别性能。率重建后目标图像的识别性能。率重建后目标图像的识别性能。

【技术实现步骤摘要】
一种面向小目标超分辨重建图像的目标识别模型构建方法


[0001]本专利技术属于目标识别
，更具体地，涉及一种面向小目标超分辨重建图像的目标识别模型构建方法。

技术介绍

[0002]现实生活中，随着摄像设备的小型化和便携化，这些设备每时每刻都在产生海量的图像数据。这些设备采集到的图像数据中存在着许许多多像素尺寸较小的目标，例如利用卫星遥感拍摄的一些地面小目标、港口摄像头拍摄的远处驶向港口的船只，监控摄像头拍摄的车辆牌照数字等小尺寸目标。因此，对小目标进行精确识别对于分析和处理这些图像数据显得非常重要，并且在医疗图像分析、视频监控与跟踪、自动驾驶等领域也有着非常重要的价值。较小尺寸的目标相比常规尺寸的目标，只有几个或者几十个像素，并且存在分辨率低，携带的图像信息很少等问题，导致小目标的特征表达能力弱，识别起来更加困难。可以先对图像进行超分辨率预处理，提升目标的像素分辨率尺寸，然后再进行目标识别。
[0003]图像超分辨率重建是指将低分辨率图像转为超分辨率图像的一种图像复原技术。在现实生活中，图像超分辨率重建不仅能帮助提升图像感知质量，也可以作为前置的预处理步骤，有助于改善其它的计算机视觉任务。但是超分辨率重建处理并不能完全恢复出物体清晰的边缘和表面的纹理，会附带有一定程度的模糊，也会对后续的目标识别任务产生一定的干扰。
[0004]近几年深度学习发展迅猛，国内外经历了目标识别的研究热潮，目标识别的输入是一张目标图像，输出该目标所对应的类别。但是对于经历了超分辨率重建的目标图像而言，重建后图像会存在一定程度模糊、携带的信息少，这使得VGG，ResNet,DenseNet等深度网络的识别性能就出现了明显的下降，很难与其它相似的目标进行区分。

技术实现思路

[0005]针对现有技术的缺陷和改进需求，本专利技术提供了一种面向小目标超分辨重建图像的目标识别模型构建方法，其目的在于提出一种目标识别器构建方法，以解决现有目标识别器在超分辨率重建后的小目标图像上识别性能差的技术问题。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种面向小目标超分辨重建图像的目标识别模型构建方法，包括：
[0007]采用小目标的真实高分辨率图像，训练包括特征提取网络和识别分类网络的识别网络模型；并将已训练的特征提取网络的参数迁移至与该特征提取网络结构相同的生成器和特征提取参考网络，将已训练的识别分类网络的参数迁移至与该识别分类网络结构相同的分类器，所述生成器与所述分类器构成目标识别模型，所述特征提取参考网络和所述判别器构成辅助训练网络；
[0008]采用所述辅助训练网络辅助训练已参数迁移后的所述目标识别模型，其中，所述生成器的输入为超分辨率重建图像和真实高分辨率图像，所述特征提取参考网络的输入为
真实高分辨率图像，所述判别器的输入为所述生成器和所述特征提取参考网络的输出，输出为相应输入属于真实高分辨率图像的概率，所述分类器的输入为所述生成器的输出；在迭代训练过程中，固定所述特征提取参考网络的参数，根据损失函数交替更新所述生成器和所述分类器的参数以及所述判别器的参数，完成目标识别模型的构建。
[0009]进一步，将ResNet50网络结构划分成两部分，构建包括特征提取网络和识别分类网络的所述识别网络模型。
[0010]进一步，所述损失函数包括：
[0011]用于更新所述生成器和所述分类器参数的损失函数L
comb
＝10L
cls
+L
adv
+200L
FM
，以及用于更新所述判别器的参数的判别器损失函数；
[0012]其中，L
cls
表示分类损失，L
adv
表示对抗损失，L
FM
表示特征匹配损失。
[0013]进一步，采用所述生成器输出的特征图和所述特征提取参考网络输出的特征图，计算所述特征匹配损失L
FM
，使得所述生成器输出的特征图尽可能靠近所述特征提取参考网络输出的特征图，学习超分辨率重建图像和真实高分辨率图像之间的模糊不变特征。
[0014]进一步，所述特征匹配损失L
FM
为所述生成器输出的特征图和所述特征提取参考网络输出的特征图之间的smooth L1损失，表示为：
[0015][0016]式中，x,y分别表示真实高分辨率图像和超分辨率重建图像；P
data(x,y)
表示x,y数据的概率分布；表示x,y数据分布情况下，方括号内函数表达式的期望；G、D和Ref分别表示生成器net
G
、判别器net
D
和特征提取参考网络net
ref
；net
G
(y)表示当输入为y时生成器net
G
的输出；net
ref
(x)表示当输入为x时特征提取参考网络net
ref
的输出。
[0017]进一步，所述分类损失L
cls
为交叉熵损失，其中N是总类别数量，t
i
是二元分类标签，p
i
是分类器输出的目标属于类别i的概率；
[0018]所述对抗损失：
[0019][0019]其中x,y分别表示真实高分辨率图像和超分辨率重建图像；P
data(x,y)
表示x,y数据的概率分布；表示x,y数据分布情况下，方括号内函数表达式的期望；G、D和Ref分别表示生成器net
G
、判别器net
D
和特征提取参考网络net
ref
；Ref(x)表示net
ref
的输入为x时对应的输出；G(y)表示net
G
的输入为y时对应的输出；D(Ref(x),y)表示将特征提取参考网络net
ref
输出的Ref(x)和超分辨率重建图像y作为判别器net
D
的输入时所得到的输出；D(G(y),y)表示将生成器net
G
输出的G(y)和超分辨率重建图像y作为判别器net
D
的输入时所得到的输出；min
G
|和max
D
|分别表示判别器参数固定时最小化生成器损失和生成器参数固定时最大化判别器损失。
[0020]进一步，所述判别器损失函数为：
[0021][0022]式中，x,y分别表示真实高分辨率图像和超分辨率重建图像；P
data(x或y)
表示x或y数据的概率分布；表示x或y数据分布情况下，方括号内函数表达式的期望；G、D和Ref分别表示生成器net
G
、判别器net
D
和特征提取参考网络net
ref
；G(y)表示生成器net
G
的输入为y时对应的输出；D(G(y))表示将生成器net
G
输出的G(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向小目标超分辨重建图像的目标识别模型构建方法，其特征在于，包括：采用小目标真实高分辨率图像，训练包括特征提取网络和识别分类网络的识别网络模型；并将已训练的特征提取网络的参数迁移至与该特征提取网络结构相同的生成器和特征提取参考网络，将已训练的识别分类网络的参数迁移至与该识别分类网络结构相同的分类器，所述生成器与所述分类器构成目标识别模型，所述特征提取参考网络和所述判别器构成辅助训练网络；采用所述辅助训练网络辅助训练已参数迁移后的所述目标识别模型，其中，所述生成器的输入为超分辨率重建图像和真实高分辨率图像，所述特征提取参考网络的输入为真实高分辨率图像，所述判别器的输入为所述生成器和所述特征提取参考网络的输出，输出为相应输入属于真实高分辨率图像的概率，所述分类器的输入为所述生成器的输出；在迭代训练过程中，固定所述特征提取参考网络的参数，根据损失函数交替更新所述生成器和所述分类器的参数以及所述判别器的参数，完成目标识别模型的构建。2.根据权利要求1所述的一种面向小目标超分辨重建图像的目标识别模型构建方法，其特征在于，将ResNet50网络结构划分成两部分，构建包括特征提取网络和识别分类网络的所述识别网络模型。3.根据权利要求1所述的一种面向小目标超分辨重建图像的目标识别模型构建方法，其特征在于，所述损失函数包括：用于更新所述生成器和所述分类器参数的损失函数L
comb
＝10L
cls
+L
adv
+200L
FM
，以及用于更新所述判别器的参数的判别器损失函数；其中，L
cls
表示分类损失，L
adv
表示对抗损失，L
FM
表示特征匹配损失。4.根据权利要求3所述的一种面向小目标超分辨重建图像的目标识别模型构建方法，其特征在于，采用所述生成器输出的特征图和所述特征提取参考网络输出的特征图，计算所述特征匹配损失L
FM
，使得所述生成器输出的特征图尽可能靠近所述特征提取参考网络输出的特征图，学习超分辨率重建图像和真实高分辨率图像之间的模糊不变特征。5.根据权利要求4所述的一种面向小目标超分辨重建图像的目标识别模型构建方法，其特征在于，所述特征匹配损失L
FM
为所述生成器输出的特征图和所述特征提取参考网络输出的特征图之间的smooth L1损失，表示为：式中，x,y分别表示真实高分辨率图像和超分辨率重建图像；P
data(x,y)
表示x,y数据的概率分布；表示x,y数据分布情况下，方括号内函数表达式的期望；G、D和Ref分别表示生成器net
G
、判别器net
D
和特征提取参考网络net
ref
；net
G
(y)表示当输入为y时生成器net
G
的输出；net
ref
(x)表示当输入为x时特征提取参考网络net
ref
的输出。6.根据权利要求3所述的一种面向小目标超分辨重建图像的目标识别模型构建方法，
其特征在于，所述分类损失L
cls
为交叉熵损失，为交叉熵损失，其中，N是总类别数量，t
i
是二元分类标...

【专利技术属性】
技术研发人员：胡静，陈柏烁，张睿，章正，张宏志，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：