【技术实现步骤摘要】
本专利技术涉及计算机视觉及图像处理领域，具体涉及基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法。
技术介绍
1、传统图像识别是将图像中的目标划分为一个粗粒度类别，这些粗粒度类别之间在外观特征上有较大差异，例如自行车、汽车、花等。与传统图像识别不同，细粒度图像识别需要将图像划分为粗粒度类别下更精细的子类别，例如北极燕鸥、福斯特燕鸥、小白额燕鸥等，这些子类别之间的目标通常具有相似的外观特征，类间差异微小，且易受拍摄角度、生长周期等因素的影响，使类内差异变大。此外，在一些真实应用场景中，由于拍摄距离和实际环境的影响，收集到的图像分辨率低，目标内容缺失，使现有细粒度识别模型难以提取足够且准确的细粒度特征。
2、现有的超分辨方法追求良好的像素级逼近或很高的视觉质量，并不是专门针对高级语义任务设计的，而细粒度图像识别方法旨在学习高级的语义特征，两者之间存在任务鸿沟。为此，有研究者通过联合图像超分辨与识别任务，构造多任务联合框架，利用下游识别任务约束超分辨模型重构识别所需的特征，这类方法的经典代表是2022年yan等人发表在ieee tcsvt期刊上的文献“discriminative feature mining and enhancementnetwork for low-resolution fine-grained image recognition”，该算法分别从宏观和微观角度引导模型重构并抽取关键的判别性特征，在宏观上，训练网络对图像全局判别性特征的恢复和提取能力；在微观上，设计了一个信息部件挖掘模块，在差异损失函
3、相比于联合多任务框架，另一类方法通过从高分辨率图像中提取目标语义特征作为额外信息，构造约束损失，引导识别模型提取关键鲁棒的判别性特征以提升低分辨率数据的识别精度。这类方法的典型代表是2019年singh等人发表在iccv会议上的文献“dualdirected capsule network for very low resolution image recognition”，该算法利用胶囊网络学习低分辨图像中不随分辨率变化的特征，并约束该特征重构原始高分辨率图像，同时设计高分辨锚损失函数约束低分辨率图像特征向高分辨率图像特征逼近，从而提升模型抽取关键特征的能力。
4、然而，细粒度类间细微差异通常分布在相似类别语义响应的区域中，在模型提取细粒度特征时更易受到相似类别易混淆特征干扰，制约了低分辨率图像的识别性能。
技术实现思路
1、根据上述
技术介绍
中提到的技术问题，提供一种基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法。针对现有技术中存在的上述问题，本专利技术提供一种基于易混淆特征挖掘与解耦的低分辨细粒度图像识别方法，以一组可学习类原型作为信息交互的媒介，通过约束低分辨率图像和高分辨率图像全局类别表征与对应类原型向量的相似性分数保持一致，引导低分辨率图像特征表征向高分辨率图像特征表征逼近；通过挖掘特征图中易混淆类别的特征，并对其进行特征解耦，抽取出易混淆特征中隐藏的关键性细粒度特征，增强目标特征表达能力，提高低分辨率图像细粒度识别性能。
2、本专利技术采用的技术手段如下：
3、基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，包括以下步骤：
4、步骤1：分别将低分辨率图像和高分辨率图像输入特征提取器，进行初步特征提取，分别获取低分辨率图像和高分辨率图像的全局类别表征；
5、步骤2：设置一组可学习的类原型向量，分别计算所述步骤1学习到的低分辨率图像和高分辨率图像的全局类别表征与类原型向量的余弦相似性分数，并以图像的类别标签作为监督信息，构造损失函数引导类原型和特征提取器的参数学习；
6、步骤3：计算步骤2的每个类原型向量在特征图上的响应，并分别对特征图上各类别响应特征进行聚合，得到对应的分组特征；
7、步骤4：依据低分辨率图像全局表征与类原型向量的相似性分数，选取出分数最高的k个分组特征，即为易混淆类别特征；
8、步骤5：利用特征图在以类原型为基的特征表示，将步骤4所得的k组易混淆特征进行特征解耦，从易混淆特征中分解出细粒度类别特性，增强目标的细粒度类别表征；
9、步骤6：低分辨率图像最终的类别表征是由全局类别特征和解耦之后的分组特征经过特征融合模块输出的类别表征。
10、与现有技术相比，本专利技术具有以下优点：
11、本专利技术从特征挖掘与解耦的角度进行建模，并联合一组可学习类原型向量完成细粒度判别性信息传递，使模型对低分辨率图像细粒度特征的信息抽取能力得到增强，从而提升了低分辨图像细粒度识别的准确率。
12、本专利技术通过一组可学习类原型向量构造特征约束损失函数，实现高分辨率图像和低分辨率图像特征之间信息传递，使低分辨率图像全局类别表征向高分辨率图像全局类别表征逼近；另一方面，通过挖掘特征图中响应的易混淆类别特征，并进行特征解耦，分解出响应特征中隐藏的细粒度类别特性，增强低分辨率图像细粒度类别特征表达能力。
本文档来自技高网...【技术保护点】
1.基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，其特征在于，所述步骤1中，采用ResNet50作为特征提取器，高分辨图像与低分辨图像特征提取器的参数不共享；以所述特征提取器的最后一个池化层特征作为高分辨率与低分辨率图像全局类别表征，分别记为fHR和fLR。
3.根据权利要求1所述的基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，其特征在于，所述步骤2中，设置可学习类原型(M＝{m1,m2,…,mC}∈RC×D)特征向量的维度D与图像全局类别表征维度相同；以可学习类原型向量作为特征存储库和信息传递媒介，通过约束低分辨率图像和高分辨率图像全局类别表征与对应类原型向量的相似性分数保持一致，引导低分辨图像特征表征向高分辨图像特征表征逼近；对应损失函数计算如下：
4.根据权利要求1所述的基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，其特征在于，所述步骤3中，计算类原型中各类别向量在特征提取器最后一个卷积块特征图F上的响应，然后按类别聚
5.根据权利要求1所述的基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，其特征在于，所述步骤4中，依据相似性分数选取最高的K个分数对应的分组特征，也就是最易混淆的K个类别的特征，记为
6.根据权利要求1所述的基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，其特征在于，所述步骤5中，通过将K组易混淆特征与对应类别的特征进行正交，分解干扰类别的信息，显式建模细粒度类别特性，强化细粒度类间微小差异表征；易混淆特征解耦计算公式如下：
7.根据权利要求1所述的方法，其特征在于，所述步骤6中，通过设置一个可学习类别嵌入，利用低质量图像全局类别特征与解耦后的分组特征之间的内在关联性，进行特征融合，获得低分辨率图像最终的类别表征。
...【技术特征摘要】
1.基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，其特征在于，所述步骤1中，采用resnet50作为特征提取器，高分辨图像与低分辨图像特征提取器的参数不共享；以所述特征提取器的最后一个池化层特征作为高分辨率与低分辨率图像全局类别表征，分别记为fhr和flr。
3.根据权利要求1所述的基于易混淆特征挖掘与解耦的低分辨图像细粒度识别方法，其特征在于，所述步骤2中，设置可学习类原型(m＝{m1,m2,…,mc}∈rc×d)特征向量的维度d与图像全局类别表征维度相同；以可学习类原型向量作为特征存储库和信息传递媒介，通过约束低分辨率图像和高分辨率图像全局类别表征与对应类原型向量的相似性分数保持一致，引导低分辨图像特征表征向高分辨图像特征表征逼近；对应损失函数计算如下：
4.根据权利要求1所述的基于易混淆特征挖掘与解耦的低分...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。