一种基于元学习的图像识别方法技术

本发明专利技术提供了一种基于元学习的图像识别方法，包括以下步骤：步骤1，增强训练数据：基于生成对抗网络为每个训练集中的图像生成虚拟开集样例；步骤2，划分训练数据：结合生成的开集样例，将训练数据按域分布不同划分为元训练集和元测试集；步骤3，元训练：在元训练集上计算模型参数的梯度并修改参数；步骤4，元测试：在元测试集上评估步骤3学习的最佳模型；步骤5，元优化：联合步骤3和步骤4的损失函数优化模型；步骤6，元迭代：重复步骤2至步骤5进行迭代优化，直到获得具有良好泛化能力的图像识别模型。相较于现有技术，本发明专利技术能够在多个不同域分布的训练集上提升模型应对域分布变化的泛化能力。化能力。化能力。

【技术实现步骤摘要】
一种基于元学习的图像识别方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于元学习的图像识别方法。

技术介绍

[0002]目前，大多数图像识别方法都是基于闭集假设和域分布相同假设下提出的。其中，闭集假设指训练集的类别分布完全覆盖测试集中出现的所有类别。然而这一假设在真实应用场景中并不成立。识别系统极大可能会面临来自训练类别分布以外的风险，而闭集假设将迫使识别系统无法有效识别这些来自未知类别的样本，这将会导致实际应用中的安全问题。
[0003]更普遍的情况是开集假设，即测试集包含训练集中没有出现过的类别。这就要求识别系统既能准确识别训练过程中出现过的已知类，也要能对没有出现过的未知类作出正确的响应。域分布相同假设指训练集与测试集的域分布相同，即两者的图像风格一致，这一假设在现实应用场景中也同样不成立。识别系统面临的图像风格多种多样，且训练过程中无法穷尽所有可能出现的图像风格。然而，这种域分布差异将导致识别系统的精度严重下降，迫使识别系统拥有更强地泛化能力来应对域分布差异带来的影响。

技术实现思路

[0004]专利技术目的：针对图像识别在现实应用场景中的开集问题和域分布差异问题，提出了一种基于元学习的图像识别方法。本专利技术在多个带有类别标签的训练集数据上训练图像识别模型，且每个训练集的域分布不同，目的是为了模拟真实世界中测试集与训练集的域分布变化。本专利技术提供一种基于元学习的图像识别方法中，通过生成对抗网络为每个训练集数据生成虚拟开集样例，并基于这些开集样例和原始训练数据通过元学习优化策略来减少对任何类别分布和域分布的过度拟合，从而提升模型的泛化能力。
[0005]技术方案：本专利技术公开了一种基于元学习的图像识别方法，其核心在于通过元学习优化策略提升模型对类别分布变化和域分布变化的泛化能力，包括以下步骤：
[0006]步骤1，基于生成对抗网络为每个训练集中的图像生成虚拟开集样例，所述训练集包括多个带有类别标签的子训练集，且每个所述子训练集包含的类别标签完全重叠，但每个所述子训练集的域分布不同，即每个子训练集中的图像风格不同；通过本步骤，即实现增强训练数据；
[0007]步骤2，结合所述虚拟开集样例，将所述训练集按域分布不同划分为元训练集和元测试集，所述元训练集中的类别完全覆盖元测试集中的所有类别，即所述元训练集包括带有类别标签的已知类，以及所述虚拟开集样例组成的未知类；通过本步骤，即实现划分训练数据；
[0008]步骤3，在所述元训练集上计算模型参数的梯度并修改参数，得到当前的最优模型；通过本步骤，即实现元训练；
[0009]步骤4，在所述元测试集上评估步骤3获得的当前的最优模型；通过本步骤，即实现
元测试；
[0010]步骤5，联合所述步骤3和步骤4中的所有损失函数优化当前的最优模型；通过本步骤，即实现元优化；
[0011]步骤6，重复所述步骤2至步骤5进行迭代优化，直到获得最终的最优模型。通过本步骤，即实现元迭代；
[0012]进一步地，在一种实现方式中，所述步骤1包括：
[0013]步骤1
‑
1，利用编码器将所述训练集中的原始图像投影到特征空间z＝E(x)；
[0014]步骤1
‑
2，利用生成器从所述特征空间反向生成图像G(z)；
[0015]步骤1
‑
3，根据以下公式，通过交叉优化两个损失函数，联合训练所述编码器、生成器和鉴别器：
[0016][0017][0018]其中，L
dis
表示鉴别损失函数，L
recons
表示图像重构损失函数，S
i
表示多个训练集S中第i个子训练集，表示第i个子训练集中的图像，D表示鉴别器，G表示生成器，E表示编码器；本专利技术中，通过所述步骤1
‑
3，即可让生成的重构图像尽可能逼真原始图像，且鉴别器无法区分其真假；
[0019]步骤1
‑
4，根据以下公式，为所述第i个子训练集S
i
训练分类器
[0020][0021]其中，k表示训练集中已知类的个数，L
c
表示分类损失函数，表示第i个子训练集S
i
中的图像的类别标签，所述类别标签只包含训练集的k个已知类的类别标签；
[0022]步骤1
‑
5，使用所述分类器近似已知类数据和未知类数据的决策边界，生成每个子训练集S
i
对应的虚拟开集样例将每个生成的所述虚拟开集样例都整合到每个虚拟开集样例对应的子训练集S
i
后，获得增强的训练集，表示为S＝{S
+
,S
‑
}，其中S
+
表示已知类数据，S
‑
表示生成的虚拟开集样例。
[0023]进一步地，在一种实现方式中，所述步骤1
‑
5包括：
[0024]将所述图像G(z)输入到分类器当所述分类器所有类别的输出置信度都较低时，所述较低指相对于输出置信度为零而言较低，则确定所述图像属于未知类数据；
[0025]从所述第i个子训练集S
i
中随机选择一个种子图像x
i
作为输入，通过梯度下降法最小化如下公式：
[0026][0027]其中，z
*
表示需要寻找的特征空间向量，第一项‖z
‑
E(x
i
)‖表示需要寻找的特征空间向量z
*
需要尽可能与种子图像x
i
风格相近，第二项表示假设未知类的输出置信度为零的情况下的对数似然，通过最小化所述对数似然，将所有所述已知类的输出置信度都推低；
[0028]经过固定步数找到z
*
，并对z
*
使用生成器G进行解码，即为每个子训练集S
i
生成虚拟开集样例，生成的虚拟开集样例表示为每个所述子训练集S
i
都有与子训练集S
i
对应的虚拟开集样例所有所述子训练集S
i
对应的虚拟开集样例即表示为元训练集中的虚拟开集样例将所有生成的所述虚拟开集样例都整合到各自对应子训练集S
i
后，获得增强的训练集S，所述增强的训练集S由原始的已知类数据S
+
和生成的开集样例S
‑
组成。
[0029]具体的，本专利技术中，所述固定步数在实验中根据不同图像任务设定。
[0030]进一步地，在一种实现方式中，所述步骤2包括：
[0031]将所述增强的训练集S按域分布不同，分成N
s
个元训练集和N
t
个元测试集所述元测试集的数量N
t
设为1；所述元训练集用于训练模型，所述元测试集用于对训练后的模型进行测试。本专利技术中，所述步骤2为了模拟真实场景中的训练和测试集，即模拟真实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元学习的图像识别方法，其特征在于，包括以下步骤：步骤1，基于生成对抗网络为每个训练集中的图像生成虚拟开集样例，所述训练集包括多个带有类别标签的子训练集，且每个所述子训练集包含的类别标签完全重叠，但每个所述子训练集的域分布不同，即每个子训练集中的图像风格不同；步骤2，结合所述虚拟开集样例，将所述训练集按域分布不同划分为元训练集和元测试集，所述元训练集中的类别完全覆盖元测试集中的所有类别，即所述元训练集包括带有类别标签的已知类，以及所述虚拟开集样例组成的未知类；步骤3，在所述元训练集上计算模型参数的梯度并修改参数，得到当前的最优模型；步骤4，在所述元测试集上评估步骤3获得的当前的最优模型；步骤5，联合所述步骤3和步骤4中的所有损失函数优化当前的最优模型；步骤6，重复所述步骤2至步骤5进行迭代优化，直到获得最终的最优模型。2.根据权利要求1所述的一种基于元学习的图像识别方法，其特征在于，所述步骤1包括：步骤1
‑
1，利用编码器将所述训练集中的原始图像投影到特征空间z＝E(x)；步骤1
‑
2，利用生成器从所述特征空间反向生成图像G(z)；步骤1
‑
3，根据以下公式，通过交叉优化两个损失函数，联合训练所述编码器、生成器和鉴别器：鉴别器：其中，L
dis
表示鉴别损失函数，L
recons
表示图像重构损失函数，S
i
表示多个训练集S中第i个子训练集，表示第i个子训练集中的图像，D表示鉴别器，G表示生成器，E表示编码器；步骤1
‑
4，根据以下公式，为所述第i个子训练集S
i
训练分类器训练分类器其中，k表示训练集S中已知类的个数，L
c
表示分类损失函数，表示第i个子训练集S
i
中的图像的类别标签，所述类别标签只包含训练集S的k个已知类的类别标签；步骤1
‑
5，使用所述分类器近似已知类数据和未知类数据的决策边界，生成每个子训练集S
i
对应的虚拟开集样例将每个生成的所述虚拟开集样例都整合到每个虚拟开集样例对应的子训练集S
i
后，获得增强的训练集，表示为S＝{s
+
，s
‑
}，其中s
+
表示已知类数据，s
‑
表示生成的虚拟开集样例。3.根据权利要求2所述的一种基于元学习的图像识别方法，其特征在于，所述步骤1
‑
5包括：将所述图像G(z)输入到分类器当所述分类器所有类别的输出置信度都较低时，所述较低指相对于输出置信度为零而言较低，则确定所述图像属于未知类数据；从所述第i个子训练集S
i
中随机选择一个种子图像x
i
作为输入，通过梯度下降法最小化
如下公式：其中，z
*
表示需要寻找的特征空间向量，第一项||z
‑
E(x
i
)||表示需要寻找的特征空间向量z
*
需要尽可能与种子图像x
i
风格相近，第二项表示假设未知类的输出置信度为零的情况下的对数似然，通过最小化...

【专利技术属性】
技术研发人员：张鸿杰，盛谦，蒋斌，郭延文，
申请(专利权)人：南京览众智能科技有限公司，
类型：发明
国别省市：