用于图像分类器训练的数据扩充制造技术

提供了用于图像分类器训练的数据扩充。一种用于从输入图像x生成输出图像x

【技术实现步骤摘要】
用于图像分类器训练的数据扩充


[0001]本专利技术涉及图像的自动生成，该图像尤其可以用于扩充图像分类器的训练数据集。

技术介绍

[0002]当车辆被操控穿过交通时，对车辆环境的光学观察是对于规划车辆下一步动作所需的信息的最重要来源。这适用于人类驾驶员以及用于至少部分自动驾驶的系统。后一种系统通常采用经训练的图像分类器，这些图像分类器将图像映射到关于它们包含哪些类型的对象的分类分数。
[0003]产品的几何形状和/或表面的光学检查是图像分类器的另一个重要应用领域。基于结果，产品可以被分配到一个或多个预定的质量类。在最简单的情况下，这是“OK”/“不OK = NOK”形式的二元分类。
[0004]图像分类器通常在标注有“基本真值（ground truth）”分类分数的训练图像上进行训练。训练的目的是图像分类器将训练图像映射到它们各自的“基本真值”分类分数。如果用具有足够可变性的足够大的训练图像集来执行训练，则可以预期图像分类器也正确地分类未看见的图像。训练图像的获得是训练过程最昂贵的部分。特别地，训练图像的标注是昂贵的，因为它频繁地涉及手动工作。

技术实现思路

[0005]本专利技术提供了一种用于从输入图像x生成输出图像x
g
的方法，给定的图像分类器将该输出图像x
g
分类为从给定分类的多个可用类中选择的目标类c
’
。
[0006]在该方法的过程中，输入图像x通过经训练的编码器网络被映射到潜在空间中的较低维度表示z。例如，该潜在空间可以由编码器网络的训练结合要重构原始输入图像x的解码器的训练来定义。这样的编码器
‑
解码器结构被称为“自动编码器”。在本专利技术的上下文中可以有利地使用的一种类型的自动编码器是变分自动编码器VAE。潜在空间可以理解为任意维数的笛卡尔空间的子流形。由于该属性，通过在输入图像x的空间中取得样本并借助于编码器网络将其转换成样本z来从该潜在空间获得样本z通常比直接找到属于潜在空间的样本z更容易。因为表示z的维数低于输入图像x（及其重构）的维数，所以当计算表示并且然后重构原始输入图像时，迫使信息通过“瓶颈”。该瓶颈迫使编码器仅将对重构原始图像x最重要的信息编码到表示z中。
[0007]噪声样本n是从给定的分布中采样的。借助于经训练的生成器网络，该噪声样本n被映射到输出图像x
g
。该映射以目标类c
’
和表示z两者为条件。
[0008]已知生成器网络（诸如生成性对抗网络GAN的生成器部分）产生属于期望域的图像，并且因此在属于该域的其他图像的上下文中是“逼真的”。进一步使输出图像x
g
的生成以某个给定的量或属性“为条件”意味着优选或甚至强制x
g
与给定的量或属性相符。因此，以目标类c
’
为条件优选或强制属于目标类c
’
的目标图像x
g
。以表示z为条件优选或强制链
接到表示z的输出图像x
g
。特别地，以表示z为条件可以包括经训练的生成器网络产生输出图像x
g
，经训练的编码器网络将该输出图像x
g
映射到表示z。也就是说，输出图像x
g
优选或甚至强制为经训练的编码器网络映射到尽可能接近z的表示z
g
的图像。
[0009]以表示z为条件具有如下效果，即当从同一个输入图像x产生大量输出图像x
g
时，它们将都具有类c
’
，并且它们的最具特性内容——其对于从图像的表示z重构图像是最重要的——将非常相似。但是，允许不是该最具特性内容的部分的所有图像信息变化。也就是说，利用噪声样本n的随机性来选择性地在图像x
g
的包含相对于目标类c
’
和任何其他类之间的任何判定边界不太重要的特征的部分中产生可变性。
[0010]生成器可以采用任何合适的方法，以便鼓励或强制输出图像x
g
被映射到尽可能接近条件z的表示z
g
。例如，生成器可以创建多个候选图像，将每个候选图像映射到表示，并选择其表示z
g
最接近z的候选图像作为输出图像x
g
。
[0011]这使得输出图像x
g
作为图像分类器的训练图像特别有用。在训练期间，图像分类器可以学习类和实际上与类成员无关的不重要图像特征之间的混淆相关性。例如，如果图像分类器被训练成将求职者的图像映射到特定技能，并且训练图像中的一些人穿着显眼的肩垫，则图像分类器可以至少部分地学习容易发现的肩垫和技能之间的相关性，而不是难以发现的面部特征和技能之间的所寻求的相关性。在用生成的输出图像x
g
丰富的训练数据集中，这样的混淆相关性有可能被打破。生成器或多或少将随机给每个人各种大小和形状的肩垫或者根本没有肩垫，而与技能水平没有任何相关性。为了通过分类损失函数实现良好的评级，分类器别无选择，只能学习面部特征和技能之间的相关性。
[0012]交通场景中对象的分类是另一个重要的用例，其中可以学习混淆相关性。除了与交通相关的对象之外，捕获的场景通常包含许多与评测交通情形无关的其他信息。例如，如果特定类型的商店和停车标志两者在交叉路口处比在其他路段中更有可能被发现，则图像分类器可以将属于商店的图像信息与停车标志的语义相关联。这可能引起在没有这种类型商店的地方中出现的停车标志被分类为具有较低置信度分数的停车标志，或者甚至被错误分类为其他东西。但是在大的生成输出图像x
g
集中，任何交通标志都将与各种各样不同的背景结合出现，因此混淆相关性将被打破。
[0013]此外，生成任意类的图像的可能性允许在如下意义上减轻类不平衡，即具有一些基本真值类标注的图像在训练图像集中表示不足。例如，警告驾驶员不安全的平交道口或河岸的标志远不如停车标志、让行标志或限速标志出现得频繁。但是这些标志出现的频率和它们的重要性并不相关。错过限速标志的检测有可能比不在河岸处停车或在不安全的平交道口处不注意迎面而来的列车要具有小得多的危险后果。利用本方法，可以用包含所提到的罕见但重要的交通标志的许多训练图像来扩充训练图像集。
[0014]图像分类器的训练可以从输入图像x和生成图像x
g
的组合集中选择子集，该子集在基本真值类标注c（分别为目标类c
’
）方面和在潜在表示z（分别为z
g
）方面均具有目标可变性量。测量在潜在表示z、z
g
方面的多样性的一种示例性方式是，对于每个表示z、z
g
，测量输入图像x分别与生成图像x
g
的所有其他表示z、z
g
的距离，并聚集结果。这样的对多样性的测量关系到经训练的编码器。在不同的编码器或不同地训练的编码器的情况下，z、z
g
所属的潜在空间的整个结构将是不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于从输入图像x生成输出图像x
g
的方法（100），给定图像分类器（3）将所述输出图像x
g
分类为从给定分类的多个可用类中选择的目标类c
’
，所述方法包括以下步骤：
•ꢀ
借助于经训练的编码器网络（1）将输入图像x映射（110）到潜在空间中的较低维度表示z；
•ꢀ
从给定分布中抽取（115）噪声样本n；和
•ꢀ
借助于经训练的生成器网络（2）将噪声样本n映射（120）到输出图像x
g
，其中该映射以目标类c
’
和表示z两者为条件。2.根据权利要求1所述的方法（100），其中使映射以表示z为条件包括：经训练的生成器网络（2）产生输出图像x
g
，经训练的编码器网络（1）将所述输出图像x
g
映射到表示z。3.根据权利要求1至2中任一项所述的方法（100），其中，噪声样本n到输出图像x
g
的映射（120）进一步包括：
•ꢀ
借助于给定的图像分类器（3），将输出图像x
g
映射（121）到分类分数c #；
•ꢀ
借助于给定的分类损失函数（L
C
）确定（122）分类分数c#与输出图像x
g
到目标类c
’
的分类多么好地相符；以及
•ꢀ
优化（123）到生成器网络（2）的至少一个输入，使得基于改变的输入对输出图像x
g
的重新计算有可能引起分类损失函数（L
C
）的值改进。4.根据权利要求1至3中任一项所述的方法（100），其中输入图像x被选择（105）为具有源类，从而使输出图像x
g
成为输入图像x的反事实图像。5.根据权利要求4所述的方法（100），进一步包括以下步骤：
•ꢀ
比较（130）反事实图像x
g
和输入图像x；和
•ꢀ
将其中反事实图像x
g
不同于输入图像x的区域（）确定（140）为相对于源类c和目标类c
’
之间的类边界而言有意义的区域（S）。6.根据权利要求5所述的方法（100），进一步包括以下步骤：
•ꢀ
借助于给定度量（4）来确定（150）相对于类边界而言有意义的区域（S）与输入图像x的包含被认为显著的输入图像x的特征的给定区域（S*）多么好地相符；以及
•ꢀ
将与由所述给定度量（4）输出的结果（4a）相称的分数（3a）归属（160）于图像分类器（3）。7.根据权利要求6所述的方法（100），进一步包括：优化（170）表征给定图像分类器（3）的行为的参数（3b），使得当重复方法（100）的先前步骤（120
‑
160）时，图像分类器（3）的分数（3a）有可能改进。8.根据权利要求1至7中任一项所述的方法（100），其中，输入图像x是在产品的光学检查过程中已经获取的制造产品的图像，并且给定分类的类表示产品的质量等级。9.根据权利要求1至7中任一项所述的方法（100），其中，输入图像x是交通情形的图像，并且给定分类的类表示与交通情形的解释相关的对象。10.一种用于训练编码器网络（1）和生成器网络（2）的组合的...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：罗伯特，
类型：发明
国别省市：