变更图像的系统和方法技术方案

变更图像的系统和方法。一些实施例针对变更输入图像以提供经训练的分类器的可解释性。变更的图像（161）可以通过优化至少以下各项来确定：变更的图像的分类得分（450），用于减小变更的图像的分类和目标分类之间的距离；以及相似性得分（460），用于减小在平均滤波器激活差异与输入图像和变更的图像之间的滤波器激活差异的度量之间的距离。差异的度量之间的距离。差异的度量之间的距离。

【技术实现步骤摘要】
counterfactual generation”中公开了可解释性的另一种方法，该论文通过引用并入本文。该方法使用生成模型来产生看起来自然的反设事实。不幸的是，这是以必须训练生成模型为代价的，这对于许多应用——例如仅有很少数据点可用于其的应用——而言是不可能的或不实际的。

技术实现思路

[0009]将有利的是具有一种分析经训练的分类器的行为的改进方式。经训练的分类器是计算机实现的，并且被配置为接收图像作为输入，并且产生分类。经训练的分类器包括多个经训练的滤波器——典型地，经训练的分类器是卷积神经网络，例如，包括多个卷积滤波器的神经网络，典型地，包括多个卷积滤波器的多个层。
[0010]如在
技术介绍
中也指出的，当此类经训练的分类器应用于该领域中时，核实分类边界是重要的，该分类边界例如是被不同分类的输入之间的边界。然而，分析神经网络的已知方法具有限制。例如，它们可能仅以直方图或热图的形式提供可解释性，而很少提及分类边界。例如，它们可能产生对抗性的反设事实，或者需要训练新的神经网络。对抗性的反设事实对于现实世界的应用而言仅具有很小的相关性，例如，因为对抗性的场景仅罕见地发生。
[0011]实施例解决了这些和其他缺点。例如，在实施例中，在不需要新网络的训练、例如不依赖于生成模型的情况下产生非对抗性反设事实。实施例提供了调试或验证经训练的分类器的强大的新工具。
[0012]例如，在实施例中，通过针对分类得分优化变更的图像来变更输入图像，使得变更的图像将被分类为不同于输入图像。例如，虽然经训练的分类器可以将输入图像分类为源分类，但是经训练的分类器可以将变更的图像分类为不同于源分类的目标分类。有趣的是，优化还试图优化相似性得分。相似性得分确保变更的图像在分类器的滤波器中引起不同激活的方式类似于来自目标分类的典型图像与源分类的典型图像相比在分类器的滤波器中引起不同激活的方式。
[0013]例如，优化相似性得分减小了以下各项之间的距离：一方面在具有源分类的第一图像集合和具有目标分类的第二图像集合的滤波器激活差异的度量，以及另一方面在输入图像和变更的图像之间的滤波器激活差异的度量。
[0014]表征滤波器激活的不同度量是可能的。尽管滤波器激活或平均滤波器激活的直接比较是可能的，但是有利地，滤波器激活以相关的方式被总结。
[0015]优选地，用于滤波器激活比较的度量是独立于平移的（translation
‑
independent），例如，如果输入稍微偏移，则度量不应改变。滤波器激活的直接比较不是独立于平移的。例如，对于该度量，特别好的选择是二阶统计量；例如，如用也称为Gramian矩阵的Gram矩阵总结；Gram矩阵是独立于平移的。
[0016]使用Gram矩阵具有附加的优势，因为它通常对全局亮度的差异甚至对对象旋转非常稳健。很好的方式是把Gram矩阵认为是总结局部和全局纹理的方式，当把局部和全局纹理放在一起时，产生图像中的独特风格。事实上，它是使其成为实施例的卓越候选的这样一个一般的总结统计。
[0017]由实施例产生的变更的图像提供了可解释性，因为它们示出图像应当像什么，以
便提供不同的分类。例如，对于将导致丢弃对应对象（变更的图像）的源分类，解释了图像应当看起来像什么，以便保留它。
[0018]与已知的方法形成对比，反设事实生成过程可以被视为由在例如第一图像集合和第二图像集合的大量示例中发现的一般概念所说明的变换过程。特别地，量化的度量、诸如滤波器激活或者滤波器激活差异的Gram矩阵可以用于总结风格。该度量可以用于构建在优化过程中被最小化的距离指标。
[0019]如指出的，变换过程可以使用优化过程来实现，该优化过程在强制改变输出类成员的同时承担该风格变换。可选地，不确定性估计技术被用作进一步的加强，以创建高置信度的反设事实。后者进一步改进了图像的自然度，从而使生成的反设事实甚至与现实生活更相关。这对于探测或校正分类边界很重要——不正确分类的现实示例或几乎现实的示例比不自然的示例对于应用而言重要得多。在优化中包括不确定性估计也降低了对抗性解决方案的可能性。
[0020]有趣的是，实施例不需要昂贵的生成模型。不需要新的神经网络也是用例的优点，在该用例中例如，有限的数据可用。此外，对抗性的反设事实被避免。避免新神经网络的需要也加速了反设事实生成过程，这当例如需要处理许多样本或者需要快速处理它们时是优点。
[0021]有趣的是，反设事实生成过程是使用示例集合而说明的。这些示例集合可以符合例如从具有期望分类的图像集合被随机选择的分类。然而，这样的示例集合还提供了添加在任何这样的示例集合中表达的概念、从而从该角度解释图像的附加灵活性。利用任意概念进行测试允许人们更完全地探索在任何给定数据样本周围的解释空间。将实施例应用于不同的第一集合和第二集合也确保了结果确实趋向于收敛到相同的样本。
[0022]在实施例中，第一集合和/或第二集合包括单个图像。在第一和/或第二集合中仅使用单个图像是可能的，但是具有如下缺点：优化也是由单个图像的特定特性说明的。在实施例中，第一集合、第二集合或第一集合和第二集合二者都包括多个图像，例如至少2个、至少10个等等。使用多个图像允许操作员例如通过选择具有他/她感兴趣的缺陷类型的多个图像来定义该缺陷类型。
[0023]例如，可以为二元分类训练经训练的分类器，该二元分类例如是OK和NOK（不OK）类。该分类可以用来构造示例集合，并生成反设事实。然而，人们也可以获得例如精选的表达更精细类的示例图像集合，例如，特定的故障模式，例如，缺失组件、有划痕组件等；或者特定的OK模式，例如利用正确的照明、利用稍微曝光过度或曝光不足的照明等。这些集合可以用于生成其中神经网络在特定精细控制下故障、从而利用更多的控制来探索分类边界的示例。
[0024]有趣的是，实施例可以快速生成许多反设事实图像。当例如由人类操作员审阅生成的反设事实时，在它们看起来自然并且它们的新分类正确的意义上，它们中的许多可能是正确的。另一方面，许多生成的反设事实图像可能不正确地对应于它们的新分类。发现了通过使用实施例，人们可以容易地生成看起来自然但被不正确分类的反设事实图像。通过在分类器的训练或重新训练中包括此类反设事实，可以主动校正分类边界。
[0025]由实施例产生的反设事实给出了分类器在哪里绘制其分类边界的重要视觉理解。基于这些反设事实是否适当来进一步训练分类器是可能改进分类器的。例如，人们可以标
记产生的反设事实并使用它们来微调模型，例如，重新训练模型。分类边界的目标校正成为可能。
[0026]根据实施例的生成变更的图像的方法可以是计算机实现的。用于生成变更的图像的设备和/或系统是电子设备，例如被配置用于根据实施例的方法的计算机。
[0027]如本文描述的变更图像的方法可以应用于广泛的实际应用中。此类实际应用包括：测试和调试经训练的分类器，特别是神经网络，特别是卷积神经网络；以及校正经训练的分类器的分类边界。经训练的分类器用于许多应用中，例如：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种变更输入图像（121）以提供经训练的分类器（130）的可解释性的计算机实现的方法（400），所述方法包括：
‑
访问（410）经训练的分类器和输入图像，经训练的分类器包括多个滤波器，
‑
将经训练的分类器应用（420）于输入图像以获得源分类（131），
‑
获得（430）平均滤波器激活差异（141），平均滤波器激活差异（141）包括具有源分类的第一图像集合（152）和具有目标分类的第二图像集合（152）的滤波器激活差异的度量，
‑
确定（440）输入图像的变更的图像（161），确定变更的图像包括优化至少以下各项：
‑
变更的图像的分类得分（450），用于减小变更的图像的分类和目标分类之间的距离，
‑
相似性得分（460），用于减小在平均滤波器激活差异与输入图像和变更的图像之间的滤波器激活差异的度量之间的距离。2.根据权利要求1所述的变更输入图像的方法，包括
‑
显示变更的图像和/或在输入图像和变更的图像之间的差异图像。3.根据前述权利要求中任一项所述的变更输入图像的方法，包括
‑
至少针对在变更的图像重新训练（310）经训练的分类器。4.根据前述权利要求中任一项所述的变更输入图像的方法，其中，通过对训练图像集合和对应分类的监督学习来训练经训练的分类器，并且其中，第一图像集合和/或第二图像集合从训练集合取得。5.根据前述权利要求中任一项所述的变更输入图像的方法，其中经训练的分类器包括至少一层，所述至少一层包括产生所述滤波器激活的多个卷积滤波器。6.根据前述权利要求中任一项所述的变更输入图像的方法，其中访问输入图像包括从图像传感器接收输入图像。7.根据前述权利要求中任一项所述的变更输入图像的方法，其中所述输入图像是从生产线中采用的图像传感器获得的，并且经训练的分类器被配置为至少用于ok/不ok分类，生产线中的进一步处理取决于ok/不ok分类。8.根据前述权利要求中任一项所述的变更输入图像的方法（300），包括
‑
从多个输入图像和/或多个目标分类获得（330）第一多个变更的图像，
‑
从第一多个的变更的图像选择（340）第二多个的变更的图像，对于所述第二多个的变更的图像，经训练的分类器产生不正确的分类，并且获得对应的校正的分类，
‑
至少针对第二多个的变更的图像和校正的分类重新训练（310）经训练的分类器。9.根据前述权利要求中任一项所述的变更输...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：罗伯特，
类型：发明
国别省市：