用于由神经网络确定可解释性掩膜的方法、系统和介质技术方案

本发明专利技术涉及一种确定用于由经训练的神经网络对输入图像进行分类的可解释性掩膜的计算机实现方法。经训练的神经网络被配置成通过在经训练的神经网络的内部层处确定输入图像的潜在表示来确定输入图像的分类和分类得分。该方法包括：访问经训练的神经网络；获得输入图像及其潜在表示；以及初始化用于指示对潜在表示的修改的掩膜。通过迭代地调整掩膜的值以优化目标函数来更新掩膜，该目标函数包括：i）修改分量，其指示掩模所指示的修改的程度；以及ii）分类得分分量，其通过将所指示的修改应用于潜在表示并且确定其分类得分来确定。将掩膜缩放到输入图像和输出的空间分辨率。

【技术实现步骤摘要】
用于由神经网络确定可解释性掩膜的方法、系统和介质
本专利技术涉及一种用于由经训练的神经网络确定用于由经训练的神经网络对输入图像进行分类的掩模的计算机实现方法、以及对应的系统。本专利技术进一步涉及一种计算机可读介质，该计算机可读介质包括用来实行上述方法之一的指令。
技术介绍
经机器学习的（“经训练的”）模型被广泛地用在许多现实生活应用领域中，诸如自主驾驶、机器人科学、制造、建筑物控制等。例如，可以训练机器可学习模型（诸如，神经网络）以基于由一个或多个传感器获取的传感器数据来推断出物理系统（诸如，自主车辆或机器人等）或系统环境（例如，车辆在其上行进的道路、机器人的工作空间等）的状态。在已经推断出状态的情况下，可以例如使用一个或多个致动器来控制物理系统，或者可以监视其操作。通常，如机器学习中已知的那样，可以在训练数据上训练机器可学习模型（诸如，神经网络），以便提供诸如预测或决策之类的输出。决策的示例是分类。通过训练神经网络，神经网络可以提供这样的预测或决策，而无需为了这样做而被明确地编程。例如，为了对图像进行分类，可以在包括图像（其分类是已知的）的训练数据集上训练神经网络。因此，可以将经训练的神经网络训练成确定输入图像的分类。例如，神经网络可以被训练为多类标识符，通过该多类标识符，图像可以被分类为例如“猫”、“狗”或“树”。另一个示例是，可以将经训练的神经网络训练成二进制分类器（例如，将输入图像分类成仅两个互补类别之一，“合格（OK）”或“不合格（NOK）”）。然而，经训练的神经网络也可以在其类别是未知的图像（例如，通过聚类/自动分类获得的图像）的数据集上进行训练。一般而言，神经网络可以包括深度神经网络和/或卷积神经网络（CNN）。由经机器学习的模型（诸如经训练的神经网络）进行的分类可以被用于无数应用中，诸如制造过程中的光学质量检查或自主车辆中的危险检测。将理解的是，在这些和其他应用领域中，了解和理解经机器学习的模型如何得出其结论是相关的。因此，可解释性（explainability）是模型核实（我们是否正确地建立了模型）和验证（我们是否建立了正确的模型）两者的核心要素。众所周知的是，大型的现有技术网络模型可能很容易被欺骗成提供错误的、高置信度的预测；并且因此，它们的真实泛化性能经常受到质疑。与意图在现场部署的任何其他软件组件一样，至关重要的是，可以对模型进行定量核实和验证，例如，以建立模型已经学习到期望输入-输出关系的程度。机器和深度学习方面的当前现有技术缺乏用以测量该效果的量度和实践，从而通常以有限的数据集（因此以固有偏差的数据集）进行工作，并且产生了与可用数据的量相比被过度参数化的模型。因此，模型实际已经学习到的内容与实施者认为该模型已经学习到的内容之间通常存在很大的差距。在过去的几年中，已经意识到需要提供解释以及模型预测，并且已经提出了若干种方法，并且以具有不同程度的成功（success）的学术水平来使用这些方法。例如，在图像分类网络的情境中，大多数解释方法是黑盒（即，与模型无关）和白盒方法的混合，这些方法计算输入图像像素上的属性。即，这些方法研究分类器在给定输入上的局部行为。这些归因图通常也被叫做解释图、显著性图或注意力图，并且常常被表示为覆盖在输入图像上的热图，其中突出显示了使该模型将输入分类为一个类或另一类的输入图像区域。在RuthFong和AndreaVedaldi的“Interpretableexplanationsofblackboxesbymeaningfulperturbation”（arXiv未定稿版arXiv：1704.03296，2017（https://arxiv.org/pdf/1704.03296.pdf））中，模型被视为黑盒，并且使用优化过程，以便学习输入图像上的有意义的掩膜（mask），这迫使该模型对其输入不同地进行分类。在RamprasaathR.Selvaraju等人的“Grad-CAM:VisualExplanationsfromDeepNetworksviaGradient-basedLocalization”（arXiv未定稿版arXiv：1610.02391，2017（https://arxiv.org/pdf/1610.02391.pdf））中，该问题被不同地探讨。在该工作中，所争论的是，为了了解该模型在输入图像中看向哪里，查看最深卷积层中的数据表示通常是足够的。然而，专利技术人已经察觉到需要对掩模实际上如何影响输入的分类进行更加定量的评估。这对于真实世界部署场景是特别重要的，在该场景中，应当针对为什么产生或推荐显著性来建立良好的理解。受到显著性扰动的输入的分类准确度方面的模型下降是一种这样的对此影响的定量度量。因此，需要使得能够针对要确定的模型的可解释性实现更准确的定量量度。
技术实现思路
根据本专利技术的第一方面，提供了一种如权利要求1所限定的确定可解释性掩膜的计算机实现方法。根据本专利技术的另一方面，提供了一种如权利要求14所限定的对应的计算机可读介质。根据本专利技术的方面，提供了一种如权利要求15所限定的对应系统。本专利技术的方面涉及一种计算机实现方法，该方法用于确定用于由经训练的神经网络对输入图像进行分类的可解释性掩膜。该经训练的神经网络可以被配置成通过在经训练的神经网络的内部层处确定输入图像的潜在表示、并通过根据输入图像的潜在表示来确定输入图像的分类来确定输入图像的分类。确定输入图像的分类可以包括确定输入图像的分类得分。该方法可以包括：访问经训练的神经网络；获得输入图像以及输入图像的潜在表示；以及初始化用于指示对潜在表示的修改的掩膜。该方法进一步包括：通过迭代地调整掩模的值以优化目标函数来更新掩模。该目标函数包括：指示由掩模所指示的修改的程度的修改分量。可以通过如下方式来确定分类得分分量：将由掩膜所指示的修改应用于潜在表示，以获得受扰动的潜在表示；以及根据经训练的神经网络来确定受扰动的潜在表示的分类得分。该方法进一步包括：将掩模缩放到输入图像的空间分辨率以获得可解释性掩模，并且输出可解释性掩模。以上方面涉及获得输入图像的潜在表示。潜在表示（也被称为激活体积）是经训练的神经网络的内部（例如，隐藏）层的输出。内部层是经训练的神经网络在输入层与输出层之间的层。例如，层k的潜在表示可以被视为经训练的神经网络的第k层的输出。潜在表示可以包括神经网络的内部层的节点的激活（例如，权重）。因此，潜在表示通常将具有比输入图像更粗糙的空间分辨率，并且通常涉及输入图像的更深、更复杂的结构。潜在表示可以提供输入图像的抽象的、更具语义的和/或压缩的表示，同时保留了与输入图像的空间关系。以上方面涉及针对输入图像的潜在表示的掩模。掩模也可以被称为热图。掩膜可以指示对输入图像的潜在表示的修改。例如，掩膜可以指示输入图像的可以对其应用修改的潜在表示的部分。修改可以涉及用于完全或部分地遮盖潜在表示的区的手段，和/或用于使潜在表示的区模糊的手段。修改可以被视为“阻止（block）”或抑制从其中输出潜在表示的经训练的神经网络的层的激活。可以通过优化过本文档来自技高网...

【技术保护点】
1.一种确定用于由经训练的神经网络对输入图像进行分类的可解释性掩模的计算机实现方法，经训练的神经网络被配置成通过在经训练的神经网络的内部层处确定输入图像的潜在表示、并通过根据输入图像的潜在表示来确定输入图像的分类来确定输入图像的分类，确定分类包括确定输入图像的分类得分，所述方法包括：/n- 访问经训练的神经网络；/n- 获得输入图像以及输入图像的潜在表示；/n- 初始化用于指示对潜在表示的修改的掩膜：/n- 通过迭代地调整掩模的值以优化目标函数来更新掩模，所述目标函数包括：i）修改分量，其指示掩模所指示的修改的程度；以及ii）分类得分分量，所述分类得分分量通过如下方式来确定：/n○ 将掩膜所指示的修改应用于潜在表示以获得受扰动的潜在表示；/n○ 根据经训练的神经网络来确定受扰动的潜在表示的分类得分；/n- 将掩膜缩放到输入图像的空间分辨率，以获得可解释性掩膜；以及/n- 输出可解释性掩膜。/n

【技术特征摘要】
20200123 EP 20153424.51.一种确定用于由经训练的神经网络对输入图像进行分类的可解释性掩模的计算机实现方法，经训练的神经网络被配置成通过在经训练的神经网络的内部层处确定输入图像的潜在表示、并通过根据输入图像的潜在表示来确定输入图像的分类来确定输入图像的分类，确定分类包括确定输入图像的分类得分，所述方法包括：
-访问经训练的神经网络；
-获得输入图像以及输入图像的潜在表示；
-初始化用于指示对潜在表示的修改的掩膜：
-通过迭代地调整掩模的值以优化目标函数来更新掩模，所述目标函数包括：i）修改分量，其指示掩模所指示的修改的程度；以及ii）分类得分分量，所述分类得分分量通过如下方式来确定：
○将掩膜所指示的修改应用于潜在表示以获得受扰动的潜在表示；
○根据经训练的神经网络来确定受扰动的潜在表示的分类得分；
-将掩膜缩放到输入图像的空间分辨率，以获得可解释性掩膜；以及
-输出可解释性掩膜。


2.根据权利要求1所述的方法，其中，更新掩膜包括：如果受扰动的潜在表示的分类得分越过分类阈值，则结束更新操作。


3.根据权利要求1或权利要求2所述的方法，其中，更新掩膜包括：迭代地调整掩膜的值多达预定数量的迭代。


4.根据任何前述权利要求所述的方法，进一步包括：
-在更新掩膜之后，确定受扰动的潜在表示的分类得分是否满足分类阈值；以及
-如果确定分类得分没有满足分类阈值：
○则将掩膜扩展成在经训练的神经网络的先前层处附加地覆盖输入图像的附加潜在表示，以及
○重复更新步骤。


5.根据任何前述权利要求所述的方法，其中，初始化掩膜包括：分配掩膜值，所述掩膜值利用零激活潜在表示代替潜在表示。


6.根据权利要求1至4中任一项所述的方法，其中，初始化掩膜包括：分配对潜在表示不具有扰动性影响的掩膜值。


7.根据权利要求1至4中任一项所述的方法，进一步包括：
-获得包括多个第一输入图像的数据集；
-获得所述多个第一输入图像的相应的多个潜在表示；
-将数据集的第一输入图像聚类成多个簇；
-针对多个簇中的簇，跨所述簇中的第一输入图像的潜在表示来确定聚合掩膜；
-从多个簇中确定输入图像所属的簇；以及
-将掩膜初始化为与所确定的簇相对应的聚合掩膜。


8.根据权利要求7所述的方法，其中，通过跨所述簇中的第一输入图像的潜在表示计算平均掩模来确定聚合掩模。

【专利技术属性】
技术研发人员：A·M·蒙诺兹德尔加多，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE