用于确定解释图的方法和设备技术

一种用于确定图像（x）的解释图（公式（I））的方法，在所述解释图中突出显示所述图像（x）的所有对于用深度神经网络（f）确定的所述图像（x）的分类起决定性作用的像素，其中将所述解释图（公式（I））选择为，使得所述解释图选择所述图像（x）的尽可能小的像素子集作为相关的，然后如果将所述解释图（公式（I））输送到所述深度神经网络（f）以用于分类，所述解释图导致与所述图像（x）相同的分类结果（公式（II）），其中将所述解释图（公式（I））选择为，使得在所述深度神经网络（f）的特征图（h

【技术实现步骤摘要】
【国外来华专利技术】用于确定解释图的方法和设备
本专利技术涉及一种用于确定解释图的方法、计算机程序、一种或多种机器可读存储介质以及一种或多种计算机、机器分类系统以及显示系统。
技术介绍
未预先公开的DE102018205561公开了一种用于对视网膜进行分类的设备，该设备包括具有至少一个卷积层的人工神经网络，其中所述卷积层包含多个可训练的卷积核，并且为每个卷积核提供激活图，该激活图向所述至少一个卷积层的输入中的离散位置分别分配输出值，该输出值是所述输入与各自卷积核本地一致性的度量，其中在所述至少一个卷积层之后连接至少一个分类器层，所述分类器层将其输入借助于可训练的权重映射为该输入属于多个预给定类别之一（特别是组织是健康的还是发生了病理改变）的概率集，其中设置评估单元，该评估单元被构造为通过由至少一个卷积层获得的激活图与存储在聚合层中的权重的加权求和来确定所述至少一个卷积层的输出的相关性图，其中所述相关性图展示出所述组织的对于所述评估是决定性的部位。本专利技术的优点相比较而言，具有独立权利要求1的特征的方法的优点在于，使得可以改进地确定解释图，所述解释图特别是使得能够进行像素精确的表示。由此所述解释图中包含的信息才可供人类感知。有利的扩展是从属权利要求的主题。
技术实现思路
特别是在用于辅助医疗诊断的系统中—在所述系统中借助于深度神经网络基于图像的某些特征来识别可能的诊断，重要的是向主治医生清楚地显示所述图像的哪些部分导致了所述诊断。因此在第一方面，本专利技术涉及一种用于确定图像的解释图、即对于分类结果起决定性作用的图像区域的方法，借助于深度神经网络对所述图像进行分类（即，将所述图像分配给来自可预给定的多个类别中的一个类别），在所述解释图中所述图像的像素、特别是所有像素根据它们对所述图像的分类起多大作用而改变，其中所述解释图选择所述图像的像素作为相关的，然后如果将所述解释图输送到所述深度神经网络以用于分类，则所述解释图导致与所述图像相同的分类结果，其中将所述解释图选择为，使得在所述深度神经网络的特征图（英语：featuremap）中，通过所述解释图引起的激活然后（即，在相应地输送到所述深度神经网络时）基本上不超过通过所述图像引起的激活。像素的改变可以例如以以下方式进行：选择所述图像的所有那些对于所述图像的分类起决定性作用的像素。这意味着规定，不仅将所述图像而且同样将所述解释图输送给所述深度神经网络，其中作为所述深度神经网络的输出变量分别获得的分类应当是相同的。将所述图像的像素选择为相关的在此可以意味着，即在所述解释图中对该像素的激活具有大于可预给定阈值的绝对量，该可预给定阈值特别是零。在此，深度神经网络通常是包括多个层的神经网络。由于所述解释图是以输入图像的大小而不是以（特别是最后一个）卷积层的激活图的大小或输出变量的大小创建的，因此得到特别精确的表示，因为所述解释图在描述的替代方案中必须放大到所述输入图像的大小。保留相关的边缘信息和颜色信息。在一种扩展中可以规定，将所述解释图选择为，使得成本函数L（英语：lossfunction，损失函数）得到优化。换句话说，所提出的方法构建在具有辅助条件的优化问题上，即例如其中：。等式（1）可以有利地借助于掩模b来求解，该掩模例如可以是可乘的，即，其中优化，有利地利用起始条件b(0)=1。替代地，掩模b也可以是加性的，即其中以起始条件b(0)=0来优化b。如果用b*表示经过优化的掩模，则对于等式（1）的优化问题的解得到或。在所述优化问题中，从图像x出发寻找满足特定属性的解释图或表示。这些属性可以用所述成本函数特别简单和灵活地表示。于是图像x和表示之间的关系可以通过sx的初始状态（或通过掩模b的相应起始条件）以及通过所述优化的辅助条件来加以定义。一种可能的实施方式是，表示仅包含图像x中也包含的特征。因此，初始状态可以是，有利地应当针对所述深度神经网络的每个ReLU层都得到满足的辅助条件可以是，其中hl是所述深度神经网络的第1ReLU层的激活（其中当然也可以使用其他激活函数来代替ReLU函数）。所述成本函数有利地具有多个（加性）分量，即L＝Lh+Lw+Lc。当然，可以通过参数对这些加性分量进行不同的加权，但是这些参数也可以集成到这些分量的定义中。在求解等式（1）的优化问题时，可以可选地一起对这些加权的参数进行适配。可以选择第一分量，使得其表征所述图像有多少像素被选择为相关的。例如，该分量可以通过L1范式给出。替代地，该分量可以通过可乘的掩模b的L1范式来用于。于是，该分量使得所有不相关的像素都被拉成了平均值。替代地，可以将不相关的像素设置为任何其他值。替代地或附加地，所述成本函数可以具有第二分量，该第二分量表征针对所述解释图得到的分类结果与针对所述图像得到的分类结果有多对应。这可以通过分量来实现，其中f描述了所述深度神经网络或所述深度神经网络的一部分。所述深度神经网络的参数用表示。所述深度神经网络的输出，即所述分类通过或表示。所述第二分量可以通过KL散度给出，即。替代地，所述第二分量可以逐区域地、特别是逐像素地通过表征各自像素对针对所述图像得到的分类结果有多大贡献的函数来完成。例如，可以通过类别i的logit函数给出该函数，从而于是使所述成本函数的相应分量通过给出。即，所述第二分量通过类别i的负概率给出（在最小化类别i的概率的情况下）。替代地，所述概率可以通过确定激活特征i的所有像素的函数给出。如果表示第l层的第i特征图，则所述成本函数的相关联的项可以通过给出。其他范式也是可能的，例如L2范式。辅助条件—即通过所述解释图的激活基本上不超过通过所述图像的激活—的实现可以通过优化方案特别简单地通过所述成本函数中的第三分量Lc实现，所述第三分量惩罚这样的超过，即例如。其他范式也是可能的，例如L2范式。替代地，该辅助条件的满足通过以下方式实现：在确定所述解释图时将所述特征图中的激活设置为可预给定值，特别是设置为根据所述辅助条件的最大允许值，例如通过。如果使用基于梯度的优化方法，则可以通过给出反向传播（英语：backpropagation）中的相应梯度。这里的符号[…]通常意味着如果满足该条件，则值=1，如果不满足该条件，则值=0。替代地，可以通过以下方式实现对所述辅助条件的满足：在使用基于梯度的优化方法时，如果在所述深度神经网络的具有激活函数的层（特别是ReLU层）中通过所述解释图的激活超过通过所述图像x的激活，即例如，则将该层的特征图反向传播的梯度（即，存在于所述激活函数的输出处的梯度）设置为等于可预给定的梯度值，特别是等于零。现在可以有利地确定并显示这样确定的解释图，特别是在所述图像旁边显示。因此通过位置逼真的分辨率和仅选择相关像素，可以生成使得可以由人类专家、特别是医生进行检查的表示。附图说明下面参照附图更详细地解释本专利技术的实施方式。在附图中：图1示意性地示出了本专利技术实施方式的结构；图2以流程图示本文档来自技高网...

【技术保护点】
1.一种用于确定图像（x）的解释图（

【技术特征摘要】
【国外来华专利技术】20180803 DE 102018213052.31.一种用于确定图像（x）的解释图（）的方法，在所述解释图中突出显示所述图像（x）的所有对于用深度神经网络（f）确定的所述图像（x）的分类起决定性作用的像素，其中将所述解释图（）选择为，使得所述解释图选择所述图像（x）的尽可能小的像素子集作为相关的，然后如果将所述解释图（）输送到所述深度神经网络（f）以用于分类，所述解释图（）导致与所述图像（x）相同的分类结果（），其中将所述解释图（）选择为，使得在所述深度神经网络（f）的特征图（hl）中通过所述解释图（）引起的激活（）然后基本上不超过通过所述图像（x）引起的激活（）。


2.根据权利要求1所述的方法，其中，将所述解释图（）选择为，使得成本函数（L）得以优化，其中所述成本函数（L）具有第一分量（Lh）和/或第二分量（Lw），所述第一分量表征所述图像（x）有多少像素被选择为相关的，所述第二分量表征针对所述解释图得到的分类结果（）与针对所述图像（x）得到的分类结果（）有多对应。


3.根据权利要求2所述的方法，其中，所述第二分量（Lw）由KL散度（DKL）给出。


4.根据权利要求2所述的方法，其中，所述第二分量（Lw）逐区域地、特别是逐像素地通过表征各自像素对针对所述解释图（）得到的分类结果有多大贡献的函数来完成。


5.根据权利要求2至4中任一项所述的方法，其中，通过所述成本函数（L）中的第三分量（Lc）来实现辅助条件，即对于深度神经网络中的至少一层l通过所述解释图（s...

【专利技术属性】
技术研发人员：J·瓦格纳，J·M·科勒，T·金代莱，L·埃策尔，J·T·威德默，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：德国;DE