一种基于量化评估和可解释性方法的目标检测网络评估方法技术

本发明专利技术涉及一种基于量化评估和可解释性方法的目标检测网络评估方法。本发明专利技术结合了量化评估和可解释性方法，可以更全面和准确地评估目标检测网络的性能和决策依据。本发明专利技术使用多个量化评估指标(准确率、召回率、平均精度、FPS)对目标检测网络进行全面评估。提出了一种基于扰动和类激活映射的可解释性方法，可以帮助用户理解目标检测网络的决策过程。提出了一种基于梯度下降法和正则化技术的可视化方法，可以帮助用户理解目标检测网络包含的语义。本发明专利技术提出的可解释性方法可以直观地展示目标检测网络的内部运作过程和知识，从而增强了模型的可解释性，提高模型结果的可信度。实验结果表明，本发明专利技术可以有效地评估目标检测网络的性能，提高模型的可解释性，可用于目标检测网络的设计、评估和改进。评估和改进。评估和改进。

【技术实现步骤摘要】
一种基于量化评估和可解释性方法的目标检测网络评估方法


[0001]本专利技术涉及目标检测网络、量化评估指标以及神经网络可解释性技术，尤其涉及一种基于量化评估和可解释性方法的目标检测网络评估方法。

技术介绍

[0002]随着深度学习的快速发展，人工智能技术已经逐渐应用在各个领域，并在车牌检测、无人驾驶等方面得到广泛的发展与应用。早期的目标检测方法主要基于图像处理技术，例如阈值分割、边缘检测等。这些方法存在着局限性，例如对光照、噪声等干扰较为敏感，且无法处理复杂场景和多目标检测等问题。传统目标检测算法由于其基于滑动窗口模型的特点，使得其对特征的提取和匹配具有一定的单一性，并且适应性、准确性和检测速度也相对较差。基于深度学习的目标检测算法利用了神经网络强大的特征提取能力和泛化能力，只需要使用简单的网络结构就能在效率和准确性上取得优势，因此迅速赶超了传统目标检测算法，一跃成为最主流的目标检测算法。
[0003]目标检测网络的量化评估是对其性能进行客观、系统化评估的一种重要手段。目标检测技术的发展需要一个统一的标准来衡量不同算法的优劣。通过量化评估，可以比较不同算法的性能，找到性能瓶颈，从而指导算法优化。对目标检测网络进行量化评估是对其性能、可靠性和适用性进行客观评估的重要手段。它能够帮助研究人员找到更好的模型和算法，提高目标检测算法在实际应用中的效果。
[0004]然而，现有的深度神经网络通常都是黑盒模型，其高度非线性让人难以理解模型内部的决策过程。因此，仅使用量化评估指标不能充分满足目标检测算法部署到实际任务场景时用户对算法安全性、可信度的要求。
[0005]深度神经网络固有的不可解释性使得基于深度神经网络的目标检测算法在落地应用的过程中受到阻碍。要解决上述问题就需要利用可解释性方法打开黑盒模型，将模型的决策过程用人类可以理解的术语展示出来。可解释性方法用途多样，既可以帮助用户理解目标检测网络的决策过程和依据，也可以帮助修复目标检测算法的错误，提高目标检测算法的性能。目前可解释性技术已经有了较大的发展，出现了一系列相关技术路径。

技术实现思路

[0006]为了解决上述技术问题或者至少部分地解决上述技术问题，本专利技术提供了一种基于量化评估和可解释性方法的目标检测网络评估方法。
[0007]本专利技术中，针对基于深度学习的目标检测网络提出了新的可解释性方法。当前对于目标检测网络的评估主要是从量化评估的角度出发，通过计算模型的精度、FPS等指标来评估模型的性能。这种评估方式虽然能够提供模型的定量评估结果，却无法帮助用户了解模型的决策过程和结果，使模型的应用受到了一定的限制。针对该问题，本专利技术的解决方案是将可解释性方法引入到目标检测网络的评估流程中。通过对模型的决策过程和结果进行解释和展示，可以深入了解模型的决策依据和决策结果，提高模型的可解释性，从而更好地
满足实际应用的需求。本专利技术提出的评估方法采用了多种可解释性方法，包括基于扰动和类激活映射的显著图方法、基于梯度下降法和正则化的语义可视化方法以及对应的解释分析方法。本专利技术对模型的决策过程和结果进行了分析和解释，并将解释以显著图、合成图片等形式进行了展示，使得其他人能够更好地理解和使用评估结果。
[0008]本专利技术提供了一种基于量化评估和可解释性方法的目标检测网络评估方法，评估方法包括以下步骤：
[0009]步骤S1：确定评估目标和指标，明确要评估的目标检测网络和相关评估指标；
[0010]步骤S2：数据采集和预处理，收集图片并进行预处理，构建用于训练模型的训练集、用于评估模型性能的测试集和用于生成解释的样本；
[0011]步骤S3：在训练集上训练选定的目标检测网络；
[0012]步骤S4：使用测试集对目标检测网络进行评估，计算量化评估指标，可用的指标包括准确率、召回率、精度、F1值等；
[0013]步骤S5：提出基于扰动和类激活映射的可解释性方法对目标检测网络进行解释，分析目标检测网络的可解释性，计算可解释性分数；
[0014]步骤S6：提出基于非负矩阵分解和梯度下降法的可视化技术对目标检测网络进行解释，分析目标检测网络中的网络结构的语义；
[0015]步骤S7：对评估结果进行分析和展示。
[0016]至此，评估方法不仅可以做到对基于深度学习的目标检测网络进行量化评估，而且可以通过可解释性的方法对目标检测网络进行解释，可以更高效的使用目标检测网络。
[0017]本专利技术的有益效果是：本专利技术实现基于量化评估和可解释性方法的目标检测网络的评估，为深度学习网络的可解释性方法和解释的量化评估提供技术基础。本专利技术提供的技术思路，可以为目标检测网络的评估提供经验方法。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0020]附图1本专利技术实施例提供的一种基于量化评估和可解释性方法的目标检测网络评估方法的流程示意图；
[0021]附图2本专利技术实施例中目标检测网络的mAP指标量化评估的结果，首先计算对预测框和真实框采用不同标准(不同的IoU阈值)或关注不同类型物体(不同area)时的准确率，然后计算不同类别物体(如aeroplane，bicycle，bird等)的检测准确度；
[0022]附图3本专利技术实施例提出的基于扰动和类激活映射的解释方法的结果展示，可以看到，从对比图可以看到，本算法生成的解释图的热像区域更加集中并且具有更少的噪声，定位也更加准确。D
‑
RISE和Grad
‑
CAM的解释结果图像不仅突出过多的无关区域，而且类判别性和定位效果都很差，具有误导性；
[0023]附图4本专利技术实施例提出的基于扰动和类激活映射的可解释性分数计算结果展
示，删除过程中，随着越来越多的重要像素被移除，该指标衡量预测类别概率的降低，然后计算预测概率的变化程度。其直观含义为好的解释结果应当能够准确地突出对于预测起到重要作用的像素或区域，因此移除它们能够大幅改变模型的预测概率；
[0024]附图5本专利技术实施例提出的语义可视化方法对扩展权重的可视化结果展示，不同的颜色(红色为正，蓝色为负)代表了扩展权重的工作模式；
[0025]附图6本专利技术实施例提出的语义可视化方法对神经元语义的可视化结果展示，合成图片的性质(颜色、纹理等)可以向用户传递神经元的语义。
具体实施方式
[0026]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面将对本专利技术的方案进行进一步描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。
[0027]在下面的描述中阐述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于量化评估和可解释性方法的目标检测网络评估方法，其特征在于，综合了量化评估和可解释性方法，从不同的角度评估了基于深度神经网络的目标检测算法的性能，提高了目标检测网络的可解释性，增强了模型预测结果的可信度，并且可以针对不同的应用场景和需求进行定制和调整，以实现更精确的评估；所述评估方法包括以下步骤：步骤S1：确定评估目标和指标，明确要评估的目标检测网络和相关评估指标；步骤S2：数据采集和预处理：收集图片并进行预处理，构建用于训练模型的训练集、用于评估模型性能的测试集和用于生成解释的样本；步骤S3：在训练集上训练选定的目标检测网络；步骤S4：使用测试集对目标检测网络进行评估，计算量化评估指标，可用的指标包括准确率、召回率、平均精度，FPS；步骤S5：提出基于扰动和类激活映射的可解释性方法对目标检测网络进行解释，分析目标检测网络的可解释性，计算可解释性分数；步骤S6：提出基于非负矩阵分解和梯度下降法的可视化技术对目标检测网络进行解释，分析目标检测网络中的网络结构的语义；步骤S7:对评估结果进行分析和展示。2.根据权利要求1所述的基于量化评估和可解释性方法的目标检测网络评估方法，其特征在于，所述步骤S1中，具体步骤为：确定评估的目标网络和所用指标，评估指标是用来衡量评估目标是否得到实现的具体量化指标。3.根据权利要求1所述的基于量化评估和可解释性方法的目标检测网络评估方法，其特征在于，所述步骤S2中，具体步骤为：步骤S2.1：确定数据集的内容和规模：基于任务需求和特征确定要采集的图片的种类和数量；步骤S2.2：数据采集和预处理：采集适合目标检测网络训练和测试的数据，并对其进行适当的预处理；步骤S2.3：标注图片并保存：为图片标注回归框并保存。步骤S2.4：构建数据集：将采集到的数据划分为训练集和测试集并选出用于可解释性方法的样本。4.根据权利要求1所述的基于量化评估和可解释性方法的目标检测网络评估方法，其特征在于，所述步骤S3中，具体步骤为：步骤S3.1：网络选择：选择一种适合特定任务的目标检测网络，例如Faster RCNN、YOLO
‑
V3、SSD等；步骤S3.2：网络初始化：对网络进行初始化，即用参数初始化方法为网络的各个参数赋初值；步骤S3.3：损失函数选择：选择合适的损失函数来度量模型预测值与真实值之间的差距；步骤S3....

【专利技术属性】
技术研发人员：肖瑾，刘文瑞，赵佳佳，姜灏，胡晓光，李亚航，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：