深度神经网络模型测试方法、系统、设备及存储介质技术方案

本发明专利技术属于机器学习领域，公开了一种深度神经网络模型测试方法、系统、设备及存储介质，包括获取测试图像样本以及测试图像样本的类别，并将测试图像样本输入至深度神经网络模型中，得到测试图像样本的逻辑神经元序列；根据测试图像样本的类别，通过预设的各类别图像样本的类属逻辑神经元序列，得到测试图像样本的类属逻辑神经元序列；获取测试图像样本的逻辑神经元序列与类属逻辑神经元序列之间的相关性，得到测试图像样本的相关性指标，并根据测试图像样本的相关性指标，确定测试图像样本的优先级；按照测试图像样本的优先级，进行深度神经网络模型测试。可以更早更多地检测出深度神经网络模型存在的隐患，有效提升测试效率，降低测试成本。降低测试成本。降低测试成本。

【技术实现步骤摘要】
深度神经网络模型测试方法、系统、设备及存储介质


[0001]本专利技术属于机器学习领域，涉及一种深度神经网络模型测试方法、系统、设备及存储介质。

技术介绍

[0002]随着以深度学习为代表的人工智能技术迅速发展，深度神经网络(DNN)越来越多地应用于自动驾驶、安防监控、医疗辅助等安全相关领域。由于深度神经网络包含输入层、隐藏层、激活函数以及输出层等复杂结构，这导致即使输入数据中产生微小的扰动，即便无法被人类发现的扰动，都很可能导致深度神经网络模型做出错误决策，因此，对深度学习算法和深度神经网络模型进行充分的安全性测试与评估，确保其安全稳定运行至关重要。
[0003]目前，现有深度神经网络模型测试方法，一般通过大量的测试用例对深度神经网络模型进行测试，以发现深度神经网络模型存在的隐含缺陷。然而，由于运算性能的限制，想要将大量的测试用例通过深度神经网络模型进行预测，需要耗费极大的时间成本和运算成本，导致整个测试周期较长且成本较高。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术中，深度神经网络模型测试周期较长且成本较高的缺点，提供一种深度神经网络模型测试方法、系统、设备及存储介质。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]本专利技术第一方面，提供一种深度神经网络模型测试方法，包括：
[0007]获取测试图像样本以及测试图像样本的类别，并将测试图像样本输入至深度神经网络模型中，得到测试图像样本的逻辑神经元序列；
[0008]根据测试图像样本的类别，通过预设的各类别图像样本的类属逻辑神经元序列，得到测试图像样本的类属逻辑神经元序列；
[0009]获取测试图像样本的逻辑神经元序列与类属逻辑神经元序列之间的相关性，得到测试图像样本的相关性指标，并根据测试图像样本的相关性指标，确定测试图像样本的优先级；
[0010]按照测试图像样本的优先级，进行深度神经网络模型测试。
[0011]可选的，所述测试图像样本包括原始图像样本和对抗图像样本，其中，对抗图像样本通过利用对抗样本攻击技术攻击原始图像样本得到。
[0012]可选的，所述将测试图像样本输入至深度神经网络模型中，得到测试图像样本的逻辑神经元序列包括：
[0013]将测试图像样本输入至深度神经网络模型中，最大化深度神经网络模型最后一个卷积层内各神经元单元的激活图；
[0014]计算所述各神经元单元的激活图的平均激活值，并将所述平均激活值大于预设阈值的神经元单元作为激活神经元单元；
[0015]按照平均激活值从大到小的顺序，选取前预设数量的激活神经元单元，作为测试图像样本的逻辑神经元序列。
[0016]可选的，所述计算所述各神经元单元的激活图的平均激活值包括：
[0017]采用全局平均池化操作方法，计算所述各神经元单元的激活图的平均激活值。
[0018]可选的，还包括获取各类别图像样本的类属逻辑神经元序列并预设；
[0019]所述获取各类别图像样本的类属逻辑神经元序列包括：
[0020]获取各类别图像样本的各图像样本；
[0021]获取当前类别图像样本的各图像样本的逻辑神经元序列；
[0022]计算当前类别图像样本的各图像样本的逻辑神经元序列中各激活神经元单元对应的激活图像样本数与当前类别图像样本的总图像样本数之间的比例，得到各激活神经元单元的比例指标；
[0023]按照比例指标从大到小的顺序，选取前预设数量的激活神经元单元，作为当前类别图像样本的类属逻辑神经元序列；
[0024]遍历各类别图像样本，得到各类别图像样本的类属逻辑神经元序列。
[0025]可选的，所述获取测试图像样本的逻辑神经元序列与类属逻辑神经元序列之间的相关性，得到测试图像样本的相关性指标包括：
[0026]获取测试图像样本的逻辑神经元序列与类属逻辑神经元序列之间的余弦相似性系数，作为测试图像样本的相关性指标。
[0027]可选的，所述根据测试图像样本的相关性指标，确定测试图像样本的优先级包括：
[0028]当测试图像样本的相关性指标大于预设的第Q优先级设定阈值时，则测试图像样本的优先级为第N优先级；其中，Q为不小于2的常数。
[0029]本专利技术第二方面，提供一种深度神经网络模型测试系统，包括
[0030]数据获取模块，用于获取测试图像样本以及测试图像样本的类别，并将测试图像样本输入至深度神经网络模型中，得到测试图像样本的逻辑神经元序列；
[0031]类属处理模块，用于根据测试图像样本的类别，通过预设的各类别图像样本的类属逻辑神经元序列，得到测试图像样本的类属逻辑神经元序列；
[0032]优先级确定模块，用于获取测试图像样本的逻辑神经元序列与类属逻辑神经元序列之间的相关性，得到测试图像样本的相关性指标，并根据测试图像样本的相关性指标，确定测试图像样本的优先级；
[0033]测试模块，用于按照测试图像样本的优先级，进行深度神经网络模型测试。
[0034]本专利技术第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述深度神经网络模型测试方法的步骤。
[0035]本专利技术第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述深度神经网络模型测试方法的步骤。
[0036]与现有技术相比，本专利技术具有以下有益效果：
[0037]本专利技术深度神经网络模型测试方法，通过获取测试图像样本的逻辑神经元序列，然后计算测试图像样本的逻辑神经元序列与类属逻辑神经元序列之间的相关性，得到测试
图像样本的相关性指标，并根据测试图像样本的相关性指标，确定测试图像样本的优先级，进而根据测试图像样本的优先级，进行深度神经网络模型测试，可以通过少量优先级较高的测试图像样本，更早更多地检测出深度神经网络模型存在的隐患，有效提升测试效率，降低测试成本。
附图说明
[0038]图1为本专利技术实施例的深度神经网络模型测试方法流程图。
[0039]图2为本专利技术实施例的深度神经网络模型测试方法细节流程图。
[0040]图3为本专利技术实施例的步骤S11和步骤S12的具体执行流程图。
[0041]图4为本专利技术实施例的步骤S15和步骤S16的具体执行流程图。
[0042]图5为本专利技术实施例的深度神经网络模型测试系统结构框图。
具体实施方式
[0043]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度神经网络模型测试方法，其特征在于，包括：获取测试图像样本以及测试图像样本的类别，并将测试图像样本输入至深度神经网络模型中，得到测试图像样本的逻辑神经元序列；根据测试图像样本的类别，通过预设的各类别图像样本的类属逻辑神经元序列，得到测试图像样本的类属逻辑神经元序列；获取测试图像样本的逻辑神经元序列与类属逻辑神经元序列之间的相关性，得到测试图像样本的相关性指标，并根据测试图像样本的相关性指标，确定测试图像样本的优先级；按照测试图像样本的优先级，进行深度神经网络模型测试。2.根据权利要求1所述的深度神经网络模型测试方法，其特征在于，所述测试图像样本包括原始图像样本和对抗图像样本，其中，对抗图像样本通过利用对抗样本攻击技术攻击原始图像样本得到。3.根据权利要求1所述的深度神经网络模型测试方法，其特征在于，所述将测试图像样本输入至深度神经网络模型中，得到测试图像样本的逻辑神经元序列包括：将测试图像样本输入至深度神经网络模型中，最大化深度神经网络模型最后一个卷积层内各神经元单元的激活图；计算所述各神经元单元的激活图的平均激活值，并将所述平均激活值大于预设阈值的神经元单元作为激活神经元单元；按照平均激活值从大到小的顺序，选取前预设数量的激活神经元单元，作为测试图像样本的逻辑神经元序列。4.根据权利要求3所述的深度神经网络模型测试方法，其特征在于，所述计算所述各神经元单元的激活图的平均激活值包括：采用全局平均池化操作方法，计算所述各神经元单元的激活图的平均激活值。5.根据权利要求1所述的深度神经网络模型测试方法，其特征在于，还包括获取各类别图像样本的类属逻辑神经元序列并预设；所述获取各类别图像样本的类属逻辑神经元序列包括：获取各类别图像样本的各图像样本；获取当前类别图像样本的各图像样本的逻辑神经元序列；计算当前类别图像样本的各图像样本的逻辑神经元序列中各激活神经元单元对应的激活图像样本数与当前类别图像样本的总图像样本数之间的比例，得...

【专利技术属性】
技术研发人员：蔺琛皓，张星亮，沈超，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：