【技术实现步骤摘要】
本专利技术涉及一种针对深度神经网络模型的稳定性测试方法，基于模糊测试技术以变异的形式生成变异样本来对模型进行稳定性测试，检测模型的推理结果是否受到影响，涉及领域包括深度学习、人工智能安全。
技术介绍
1、随着人脸识别、语音识别、自动驾驶等人工智能应用在人们的生活中越来越普遍，其所暴露出的问题也越来越受到人们的关注。智能应用所依赖的核心通常是深度神经网络模型，该模型会处理来自现实世界的输入数据，如人脸、语音、交通标志等，输出相应的分类结果，使得智能应用具备人脸身份认证、语音内容识别、交通标志识别等功能。但是，深度神经网络模型的分类能力和输入数据有关，当遇到异常数据时，模型可能会发生崩溃，或者输出错误的分类结果，造成整个人工智能应用无法正常使用。这些异常数据可能只是对现实世界中的正常数据做变暗处理、或仅仅遮挡很小的局部、或发生很小的变化，但由于模型的稳定性比较差，使得模型的计算处理极容易受到影响。如果在模型正式部署到人工智能应用之前对其进行充分的稳定性测试，能够在一定程度上降低异常数据带来的影响。
2、深度神经网络模型主要有训练和推理两个阶段，训练阶段通常是开发人员内部研发时根据大量样本数据不断尝试参数计算得到一个具有高分类准确率的模型，推理阶段通常是模型在实际应用过程中对来自外部的输入数据给出分类结果。但是，如果训练阶段所采用的大量样本数据与推理阶段所输入的新的外部数据在分布上存在差异的话，就会造成模型在实际应用过程中较容易给出错误的分类结果，表明模型在训练阶段所使用的样本数据不够全面而使得模型的稳定性很差。
<...【技术保护点】
1.一种基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于：采用模糊测试的思想不断生成新的变异样本测试深度神经网络模型的稳定性，主要步骤包括：将正常样本输入模型测试模型分类准确率且构建样本语料库，对样本语料库中的某个样本变异生成变异样本，将变异样本输入模型进行推理计算，计算模型覆盖率并判断是否更新样本语料库，判断是否继续生成新的变异样本来进行测试，根据所有变异样本的分类结果判断模型稳定性。
2.根据权利要求1所述的基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于，所述将正常样本输入模型测试模型分类准确率且构建样本语料库步骤将正常样本输入到待测模型，模型对每一个样本进行分类，根据模型在所有正常样本上的分类结果计算得到模型的分类准确率，同时随机地从正常样本中选择部分样本构建样本语料库。
3.根据权利要求1所述的基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于，所述对样本语料库中的某个样本变异生成变异样本步骤对所构建的样本语料库中的某个样本进行变异，通过基于字节的变异算法对所述样本的部分数据进行细微变异，生成新的变异样本依然能够满足模型输入
4.根据权利要求1所述的基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于，所述将变异样本输入模型进行推理计算步骤将生成的变异样本输入到待测模型中，模型会针对所述变异样本进行分类识别，同时在模型的推理计算过程中监视模型是否出现异常，获取模型的中间层数据、输出层数据，以及相应的异常信息。
5.根据权利要求1所述的基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于，所述计算模型覆盖率并判断是否更新样本语料库步骤将根据待测模型在推理计算过程中所覆盖的中间层数据计算覆盖值，根据覆盖值在样本语料库中搜索与当前变异样本最相似的样本，基于覆盖判定算法比较当前变异样本与其最相似样本的覆盖值，判断该变异样本是否触发了新覆盖，如果是新覆盖，就将该变异样本加入样本语料库，否则直接舍弃。
6.根据权利要求1所述的基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于，所述判断是否继续生成新的变异样本来进行测试步骤将根据测试之前所设定的测试时间或测试次数来判断当前的变异样本是否已经达到测试终止条件，如果未达到测试终止条件，则进行下一轮测试，如果达到条件要求，则开展结果分析。
7.根据权利要求1所述的基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于，所述根据所有变异样本的分类结果判断模型稳定性步骤将根据模型对每一次变异样本的推理计算所记录得到的结果数据进行分析，如果某个变异样本在模型推理计算过程中导致模型执行异常，说明模型存在缺陷，向开发人员提供异常信息来辅助修复模型缺陷；同时统计模型在所有变异样本上的分类准确率，将该准确率与模型在所有正常样本上的分类准确率进行比较，如果相差很大，也说明模型的稳定性有待提高。
...【技术特征摘要】
1.一种基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于：采用模糊测试的思想不断生成新的变异样本测试深度神经网络模型的稳定性，主要步骤包括：将正常样本输入模型测试模型分类准确率且构建样本语料库，对样本语料库中的某个样本变异生成变异样本，将变异样本输入模型进行推理计算，计算模型覆盖率并判断是否更新样本语料库，判断是否继续生成新的变异样本来进行测试，根据所有变异样本的分类结果判断模型稳定性。
2.根据权利要求1所述的基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于，所述将正常样本输入模型测试模型分类准确率且构建样本语料库步骤将正常样本输入到待测模型，模型对每一个样本进行分类，根据模型在所有正常样本上的分类结果计算得到模型的分类准确率，同时随机地从正常样本中选择部分样本构建样本语料库。
3.根据权利要求1所述的基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于，所述对样本语料库中的某个样本变异生成变异样本步骤对所构建的样本语料库中的某个样本进行变异，通过基于字节的变异算法对所述样本的部分数据进行细微变异，生成新的变异样本依然能够满足模型输入数据的要求。
4.根据权利要求1所述的基于模糊测试的深度神经网络模型稳定性测试方法，其特征在于，所述将变异样本输入模型进行推理计算步骤将生成的变异样本输入到待测模型中，模型会针对所述变异样本进行分类识别，同时在模型的推理计算过程中监视模...
【专利技术属性】
技术研发人员：吴振东，张毅，王泽辉，
申请(专利权)人：中芯未来北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。