【技术实现步骤摘要】
本申请涉及人工智能(ai)和机器学习(ml)领域，特别是涉及一种基于数据特征统计学分布的智能模型逆向工程方法。
技术介绍
1、在缺乏训练数据时，如何从已经训练好的模型中恢复训练数据，并用于知识蒸馏是一个亟需解决的问题。针对这一问题，最常用和经典的方法就是deepdream。deepdream这种方法也是需要一个预训练好的模型，只是它是去根据输出的类别和预训练的模型来优化输入图片。输入信息一开始是噪声图像，这种方法通过使用一些正则化，同时保持选定的输出激活值是固定的，但使中间特征的表示不受约束。
2、很多高性能的卷积神经网络(cnns)，resnet，densentes等等或它们的变体，都使用bn层。bn层存储了很多层输出的滑动均值和方差，deepdream在训练输入图片时就通过利用这些信息让输入图片得到优化。deepdream方法通过正则化可以使输入图片稳定地收敛，但是该方法仍然存在对输入图片优化效果不佳，与目标结果相差较大的问题。
技术实现思路
1、本专利技术提供了一种基于数据特征统计学分布的智能模型逆向工程方法，引入深度反演的方法，用于从经过图像分类训练的cnn合成类别条件图像，同时通过自适应深度反演利用师生分歧来提高综合多样性。
2、本专利技术采用如下技术方案：
3、一种基于数据特征统计学分布的智能模型逆向工程方法，包括以下步骤：
4、1)给定一张待优化的噪声图片作为输入和一个目标标签；
5、2)将步骤1)中的图像分
6、3)通过教师模型输出和目标标签的损失函数得到分类损失项，利用步骤2)计算得到的图像正则化项和所述分类损失项来更新所述待优化的噪声图片；
7、4)将步骤3)更新后的噪声图片分别作为教师模型和学生模型的输入，通过知识蒸馏，缩小学生模型和教师模型输出之间的距离；
8、5)重复步骤2)-4)迭代训练学生模型，判断优化后的噪声图片是否符合目标标签的条件；若否，则返回步骤2)继续迭代；若是，结束迭代，得到训练好的学生模型，利用所述训练好的学生进行图片优化。
9、上述技术方案中，进一步地，所述步骤3)中，用步骤2)计算得到的图像正则化项和所述分类损失项来更新所述待优化的噪声图片，具体采用deepdream对噪声图片进行优化：
10、deepdream通过下式对噪声图片进行优化：
11、
12、式中，是分类损失，是图像正则化项，为给定的噪声图片，y为目标标签。
13、进一步地，步骤4)中，知识蒸馏过程表示为：
14、
15、式中，χ是训练集，pt(x)是教师模型输出，ps(x)是学生模型输出，ws是学生模型的参数，kl(·)表示相对熵。
16、本专利技术引入正则化深度反演，通过使用新的正则化项扩展所述图像正则化项对deepdream进行改进来提高训练噪声图片质量；假设特征统计在批次之间遵循高斯分布，因此可以通过均值μ和方差σ2来定义所述新的正则化项；因此，新的正则化项表达为：
17、
18、式中和是对应于第1卷积层的特征映射的批处理均值和方差估计。和||·||2运算符分别表示期望值和l2范数计算；χ为训练集；使用所述教师模型的bn层的running_mean和running_variance来代替一整组的训练数据χ，从而通过以下方式估计上式中的期望：
19、
20、
21、最终正则化深度反演对正则化项进行改进之后就变成了
22、
23、
24、式中，αtv、为对应的比例因子，是惩罚总方差，是的l2正则；αf为比例因子。
25、本专利技术引入自适应深度反演，通过引入一个额外的损失项来最大化教师模型和学生模型之间的js散度，从而让学生模型和教师模型的输出尽量不一致，进一步优化图像：
26、
27、
28、式中，是教师模型和学生模型输出的平均值，是教师模型的输出，是学生模型的输出；
29、这一项会产生一些新的图片，这些图片教师模型很容易分类而学生网络则很难分类准确从而尽量让学生网络的输出更加多样化。
30、最终自适应深度反演对正则化项进行改进之后就变成了
31、
32、式中αc为比例因子。
33、本专利技术中自适应深度反演的竞争性和互动性有利于不断进化学生模型，这逐渐迫使新的图像特征出现，并使得深度反演得到增强；
34、深度反演与自适应深度反演对比为：深度反演是一种通用的方法，可以应用于任何经过训练的cnn分类器。对于知识蒸馏，它可以在给定教师网络的情况下，一次性合成大量图像来启动知识转移。另一方面，自适应深度反演需要在循环中使用学生网络来增强图像的多样性。它的竞争性和交互性特点有利于不断发展的学生网络，这逐渐促使新的图像特征出现，并且实验证明，这样的增强使得深度反演的效果得以提升。
35、本专利技术的有益效果为：
36、本专利技术方法通过反演一个已经训练好的网络，在无需使用任何有关训练数据集的额外信息的情况下，保持教师模型固定，通过知识蒸馏训练学生模型，优化输入，在deepdream方法的基础上，正则化深度反演利用教师模型的批归一化层中存储的信息对正则化项进行改进。此外，自适应深度反演通过最大化教师模型和学生模型逻辑输出之间的js散度，提高图像的多样性，增强正则化深度反演的效果，进一步优化图像，从而实现相比deepdream而言更好的效果。
本文档来自技高网...【技术保护点】
1.一种基于数据特征统计学分布的智能模型逆向工程方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法，其特征在于，所述步骤3)中，用步骤2)计算得到的图像正则化项和所述分类损失项来更新所述待优化的噪声图片，具体采用DeepDream对噪声图片进行优化：
3.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法，其特征在于，所述步骤4)中，知识蒸馏过程表示为：
4.根据权利要求2所述的基于数据特征统计学分布的智能模型逆向工程方法，其特征在于，引入正则化深度反演，通过使用新的正则化项扩展所述图像正则化项对Deepdream进行改进来提高训练噪声图片质量；假设特征统计在批次之间遵循高斯分布，因此可以通过均值μ和方差σ2来定义所述新的正则化项；因此，新的正则化项表达为：
5.根据权利要求4所述的基于数据特征统计学分布的智能模型逆向工程方法，其特征在于，引入自适应深度反演，通过引入一个额外的损失项来最大化教师模型和学生模型之间的JS散度，从而让学生模型和教师模型的输出尽量不一
...【技术特征摘要】
1.一种基于数据特征统计学分布的智能模型逆向工程方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法，其特征在于，所述步骤3)中，用步骤2)计算得到的图像正则化项和所述分类损失项来更新所述待优化的噪声图片，具体采用deepdream对噪声图片进行优化：
3.根据权利要求1所述的基于数据特征统计学分布的智能模型逆向工程方法，其特征在于，所述步骤4)中，知识蒸馏过程表示为：
4.根据权利要求2所述的基于数据特征统计学...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。