【技术实现步骤摘要】
本申请涉及神经网络领域，尤其涉及一种模型压缩方法、装置、计算机及存储介质。
技术介绍
1、随着人工智能领域的蓬勃发展，深度学习技术已广泛应用于图像处理、自然语言处理、语音识别等多个领域。其中，证照识别技术作为图像处理的一个重要应用场景，广泛应用于身份认证、自动信息录入和智能审核等环节。
2、然而，随着神经网络模型的日益复杂化，模型参数数量激增，模型体积变大，这导致了对运算能力和存储空间的巨大需求，减慢了模型的推理速度。
技术实现思路
1、本申请实施例提供一种模型压缩方法、装置、计算机及存储介质，实现了通过自注意力机制对模型进行压缩，在不显著降低识别性能的前提下，有效地减小模型体积和加速模型推理速度。
2、第一方面，本申请实施例提供了一种模型压缩方法，包括：
3、获取初始证照识别模型和自注意力监督模型，所述自注意力监督模型的神经网络结构包括所述初始证照识别模型的神经网络结构和自注意力层；
4、获取原始证照图像数据集；
5、对所述原始证照图像数据集进行处理以得到标准化增强后证照图像数据集；
6、根据所述标准化增强后证照图像数据集、所述自注意力监督模型和所述初始证照识别模型得到目标证照识别模型。
7、在一些实施例中，对所述原始证照图像数据集进行处理以得到标准化增强后证照图像数据集，包括：
8、对所述原始证照图像数据集进行归一化处理得到第一证照图像数据集；对所述第一证照图像数据集进行裁剪增强处理
9、在一些实施例中，根据所述标准化增强后证照图像数据集、所述自注意力监督模型和所述初始证照识别模型得到目标证照识别模型，包括：
10、根据所述标准化增强后证照图像数据集和所述初始证照识别模型得到第一证照识别模型；根据所述标准化增强后证照图像数据集和所述第一证照识别模型对所述自注意力监督模型进行训练，得到训练后自注意力监督模型；根据所述训练后自注意力监督模型对所述第一证照识别模型进行压缩，得到第二证照识别模型；根据所述标准化增强后证照图像数据集对所述第二证照识别模型进行调整，得到目标证照识别模型。
11、在一些实施例中，根据所述标准化增强后证照图像数据集和所述初始证照识别模型得到第一证照识别模型，包括：
12、根据链式法则获取第一损失函数关于所述初始证照识别模型的参数的梯度；根据梯度下降法和所述第一损失函数关于所述初始证照识别模型的参数的梯度对所述初始证照识别模型中的参数进行更新，得到第一证照识别模型。
13、可选的，第一损失函数为二元交叉熵损失函数。
14、在一些实施例中，根据所述标准化增强后证照图像数据集和所述第一证照识别模型对所述自注意力监督模型进行训练，得到训练后自注意力监督模型，包括：
15、通过将所述标准化增强后证照图像数据集输入所述第一证照识别模型得到所述第一证照识别模型的第一输出；通过将所述特征图输出作为所述自注意力监督模型的输入得到所述自注意力监督模型的第二输出，所述第二输出是所述第一输出的重要性分布的预测值；根据第二损失函数、所述第二输出以及所述第一输出的重要性分布的实际值对所述自注意力监督模型进行调整，得到训练后自注意力监督模型。
16、可选的，第二损失函数为交叉熵损失函数。
17、在一些实施例中，根据所述训练后自注意力监督模型对所述第一证照识别模型进行压缩，得到第二证照识别模型，包括：
18、根据所述训练后自注意监督模型的输出对所述第一证照模型中重要性权重低于预设阈值的连接进行移除，得到剪枝后证照识别模型；将所述剪枝后证照识别模型的权重和激活值由浮点数表示转换为低位宽度的定点数表示，得到量化后证照识别模型；根据l1正则化对所述量化后证照识别模型进行稀疏化处理，得到第二证照识别模型。
19、在一些实施例中，根据所述标准化增强后证照图像数据集对所述第二证照识别模型进行调整，得到目标证照识别模型，包括：
20、根据预设学习率，第三损失函数以及优化器对所述第二证照识别模型的参数进行迭代优化，得到目标证照识别模型。
21、可选的，第三损失函数为二元交叉熵损失函数。
22、第二方面，本申请实施例提供了一种模型压缩装置，包括：
23、获取模块，用于获取初始证照识别模型和自注意力监督模型，所述自注意力监督模型的神经网络结构包括所述初始证照识别模型的神经网络结构和自注意力层；以及用于获取原始证照图像数据集；
24、处理模块，用于对所述原始证照图像数据集进行处理以得到标准化增强后证照图像数据集；以及用于根据所述标准化增强后证照图像数据集、所述自注意力监督模型和所述初始证照识别模型得到目标证照识别模型。
25、第三方面，本申请实施例提供了一种模型压缩装置，包括：
26、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的可执行程序代码，所述处理器执行所述可执行程序代码时执行如第一方面中任一项所述的方法。
27、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有模型压缩程序，所述模型压缩程序包括执行指令，所述执行指令用于执行如第一方面中任一项所述的方法。
28、第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品被处理器执行时用于实现如第一方面中任一项所述的方法。
29、通过实施本申请实施例，服务器先获取初始证照识别模型和自注意力监督模型，所述自注意力监督模型的神经网络结构包括所述初始证照识别模型的神经网络结构和自注意力层；然后获取原始证照图像数据集；然后对所述原始证照图像数据集进行处理以得到标准化增强后证照图像数据集；最后根据所述标准化增强后证照图像数据集、所述自注意力监督模型和所述初始证照识别模型得到目标证照识别模型。通过自注意力监督模型引入自注意力机制对模型进行压缩，有利于在不显著降低识别性能的前提下，有效地减小模型体积和加速模型推理速度。
本文档来自技高网...【技术保护点】
1.一种模型压缩方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述对所述原始证照图像数据集进行处理以得到标准化增强后证照图像数据集，包括：
3.如权利要求2所述的方法，其特征在于，所述根据所述标准化增强后证照图像数据集、所述自注意力监督模型和所述初始证照识别模型得到目标证照识别模型，包括：
4.如权利要求3所述的方法，其特征在于，所述根据所述标准化增强后证照图像数据集和所述初始证照识别模型得到第一证照识别模型，包括：
5.如权利要求3所述的方法，其特征在于，所述根据所述标准化增强后证照图像数据集和所述第一证照识别模型对所述自注意力监督模型进行训练，得到训练后自注意力监督模型，包括：
6.如权利要求3所述的方法，其特征在于，所述根据所述训练后自注意力监督模型对所述第一证照识别模型进行压缩，得到第二证照识别模型，包括：
7.如权利要求3所述的方法，其特征在于，所述根据所述标准化增强后证照图像数据集对所述第二证照识别模型进行调整，得到目标证照识别模型，包括：
8.一种模型压缩
9.一种计算机，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有模型压缩程序，所述模型压缩程序包括执行指令，所述执行指令用于执行如权利要求1-7任一项所述模型压缩方法的步骤。
...【技术特征摘要】
1.一种模型压缩方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述对所述原始证照图像数据集进行处理以得到标准化增强后证照图像数据集，包括：
3.如权利要求2所述的方法，其特征在于，所述根据所述标准化增强后证照图像数据集、所述自注意力监督模型和所述初始证照识别模型得到目标证照识别模型，包括：
4.如权利要求3所述的方法，其特征在于，所述根据所述标准化增强后证照图像数据集和所述初始证照识别模型得到第一证照识别模型，包括：
5.如权利要求3所述的方法，其特征在于，所述根据所述标准化增强后证照图像数据集和所述第一证照识别模型对所述自注意力监督模型进行训练，得到训...
【专利技术属性】
技术研发人员：裴勇，杨启城，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。