卷积神经网络的自适应微调方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种卷积神经网络的自适应微调方法、装置、设备及存储介质，涉及模型微调技术领域，该方法包括：获取用于图像分类的卷积神经网络；倒序遍历卷积神经网络中的各个层，将卷积神经网络中的各个层划分为多个块；至少一个块包括：相邻的多个相关联的层；将目标域图像数据集输入卷积神经网络中，针对每个目标域图像数据，分别计算每个块的标准值，并基于每个块的标准值对卷积神经网络的各模型参数进行微调。本发明专利技术充分考虑了卷积神经网络不同层之间的关系，可以提升卷积神经网络的模型精度。度。度。

【技术实现步骤摘要】
卷积神经网络的自适应微调方法、装置、设备及存储介质


[0001]本专利技术涉及模型微调
，尤其涉及一种卷积神经网络的自适应微调方法、装置、设备及存储介质。

技术介绍

[0002]模型微调(fine
‑
tuning)是模型落地过程中的一个关键环节。通常使用大量数据训练的神经网络模型具有很高的精度。然而，在很多应用场景中很难获取到足够多的数据，所以常见的模型落地模式是以大量公共数据(即源域数据，source data)预训练的模型为起点，收集少量实际应用数据(即目标域数据，target data)对模型参数进行微调，以快速地获取到高精度的模型。
[0003]对于图像分类任务，现有的卷积神经网络微调方案通常是固定特征提取层的模型参数，仅更新模型最后的全连接层的参数。然而。越来越多的研究表明：仅调整全连接层的参数无法在目标域数据上得到较高的精度。
[0004]为了解决上述问题，现有技术提供一种新的卷积神经网络微调方案：获取通过源域图像数据集预训练得到的用于图像分类的卷积神经网络；将目标域图像数据集输入卷积神经网络中，针对每个目标域图像数据，分别计算每层的标准值，并基于每层的标准值对卷积神经网络的各模型参数进行微调，可以针对性地调整模型部分层的参数。
[0005]然而，现有技术未考虑卷积神经网络中不同层之间的关系，会导致一些层更新量不足，影响卷积神经网络的模型精度。

技术实现思路

[0006]本专利技术提供一种卷积神经网络的自适应微调方法、装置、设备及存储介质，用以解决现有技术中未考虑卷积神经网络中不同层之间的关系，会导致一些层更新量不足，影响卷积神经网络的模型精度的缺陷，实现充分考虑卷积神经网络不同层之间的关系，提升卷积神经网络的模型精度的目的。
[0007]本专利技术提供一种卷积神经网络的自适应微调方法，包括：
[0008]获取用于图像分类的卷积神经网络；
[0009]倒序遍历所述卷积神经网络中的各个层，将所述卷积神经网络中的各个层划分为多个块；至少一个所述块包括：相邻的多个相关联的所述层；
[0010]将目标域图像数据集输入所述卷积神经网络中，针对每个目标域图像数据，分别计算每个所述块的标准值，并基于每个所述块的标准值对所述卷积神经网络的各模型参数进行微调。
[0011]根据本专利技术提供的一种卷积神经网络的自适应微调方法，所述将目标域图像数据集输入所述卷积神经网络中，针对每个目标域图像数据，分别计算每个所述块的标准值，并基于每个所述块的标准值对所述卷积神经网络的各模型参数进行微调，包括：
[0012]将目标域图像数据集输入所述卷积神经网络中；
[0013]针对每个目标域图像数据，进行前向传播计算和反向传播计算，得到所述卷积神经网络的各所述块的模型参数的梯度；
[0014]计算每个所述块的模型参数的梯度的二范数与所述块的模型参数的二范数之间的比值，得到每个所述块的标准值；
[0015]基于每个所述块的标准值，调整所述块的模型参数的梯度；
[0016]利用优化器根据调整后的各所述块的模型参数的梯度，对所述卷积神经网络的各模型参数进行微调。
[0017]根据本专利技术提供的一种卷积神经网络的自适应微调方法，所述将目标域图像数据集输入所述卷积神经网络中，针对每个目标域图像数据，分别计算每个所述块的标准值，并基于每个所述块的标准值对所述卷积神经网络的各模型参数进行微调，包括：
[0018]在第一个训练周期内，将目标域图像数据集输入所述卷积神经网络中；
[0019]针对每个目标域图像数据，进行前向传播计算和反向传播计算，得到所述卷积神经网络的各所述块的模型参数的梯度；
[0020]计算每个所述块的模型参数的梯度的二范数与所述块的模型参数的二范数之间的比值，得到每个所述块的标准值；
[0021]统计所述第一个训练周期内获得的每个所述块的多个标准值，并计算每个所述块的多个标准值的平均值，得到每个所述块的平均标准值；
[0022]在后续训练周期内，将所述目标域图像数据集重新输入所述卷积神经网络中，针对每个目标域图像数据，基于每个所述块的平均标准值对所述卷积神经网络的各模型参数进行微调。
[0023]根据本专利技术提供的一种卷积神经网络的自适应微调方法，在第一个训练周期内，在得到每个所述块的标准值之后，在统计所述第一个训练周期内获得的每个所述块的多个标准值之前，所述方法还包括：
[0024]基于每个所述块的标准值，调整所述块的模型参数的梯度；
[0025]利用优化器根据调整后的各所述块的模型参数的梯度，对所述卷积神经网络的各模型参数进行微调。
[0026]根据本专利技术提供的一种卷积神经网络的自适应微调方法，所述将目标域图像数据集输入所述卷积神经网络中，针对每个目标域图像数据，分别计算每个所述块的标准值，并基于每个所述块的标准值对所述卷积神经网络的各模型参数进行微调，包括：
[0027]将目标域图像数据集输入所述卷积神经网络中；
[0028]针对每个目标域图像数据，进行前向传播计算和反向传播计算，得到所述卷积神经网络的各所述块的模型参数的梯度；
[0029]计算每个所述块的模型参数的二范数与第一变量的历史值之间的乘积，计算所述块的模型参数的梯度的二范数与所述乘积之间的比值，计算所述比值与预设值中最小的值，得到每个所述块的标准值；
[0030]基于每个所述块的模型参数的梯度的二范数与所述块的模型参数的二范数之间的比值，与第二变量的历史值中的最大值，更新所述第二变量的当前值；
[0031]基于每个所述块的标准值，调整所述块的模型参数的梯度；
[0032]利用优化器根据调整后的各所述块的模型参数的梯度，对所述卷积神经网络的各
模型参数进行微调；
[0033]基于所述第二变量的当前值，更新所述第一变量的当前值。
[0034]根据本专利技术提供的一种卷积神经网络的自适应微调方法，所述将目标域图像数据集输入所述卷积神经网络中，针对每个目标域图像数据，分别计算每个所述块的标准值，并基于每个所述块的标准值对所述卷积神经网络的各模型参数进行微调，包括：
[0035]在第一个训练周期内，将目标域图像数据集输入所述卷积神经网络中；
[0036]针对每个目标域图像数据，进行前向传播计算和反向传播计算，得到所述卷积神经网络的各所述块的模型参数的梯度；
[0037]计算每个所述块的模型参数的二范数与第一变量的历史值之间的乘积，计算所述块的模型参数的梯度的二范数与所述乘积之间的比值，计算所述比值与预设值中最小的值，得到每个所述块的标准值；
[0038]基于每个所述块的模型参数的梯度的二范数与所述块的模型参数的二范数之间的比值，与第二变量的历史值中的最大值，更新所述第二变量的当前值；
[0039]统计所述第一个训练周期内获得的每个所述块的多个标准值，并计算每个所述块的多个标准值的平均值，得到每个所述块的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络的自适应微调方法，其特征在于，包括：获取用于图像分类的卷积神经网络；倒序遍历所述卷积神经网络中的各个层，将所述卷积神经网络中的各个层划分为多个块；至少一个所述块包括：相邻的多个相关联的所述层；将目标域图像数据集输入所述卷积神经网络中，针对每个目标域图像数据，分别计算每个所述块的标准值，并基于每个所述块的标准值对所述卷积神经网络的各模型参数进行微调。2.根据权利要求1所述的卷积神经网络的自适应微调方法，其特征在于，所述将目标域图像数据集输入所述卷积神经网络中，针对每个目标域图像数据，分别计算每个所述块的标准值，并基于每个所述块的标准值对所述卷积神经网络的各模型参数进行微调，包括：将目标域图像数据集输入所述卷积神经网络中；针对每个目标域图像数据，进行前向传播计算和反向传播计算，得到所述卷积神经网络的各所述块的模型参数的梯度；计算每个所述块的模型参数的梯度的二范数与所述块的模型参数的二范数之间的比值，得到每个所述块的标准值；基于每个所述块的标准值，调整所述块的模型参数的梯度；利用优化器根据调整后的各所述块的模型参数的梯度，对所述卷积神经网络的各模型参数进行微调。3.根据权利要求1所述的卷积神经网络的自适应微调方法，其特征在于，所述将目标域图像数据集输入所述卷积神经网络中，针对每个目标域图像数据，分别计算每个所述块的标准值，并基于每个所述块的标准值对所述卷积神经网络的各模型参数进行微调，包括：在第一个训练周期内，将目标域图像数据集输入所述卷积神经网络中；针对每个目标域图像数据，进行前向传播计算和反向传播计算，得到所述卷积神经网络的各所述块的模型参数的梯度；计算每个所述块的模型参数的梯度的二范数与所述块的模型参数的二范数之间的比值，得到每个所述块的标准值；统计所述第一个训练周期内获得的每个所述块的多个标准值，并计算每个所述块的多个标准值的平均值，得到每个所述块的平均标准值；在后续训练周期内，将所述目标域图像数据集重新输入所述卷积神经网络中，针对每个目标域图像数据，基于每个所述块的平均标准值对所述卷积神经网络的各模型参数进行微调。4.根据权利要求3所述的卷积神经网络的自适应微调方法，其特征在于，在第一个训练周期内，在得到每个所述块的标准值之后，在统计所述第一个训练周期内获得的每个所述块的多个标准值之前，所述方法还包括：基于每个所述块的标准值，调整所述块的模型参数的梯度；利用优化器根据调整后的各所述块的模型参数的梯度，对所述卷积神经网络的各模型参数进行微调。5.根据权利要求1所述的卷积神经网络的自适应微调方法，其特征在于，所述将目标域图像数据集输入所述卷积神经网络中，针对每个目标域图像数据，分别计算每个所述块的
标准值，并基于每个所述块的标准值对所述卷积神经网络的各模型参数进行微调，包括：将目标域图像数据集输入所述卷积神经网络中；针对每个目标域图像数据，进行前向传播计算和反向传播计算，得到所述卷积神经网络的各所述块的模型参数的梯度；计算每个所述块的模型参数的二范数与第一变量的历史值之间的乘积，计算所述块的模型参数的梯度的二范数与所述乘积之间的比值，计算所述比值与预设值中最小的值，得到每个所述块的标准值；基于每个所述块的模型参数的梯度的二范数与所述块的模型参数的二范数之间的比值，与第二变量的历史值中的最大值...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：