【技术实现步骤摘要】
本专利技术涉及预训练模型微调，尤其是涉及一种预训练模型微调方法、农作物监测方法、装置及终端设备。
技术介绍
1、目前，随着人工智能技术的迅猛发展，预训练模型在自然语言处理、计算机视觉和语言识别等领域取得了显著的成果。预训练模型通过在大规模数据集上进行预训练，能够学习并抽取出丰富的特征表示，进而应用于各种下游任务。然而，由于不同领域的数据分布和任务需求各不相同，因此预训练模型在特定领域中的性能和适应能力仍然有待改进。
2、在农业领域，种植业、农业气象、病虫害防治等是重要的研究方向和应用领域。然而，由于农业领域具有其专业知识和特定任务需求，现有的通用预训练模型往往无法直接应用于农业领域以适应农业领域的特定任务需求，因此需要提出一种预训练模型的微调方法，使得微调后的预训练模型能够满足农业领域的特定任务需求。
技术实现思路
1、本专利技术提供一种预训练模型微调方法、农作物监测方法、装置及设备，以解决现有的通用预训练模型无法直接应用于农业领域以适应农业领域的特定任务需求的技术问题。
2、为了解决上述技术问题，本专利技术实施例第一方面提供一种预训练模型微调方法，包括：
3、基于预先获取的农业领域数据集，确定所述农业领域数据集中不同类型的农业数据、农业数据特征及若干任务需求；
4、基于若干所述任务需求，对所述农业数据和所述农业数据特征进行预处理，确定各任务需求所对应的任务标注数据；
5、利用所述农业数据、所述农业数据特征和所述任务标注数
6、作为优选方案，所述方法还包括：
7、基于所述任务标注数据，利用随机批量梯度下降法对微调训练后的预训练模型进行训练优化，以对微调训练后的预训练模型中各全连接层的参数进行更新，并将训练优化后的预训练模型用于执行所述农业领域任务；
8、其中，任务标注数据包括若干标注数据和各标注数据所对应的数据标签；所述随机批量梯度下降法在每次训练迭代中所选取的训练样本是从所述任务标注数据随机选取的一组标注数据和其所对应的数据标签。
9、作为优选方案，所述基于若干所述任务需求，对所述农业数据和所述农业数据特征进行预处理，确定各任务需求所对应的任务标注数据，具体包括：
10、对所述农业数据和所述农业数据特征进行数据清洗处理和数据归一化处理；
11、基于各任务需求所对应的农业数据，对数据清洗处理和数据归一化处理后的农业数据进行数据标注，获得各任务需求所对应的任务标注数据。
12、作为优选方案，所述利用所述农业数据、所述农业数据特征和所述任务标注数据对预设的预训练模型进行微调训练，以对所述预训练模型中各全连接层的参数进行调整，具体包括：
13、基于所述任务需求所对应的输出类别数量，确定所述预训练模型的全连接层替换数量；
14、根据所述全连接层替换数量，将所述预训练模型中最后一层或最后若干层的初始全连接层替换为新全连接层；
15、将除所述新全连接层之外的其余层的参数冻结，并对所述新全连接层的权重和学习率进行微调，以使所述新全连接层的学习率大于除所述新全连接层之外的其余层的学习率；
16、基于微调后的所述新全连接层、预设的损失函数和训练迭代次数，利用所述农业数据、所述农业数据特征和所述任务标注数据，通过前向传播和反向传播对所述预训练模型进行训练，以对所述预训练模型中各全连接层的参数进行调整。
17、作为优选方案，所述对所述新全连接层的权重和学习率进行微调，具体包括：
18、通过如下权重微调表达式，对所述新全连接层的权重进行微调：
19、wn＝λ*wp+(1-λ)*wi；
20、其中，wn表示微调后的权重；λ表示预设的权重调整系数；wp表示预训练权重；wi表示随机初始化的权重；
21、通过如下学习率微调表达式，对所述新全连接层的学习率进行微调：
22、
23、其中，ln表示微调后的学习率；lb表示预设的基础学习率；dr表示学习率衰减率；sg表示当前的训练步数；sd表示学习率衰减步数。
24、作为优选方案，所述基于所述任务标注数据，利用随机批量梯度下降法对微调训练后的预训练模型进行训练优化，以对微调训练后的预训练模型中各全连接层的参数进行更新，具体包括：
25、利用随机批量梯度下降法从所述任务标注数据随机选取一组标注数据和其所对应的数据标签作为当次训练迭代的训练样本；基于当次训练迭代的训练样本、预设的损失函数和学习率，通过反向传播算法对微调训练后的预训练模型进行训练，以对微调训练后的预训练模型中各全连接层的参数进行更新；重复此步骤，直至当前训练迭代的次数满足预设迭代次数阈值。
26、作为优选方案，所述方法还包括：
27、基于预设的农业领域测试数据集和损失函数，通过前向传播算法计算训练优化后的预训练模型所对应的损失函数数值；其中，所述损失函数包括交叉熵损失函数和均方误差损失函数；
28、当所述损失函数数值小于预设数值阈值时，判定训练优化后的预训练模型满足所述农业领域任务的执行条件。
29、本专利技术实施例第二方面提供一种农作物监测方法，包括：
30、将待处理的农作物监测任务的农业数据输入至农业预训练模型；其中，所述农作物监测任务包括农作物病虫害识别任务、气象预测任务、农作物产量识别任务和农作物生长状态监测任务；所述农业数据包括农作物图像、历史气候数据、土壤湿度、土壤温度、农作物历史产量、作物当前长度、作物当前体积、作物当前年龄；所述农业预训练模型是采用第一方面任一项所述的预训练模型微调方法进行微调而获得的；
31、通过所述农业预训练模型，基于所述农业数据执行所述农作物监测任务，获得农作物监测数据；其中，所述农作物监测数据包括所述农作物图像的病虫害识别结果、气象预测数据、农作物产量识别结果、作物生长长度识别结果和作物生长体积识别结果。
32、本专利技术实施例第三方面提供一种预训练模型微调装置，包括：
33、数据分析模块，用于基于预先获取的农业领域数据集，确定所述农业领域数据集中不同类型的农业数据、农业数据特征及若干任务需求；
34、数据处理模块，用于基于若干所述任务需求，对所述农业数据和所述农业数据特征进行预处理，确定各任务需求所对应的任务标注数据；
35、模型微调模块，用于利用所述农业数据、所述农业数据特征和所述任务标注数据对预设的预训练模型进行微调训练，以对所述预训练模型中各全连接层的参数进行调整，并将微调训练后的预训练模型用于执行农业领域任务；其中，所述农业领域任务包括农作物病虫害识别任务、气象预测本文档来自技高网...
【技术保护点】
1.一种预训练模型微调方法，其特征在于，包括：
2.如权利要求1所述的预训练模型微调方法，其特征在于，所述方法还包括：
3.如权利要求1所述的预训练模型微调方法，其特征在于，所述基于若干所述任务需求，对所述农业数据和所述农业数据特征进行预处理，确定各任务需求所对应的任务标注数据，具体包括：
4.如权利要求1所述的预训练模型微调方法，其特征在于，所述利用所述农业数据、所述农业数据特征和所述任务标注数据对预设的预训练模型进行微调训练，以对所述预训练模型中各全连接层的参数进行调整，具体包括：
5.如权利要求4所述的预训练模型微调方法，其特征在于，所述对所述新全连接层的权重和学习率进行微调，具体包括：
6.如权利要求2所述的预训练模型微调方法，其特征在于，所述基于所述任务标注数据，利用随机批量梯度下降法对微调训练后的预训练模型进行训练优化，以对微调训练后的预训练模型中各全连接层的参数进行更新，具体包括：
7.如权利要求2所述的预训练模型微调方法，其特征在于，所述方法还包括：
8.一种农作物监测方法，其特征
9.一种预训练模型微调装置，其特征在于，包括：
10.一种终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的预训练模型微调方法或权利要求8所述的农作物监测方法。
...【技术特征摘要】
1.一种预训练模型微调方法，其特征在于，包括：
2.如权利要求1所述的预训练模型微调方法，其特征在于，所述方法还包括：
3.如权利要求1所述的预训练模型微调方法，其特征在于，所述基于若干所述任务需求，对所述农业数据和所述农业数据特征进行预处理，确定各任务需求所对应的任务标注数据，具体包括：
4.如权利要求1所述的预训练模型微调方法，其特征在于，所述利用所述农业数据、所述农业数据特征和所述任务标注数据对预设的预训练模型进行微调训练，以对所述预训练模型中各全连接层的参数进行调整，具体包括：
5.如权利要求4所述的预训练模型微调方法，其特征在于，所述对所述新全连接层的权重和学习率进行微调，具体包括：<...
【专利技术属性】
技术研发人员：李正权，苏炜，张志荣，肖乐章，伍美英，胡夏林，陈建敏，陈小辉，李嘉豪，李洁儒，陈嘉仪，梁少林，
申请(专利权)人：广东省科技基础条件平台中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。