【技术实现步骤摘要】
本说明书涉及深度学习，尤其涉及一种基于数据质量的混合精度模型训练方法及装置。
技术介绍
1、随着深度学习的快速发展，其在各大领域都取得了巨大的成功，同时也对多个交叉学科的发展起到了重要的推动作用。
2、目前，神经网络模型的规模越来越大，但是过大的网络规模导致其训练效率和执行效率降低，同时耗费大量的时间来进行计算。因此，产生了混合精度训练的方式来对模型中的网络参数进行调整。然而，现有的训练方式不能使模型得到准确的结果。
3、基于此，如何通过调整精度来提高神经网络模型训练的效率，同时保证模型输出结果的准确性，则是一个亟待解决的问题。
技术实现思路
1、本说明书提供一种基于数据质量的混合精度模型训练方法及装置，以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案：
3、本说明书提供了一种基于数据质量的混合精度模型训练方法，包括：
4、服务器接收训练指令；
5、执行所述训练指令，以获取目标模型；
6、将预设的样本数据输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度，针对每个网络层，该网络层对应的关联数据包括：该网络层的输入数据、该网络层的网络参数以及该网络层的输出数据中的至少一种，所述样本数据包括：样本文本数据、样本图像数据、样本音频数据；
7、根据所述调整后精度，对所述目标模型进行精度调整，得到调整后目标模型，并将所述样本数据输入所述调整
8、以最小化所述预测结果与所述样本数据对应的实际结果之间的偏差，以及最小化所述调整后目标模型处理所述样本数据所消耗的时间为优化目标，对所述目标模型以及所述精度调整模型进行训练。
9、可选地，将预设的样本数据输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度，具体包括：
10、将预设的样本数据以及每个网络层所包含的网络参数的张量输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度。
11、可选地，在将预设的样本数据输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度之前，所述方法还包括：
12、对所述样本数据的数据质量进行评估，得到评估结果；
13、将所述评估结果进行度量，所述度量是指将所述评估结果进行编码，以将所述评估结果转化成可度量的数据；
14、将度量后的所述评估结果进行向量化，得到向量化后的所述评估结果；
15、将预设的样本数据输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度，具体包括：
16、将向量化后的所述评估结果输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度。
17、可选地，对所述样本数据的数据质量进行评估，得到评估结果，具体包括：
18、确定所述样本数据的生成时间；
19、根据所述生成时间以及当前时间，对所述样本数据的数据质量进行评估，得到评估结果。
20、可选地，在根据所述调整后精度，对所述目标模型进行精度调整，得到调整后目标模型之前，所述方法还包括：
21、确定部署所述目标模型的设备的设备参数；
22、根据所述设备参数，对所述调整后精度进行调整，得到目标精度；
23、根据所述调整后精度，对所述目标模型进行精度调整，得到调整后目标模型，具体包括：
24、根据所述目标精度，对所述目标模型进行精度调整，得到调整后目标模型。
25、可选地，所述方法还包括：
26、针对所述目标模型中包含的每个网络层，若确定该网络层中包含的网络参数的调整后精度低于该网络层中包含的网络参数的调整前精度，则增大该网络层对应的张量缩放系数，所述张量缩放系数用于对该网络层的输出数据缩放至预设的数值范围内。
27、本说明书提供了一种任务执行的方法，包括：
28、获取任务数据；
29、将所述任务数据输入到预先训练的精度调整模型中，得到针对用于执行所述任务数据对应任务的目标模型中包含的每个网络层对应关联数据的调整后精度，针对每个网络层，该网络层对应的关联数据包括：该网络层的输入数据、该网络层的网络参数以及该网络层的输出数据中的至少一种；
30、根据所述调整后精度，对所述目标模型进行精度调整，得到调整后目标模型，并将所述任务数据输入所述调整后目标模型中，得到针对所述任务数据的输出结果，以根据所述输出结果，执行所述任务数据对应的任务，所述精度调整模型以及所述目标模型是通过上述模型训练方法训练得到的。
31、本说明书提供了一种基于数据质量的混合精度模型训练装置，包括：
32、接收模块，用于接收训练指令；
33、获取模块，用于执行所述训练指令，以获取目标模型；
34、输入模块，用于将预设的样本数据输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度，针对每个网络层，该网络层对应的关联数据包括：该网络层的输入数据、该网络层的网络参数以及该网络层的输出数据中的至少一种，所述样本数据包括：样本文本数据、样本图像数据、样本音频数据；
35、调整模块，用于根据所述调整后精度，对所述目标模型进行精度调整，得到调整后目标模型，并将所述样本数据输入所述调整后目标模型中，得到针对所述样本数据的预测结果；
36、训练模块，用于以最小化所述预测结果与所述样本数据对应的实际结果之间的偏差，以及最小化所述调整后目标模型处理所述样本数据所消耗的时间为优化目标，对所述目标模型以及所述精度调整模型进行训练。
37、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于数据质量的混合精度模型训练方法或任务执行的方法。
38、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于数据质量的混合精度模型训练方法或任务执行的方法。
39、本说明书采用的上述至少一个技术方案能够达到以下有益效果：
40、在本说明书提供的基于数据质量的混合精度模型训练方法中，服务器首先接收训练指令，并执行训练指令，以获取目标模型，将预设的样本数据输入到预设的精度调整模型中，得到针对目标模型中包含的每个网络层对应关联数据的调整后精度。并根据调整后精度，对目标模型进行精度调整，得到调整后目标模型，并将样本数据输入调整后目标模型中，得到针对样本数据的预测结果，以最小化预测结果与样本数据对应的实际结果之间的偏差，以及最小化调整后目标模本文档来自技高网...
【技术保护点】
1.一种基于数据质量的混合精度模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，将预设的样本数据输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度，具体包括：
3.如权利要求1所述的方法，其特征在于，在将预设的样本数据输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度之前，所述方法还包括：
4.如权利要求3所述的方法，其特征在于，对所述样本数据的数据质量进行评估，得到评估结果，具体包括：
5.如权利要求1所述的方法，其特征在于，在根据所述调整后精度，对所述目标模型进行精度调整，得到调整后目标模型之前，所述方法还包括：
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
7.一种任务执行的方法，其特征在于，包括：
8.一种基于数据质量的混合精度模型训练装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
...【技术特征摘要】
1.一种基于数据质量的混合精度模型训练方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，将预设的样本数据输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度，具体包括：
3.如权利要求1所述的方法，其特征在于，在将预设的样本数据输入到预设的精度调整模型中，得到针对所述目标模型中包含的每个网络层对应关联数据的调整后精度之前，所述方法还包括：
4.如权利要求3所述的方法，其特征在于，对所述样本数据的数据质量进行评估，得到评估结果，具体包括：
5.如权利要求1所述的方法，其特征在于，在根据所述调整后精...
【专利技术属性】
技术研发人员：崔钰，刘懿，程稳，戴雨洋，吕波，黄章敏，曾令仿，陈光，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。