System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及人工智能,尤其涉及一种模型训练证明的生成方法、模型验证方法及装置。
技术介绍
1、随着大语言模型的规模不断发展,模型使用者往往需要通过远程服务方提供的算力以完成模型的训练。由于模型训练过程重现难度较大,在这种情况下用户无法确认训练方是否使用指定的数据集进行规范训练,在模型出现问题后难以进行仲裁。
技术实现思路
1、有鉴于此,本公开提供了一种模型训练证明的生成方法、模型验证方法及装置。
2、本公开的一个方面提供了一种模型训练证明的生成方法,包括:接收证明获取请求,证明获取请求包括指定的目标数据集;根据证明获取请求获取目标数据集,目标数据集用于对目标模型进行训练;基于目标数据集对目标模型进行训练,根据目标模型的权重信息和间隔参数生成证明集合,证明集合包括至少两个训练证明;发送证明集合。
3、根据本公开的实施例,证明获取请求包括模型参数,根据目标模型的权重信息和间隔参数生成证明集合包括:根据模型参数和间隔参数确定训练证明的数量;根据训练证明的数量、目标模型的权重信息和权重信息计算过程中的调整操作生成训练证明;根据训练证明确定证明集合。
4、根据本公开的实施例,权重信息计算过程中的调整操作包括:针对通过权重信息计算过程得到的第一精度类型的计算结果,将计算结果向指定舍入方向进行舍入,得到第二精度类型的舍入结果;其中,第一精度类型的精度高于第二精度类型。
5、根据本公开的实施例,计算结果包括目标模型的输出结果,权重信息计算过程中的调整操
6、根据本公开的实施例,计算结果包括与权重信息对应的梯度值,权重信息计算过程中的调整操作包括:将第一精度类型的梯度值向指定舍入方向进行舍入,得到第二精度类型的舍入结果,舍入结果用于对权重信息进行更新。
7、根据本公开的实施例,调整操作通过以下方法确定:确定与计算结果最接近的舍入参考值;在计算结果与舍入参考值的距离小于等于预设阈值的情况下,通过调整操作确定舍入结果;在计算结果与舍入参考值的距离大于预设阈值的情况下,根据与计算结果距离更近的有效值,确定舍入结果。
8、根据本公开的实施例,调整操作的指定舍入方向通过以下方式确定:根据预设种子信息和目标模型的迭代次数确定参考序列;根据调整操作的次数和参考序列的长度,从参考序列中确定调整操作的参考值;根据参考值确定调整操作的指定舍入方向。
9、根据本公开的实施例,生成训练证明包括:根据调整操作的次数进行奇偶校验,确定第一证明值;根据权重信息和调整操作的次数计算哈希值,得到第二证明值;根据第一证明值和第二证明值确定训练证明。
10、根据本公开的实施例,还包括获取训练完成时目标模型的目标权重信息;发送目标模型的目标权重信息。
11、本公开的另一方面还提供了一种模型验证方法,包括:发送模型验证请求和证明集合,证明集合包括至少两个训练证明,训练证明基于间隔参数和目标模型的权重信息确定; 接收验证结果;以及根据验证结果确定目标模型是否基于目标数据集训练得到的。
12、本公开的另一方面还提供了一种模型训练证明的生成装置,包括:第一接收模块,用于接收证明获取请求,证明获取请求包括指定的目标数据集;获取模块,用于根据证明获取请求获取目标数据集,目标数据集用于对目标模型进行训练;生成模块,用于基于目标数据集对目标模型进行训练,根据目标模型的权重信息和间隔参数生成证明集合,证明集合包括至少两个训练证明;第一发送模块,用于发送证明集合。
13、本公开的另一方面还提供了一种模型验证装置,包括:第二发送模块,用于发送模型验证请求和证明集合,证明集合包括至少两个训练证明,训练证明基于间隔参数和目标模型的权重信息确定; 第二接收模块,用于接收验证结果;以及确定模块,用于根据验证结果确定目标模型是否基于目标数据集训练得到的。
14、本公开的另一方面提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器执行上述方法。
15、本公开的另一方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。
16、本公开的另一方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。
17、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种模型训练证明的生成方法,包括:
2.根据权利要求1所述的方法,所述证明获取请求包括模型参数,所述根据所述目标模型的权重信息和间隔参数生成证明集合包括:
3.根据权利要求2所述的方法,所述权重信息计算过程中的调整操作包括:
4.根据权利要求3所述的方法,所述计算结果包括所述目标模型的输出结果,所述权重信息计算过程中的调整操作包括:
5.根据权利要求3所述的方法,所述计算结果包括与所述权重信息对应的梯度值,所述权重信息计算过程中的调整操作包括:
6.根据权利要求3所述的方法,所述调整操作通过以下方法确定:
7.根据权利要求3所述的方法,所述调整操作的指定舍入方向通过以下方式确定:
8.根据权利要求2所述的方法,所述生成所述训练证明包括:
9.根据权利要求1所述的方法,还包括;
10.一种模型训练证明的生成装置,包括
【技术特征摘要】
1.一种模型训练证明的生成方法,包括:
2.根据权利要求1所述的方法,所述证明获取请求包括模型参数,所述根据所述目标模型的权重信息和间隔参数生成证明集合包括:
3.根据权利要求2所述的方法,所述权重信息计算过程中的调整操作包括:
4.根据权利要求3所述的方法,所述计算结果包括所述目标模型的输出结果,所述权重信息计算过程中的调整操作包括:
5.根据权利要求3所述的方法,...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。