【技术实现步骤摘要】
本公开涉及计算机计算和数据加密，特别是涉及一种模型微调方法、装置、设备及存储介质。
技术介绍
1、随着人工智能技术的快速发展，大语言模型(large language model，llm)在多种应用场景中发挥着重要作用。随着大语言模型应用场景的不断扩展，基于基础大语言模型利用垂类场景的业务数据进行模型微调，从而将微调后的模型应用于垂类场景，解决垂类场景的业务问题，成为业务首选的解决方案。
2、应用场景的业务数据转化为微调数据后进一步训练大语言模型成为提升业务效果的关键步骤，而应用场景的业务数据一般都包含部分商业机密，不愿意公开或者提供给第三方。所以微调数据的隐私保护成为一个关键问题，特别是在医疗、社交、军事等场景中，微调数据隐私保护成为大语言模型继续发展的挑战。
3、目前，很多企业有llm技术能力，但是没有业务数据；而很多企业有业务数据，比如医院等，但没有llm技术，无法利用llm挖掘业务数据的价值；两者是矛盾的。而很多业务数据是有隐私要求的，不可能轻易提供给外部企业。所以，有技术的公司和有数据的公司合作，也会有很多限制，无法基于llm对数据进行有效的利用。而在使用原始开源模型时，业务效果和、垂类场景无法完全匹配，影响用户体验。
4、因此，需要一种能够解决微调数据隐私问题的模型微调方案。
技术实现思路
1、本公开要解决的一个技术问题是，如何解决微调数据隐私问题。
2、根据本公开的第一个方面，提供了一种模型微调方法，包括：获取至少一条密
3、可选地，所述密码本包括第一密码本，所述第一密码本用于表征语言模型的词元列表中的各个词元与第一密文之间的对应关系，所述第一密文输入由所述第一明文输入中的各个词元所对应的第一密文组成，所述第一密文输出由所述第一明文输出中的各个词元所对应的第一密文组成；或者所述密码本包括第二密码本，所述第二密码本用于表征语言模型的词元编码列表中的各个词元编码与第二密文之间的对应关系，所述第一密文输入由所述第一明文输入中的各个词元的词元编码所对应的第二密文组成，所述第一密文输出由所述第一明文输出中的各个词元的词元编码所对应的第二密文组成。
4、可选地，对于所述词元列表中的任意一个词元，与该词元对应的第一密文为所述词元列表中不同于该词元的词元。
5、可选地，所述第一密码本是通过人为定义的方式得到的；或者所述第一密码本是通过迭代执行如下流程得到的：遍历所述词元列表，针对当前遍历到的词元，随机挑选所述词元列表中未被挑选过且不同于该词元的词元，作为与该词元对应的第一密文。
6、可选地，对于所述词元列表中的任意一个词元，与该词元对应的第一密文为利用哈希算法对该词元进行哈希处理得到的哈希值，或者与该词元对应的第一密文为利用加密算法对该词元进行加密处理得到的加密结果。
7、可选地，对于所述词元编码列表中的任意一个词元编码，与该词元编码对应的第二密文为所有词元编码中不同于该词元编码的词元编码。
8、可选地，所述第二密码本是通过人为定义的方式得到的；或者所述第二密码本是通过迭代执行如下流程得到的：遍历所述词元编码列表，针对当前遍历到的词元编码，随机挑选所述词元编码列表中未被挑选过且不同于该词元编码的词元编码，作为与该词元编码对应的第二密文。
9、可选地，对于所述词元编码列表中的任意一个词元编码，与该词元编码对应的第二密文是利用哈希算法对该词元编码进行哈希处理得到的哈希值，或者与该词元编码对应的第二密文是利用加密算法对该词元编码进行加密处理得到的加密结果。
10、可选地，该方法还包括：获取第二密文输入，所述第二密文输入为所述数据方利用所述第一密码本或所述第二密码本对第二明文输入进行替换得到的密文数据；所述第二密文输入由所述第二明文输入中的各个词元所对应的第一密文组成，或者所述第二密文输入由所述第二明文输入中各个词元的词元编码所对应的第二密文组成；利用微调后的语言模型对所述第二密文输入进行处理，得到与所述第二密文输入对应的第二密文输出；将所述第二密文输出发送给所述数据方。
11、根据本公开的第二个方面，提供了一种模型微调方法，包括：针对语言模型构造密码本；利用所述密码本将至少一条明文微调数据替换为对应的密文微调数据；每条所述明文微调数据包括第一明文输入和第一明文输出，每条所述密文微调数据包括利用所述密码本对所述第一明文输入进行替换后得到的第一密文输入和利用所述密码本对所述第一明文输出进行替换后的第一密文输出；将所述密文微调数据发送给模型方，以由所述模型方基于所述密文微调数据微调所述语言模型。
12、可选地，所述密码本包括第一密码本，所述第一密码本用于表征所述语言模型的词元列表中的各个词元与第一密文之间的对应关系，所述第一密文输入由所述第一明文输入中的各个词元所对应的第一密文组成，所述第一密文输出由所述第一明文输出中的各个词元所对应的第一密文组成；或者，所述密码本包括第二密码本，所述第二密码本用于表征所述语言模型的词元编码列表中的各个词元编码与第二密文之间的对应关系，所述第一密文输入由所述第一明文输入中的各个词元的词元编码所对应的第二密文组成，所述第一密文输出由所述第一明文输出中的各个词元的词元编码所对应的第二密文组成。
13、可选地，对于所述词元列表中的任意一个词元，与该词元对应的第一密文为所述词元列表中不同于该词元的词元。
14、可选地，针对语言模型构造密码本的步骤包括：通过人为定义的方式得到所述第一密码本；或者通过迭代执行如下流程得到所述第一密码本：遍历所述词元列表，针对当前遍历到的词元，随机挑选所述词元列表中未被挑选过且不同于该词元的词元，作为与该词元对应的第一密文。
15、可选地，针对语言模型构造密码本的步骤包括：针对所述词元列表中的任意一个词元，将利用哈希算法对该词元进行哈希处理得到的哈希值作为与该词元对应的第一密文，或者将利用加密算法对该词元进行加密处理得到的加密结果作为与该词元对应的第一密文。
16、可选地，对于所述词元编码列表中的任意一个词元编码，与该词元编码对应的第二密文为所有词元编码中不同于该词元编码的词元编码。
17、可选地，针对语言模型构造密码本的步骤包括：通过人为定义的方式得到所述第二密码本；或者通过迭代执行如下流程得到所述第二密码本：遍历所述词元编码列表，针对当前遍历到的词元编码，随机挑选所述词元编码列表中未被挑选过且不同于该词元编码的本文档来自技高网...
【技术保护点】
1.一种模型微调方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.一种模型微调方法，其特征在于，包括：
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，还包括：
6.一种模型微调装置，其特征在于，包括：
7.一种模型微调装置，其特征在于，包括：
8.一种计算设备，包括：
9.一种计算机程序产品，包括可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至5中任何一项所述的方法。
10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至5中任何一项所述的方法。
【技术特征摘要】
1.一种模型微调方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，
3.一种模型微调方法，其特征在于，包括：
4.根据权利要求3所述的方法，其特征在于，
5.根据权利要求4所述的方法，其特征在于，还包括：
6.一种模型微调装置，其特征在于，包括：
7.一种模型微调装置，其特征在...
【专利技术属性】
技术研发人员：黄春刚，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。