【技术实现步骤摘要】
本申请涉及大模型技术和数据查询，具体而言，涉及一种数据处理方法、电子设备和计算机程序产品。
技术介绍
1、目前，大语言模型(large language models，简称llms)的快速进步为自然语言处理相关的各种方案提供了更好的文本生成能力、语言理解能力和语言交互能力。为了进一步提升模型性能，大语言模型的训练数据规模被大幅度扩展，训练数据中的敏感数据(比如版权书籍、用户私人信息、联系方式等)可能会在大语言模型的生成内容中暴露。为了确保llms的生成内容不会泄露敏感数据，相关
中提出机器遗忘(machine unlearning，简称mu)技术，从llms的训练数据中移除敏感数据从而完成训练。
2、相关技术中的mu技术通常通过对llms进行参数微调或者通过在预先设计的数据集上进行梯度上升，由此调整llms的记忆以减少敏感数据暴露的风险，但是，上述mu技术会为llms的训练带来较高的计算成本，削弱llms的整体性能。由于训练数据中的敏感数据以及遗忘技术的需求环境会在实际应用场景中会动态变化，这会进一步提升现有mu技术中参数更新的难度，进一步增加计算成本。此外，根据现有的mu技术，在llms的训练过程中访问模型参数将会限制训练得到的llms在更广泛的场景中的应用。
3、由上可知，如何提升大语言模型训练中的遗忘性能以降低敏感数据泄露风险、降低模型训练成本称为相关
中的重要技术问题之一。
4、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路<...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
3.根据权利要求2所述的数据处理方法，其特征在于，依据所述查询数据对所述目标数据集进行数据检索，得到所述查询数据关联的主题与实体包括：
4.根据权利要求1所述的数据处理方法，其特征在于，将所述查询数据与所述检索数据输入至所述语言模型，生成所述初始回复数据包括：
5.根据权利要求1所述的数据处理方法，其特征在于，将所述查询数据、所述检索数据以及所述初始回复数据输入至所述语言模型，获取所述查询数据对应的所述目标回复数据包括：
6.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
7.根据权利要求6所述的数据处理方法，其特征在于，基于所述分布内数据与所述合成数据生成所述目标数据集包括：
8.根据权利要求7所述的数据处理方法，其特征在于，基于所述分布内数据与所述合成数据生成所述目标数据集还包括：
9.一种数据处理方法，其特征在于，包括：
10.
11.一种数据处理方法，其特征在于，包括：
12.一种数据处理方法，其特征在于，包括：
13.一种电子设备，其特征在于，包括：
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的数据处理方法。
15.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1至12中任意一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
3.根据权利要求2所述的数据处理方法，其特征在于，依据所述查询数据对所述目标数据集进行数据检索，得到所述查询数据关联的主题与实体包括：
4.根据权利要求1所述的数据处理方法，其特征在于，将所述查询数据与所述检索数据输入至所述语言模型，生成所述初始回复数据包括：
5.根据权利要求1所述的数据处理方法，其特征在于，将所述查询数据、所述检索数据以及所述初始回复数据输入至所述语言模型，获取所述查询数据对应的所述目标回复数据包括：
6.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
7.根据权利要求6所述的数据处理方法，其特征在于，基于所述分布内数据与所述合成数据生成所述目标数据集包...
【专利技术属性】
技术研发人员：李赵东晖，汪会明，苏德文，丛高，邴立东，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。