一种对话回复方法及装置、语言模型训练方法及装置制造方法及图纸

本申请公开了一种对话回复方法及装置、语言模型训练方法及装置。其中，对话回复方法包括：获取目标角色标识和对话信息；根据目标角色标识，确定目标角色标识对应的独立参数集；根据独立参数集和预设参数集，确定目标参数集，预设参数集为预训练语言模型的初始参数集；将目标参数集作为预训练语言模型的参数，得到目标预训练语言模型；将对话信息输入至目标预训练语言模型，目标预训练语言模型输出目标应答信息。对于不同玩家选择不同虚拟角色进行对话时，可以在同一模型框架上，仅对与预训练语言模型对应的预设参数集进行拼接的独立参数集进行灵活切换，来实现灵活切换不同角色对应的语言模型，进而生成不同角色各自对应的应答信息。应答信息。应答信息。

【技术实现步骤摘要】
一种对话回复方法及装置、语言模型训练方法及装置


[0001]本申请涉及计算机
，具体涉及一种对话回复方法及装置、语言模型训练方法及装置。

技术介绍

[0002]在游戏领域，通过在游戏中设置开放式的闲聊机器人来和玩家进行对话，来增加游戏的趣味性以及玩家的好感度。其中，闲聊机器人包括各种不同的虚拟角色，玩家可以选择自己喜爱的虚拟角色来进行对话。如何实现闲聊机器人的对话回复符合虚拟角色的性格特征的问题已被广泛关注。
[0003]在现有技术中，通常为每个虚拟角色均单独设置一个对话应答模型。具体的，首先获取玩家所选择的对话答复角色，将对话答复角色对应的对话应答模型作为目标应答模型。接收到玩家发送的包含对话信息的对话请求时，将对话信息输入至目标应答模型。之后，目标应答模型根据对话信息生成应答信息并输出。
[0004]为响应多个玩家对于不同虚拟角色的对话请求，需要将多个对话应答模型来回切换。然而，由于各对话应答模型体量较大、切换不灵活，导致生成应答信息的效果较差。

技术实现思路

[0005]本申请提供一种对话回复方法及装置、一种语言模型训练方法及装置，以改善生成应答信息的效果。
[0006]第一方面，本申请实施例提供了一种对话回复方法，所述方法包括：
[0007]获取目标角色标识和对话信息；
[0008]根据所述目标角色标识，确定所述目标角色标识对应的独立参数集；
[0009]根据所述独立参数集和预设参数集，确定目标参数集，所述预设参数集为预训练语言模型的初始参数集；
[0010]将所述目标参数集作为预训练语言模型的参数，得到目标预训练语言模型；
[0011]将所述对话信息输入至所述目标预训练语言模型，所述目标预训练语言模型输出对所述对话信息进行回复的目标应答信息。
[0012]可选地，所述独立参数集和所述预设参数集均为矩阵；
[0013]所述根据所述独立参数集和预设参数集，确定目标参数集，包括：
[0014]对所述独立参数集和所述预设参数集进行拼接处理，获得目标参数集。
[0015]可选地，所述对所述独立参数集和所述预设参数集进行拼接处理，获得目标参数集，包括：
[0016]确定所述预设参数集的矩阵维度；
[0017]根据所述矩阵维度的方向，将所述独立参数集与所述预设参数集进行拼接，得到目标参数集。
[0018]可选地，所述根据所述矩阵维度的方向，将所述独立参数集与所述预设参数集进
行拼接，得到目标参数集，包括：
[0019]根据所述矩阵维度的行维度方向，将所述独立参数集与所述预设参数集进行行拼接，得到目标参数集；或者；
[0020]获取所述独立参数集的行数M，所述M为正整数；将所述预设参数集中倒数的后M行替换为所述独立参数集，得到目标参数集。
[0021]可选地，所述根据所述目标角色标识，确定所述目标角色标识对应的独立参数集，包括：
[0022]根据所述目标角色标识和预设对应关系，确定目标角色标识对应的独立参数集，所述预设对应关系用于指示虚拟角色、角色标识以及独立参数集之间的对应关系，所述独立参数集为能够表征虚拟角色的语言特点的参数集。
[0023]可选地，所述将所述对话信息输入至所述目标预训练语言模型，所述目标预训练语言模型输出对所述对话信息进行回复的目标应答信息，包括：
[0024]根据提示文本集对所述对话信息进行修改，得到目标对话信息，所述提示文本集为可以反映所述目标虚拟角色语言特点的文本信息；
[0025]将所述目标对话信息输入至所述目标预训练语言模型，所述目标预训练语言模型输出对所述目标对话信息进行回复的目标应答信息。
[0026]第二方面，本申请实施例提供一种语言模型训练方法，所述方法包括：
[0027]根据N个训练文本集，确定包含目标虚拟角色的对话语料的K个第一训练文本集，所述N个训练文本集包括多个虚拟角色相互对话的语料；其中，N和K为正整数，且K小于或等于N；
[0028]根据所述K个第一训练文本集和所述目标虚拟角色的提示文本集，确定K个第二训练文本集，所述提示文本集为可以反映所述目标虚拟角色语言特点的文本信息；
[0029]根据预训练语言模型的预设参数集和初始独立参数集，得到所述目标虚拟角色对应的待训练参数集，所述初始独立参数集用于表征所述目标虚拟角色的语言特点的待学习参数集；
[0030]将所述待训练参数集作为所述预训练语言模型的参数，得到待训练模型；
[0031]根据所述K个第二训练文本集对所述待训练模型进行训练，得到所述目标虚拟角色对应的语言模型，所述语言模型的参数集中包括用于表征所述目标虚拟角色的语言特点的独立参数集。
[0032]可选地，所述目标虚拟角色的类型包括第一类型和第二类型；所述第一类型对应的虚拟角色包括语料数量小于预设数量阈值的虚拟角色，所述第二类型对应的虚拟角色包括语料数量大于或等于所述预设数量阈值的虚拟角色；
[0033]所述根据N个训练文本集，确定包含目标虚拟角色的对话语料的K个第一训练文本集，包括：
[0034]当所述目标虚拟角色的类型为所述第一类型时，将所述N个训练文本集确定为所述目标虚拟角色对应的K个第一训练文本集，所述N等于K；或者，
[0035]当所述目标虚拟角色的类型为所述第二类型时，针对所述N个训练文本集中每个训练文本集，分别进行第一处理：在训练文本集中包括所述目标虚拟角色的对话语料的情况下，将所述训练文本集确定为所述目标虚拟角色对应的一个第一训练文本集；对所述N个
训练文本集均进行所述第一处理后，得到所述目标虚拟角色对应的K个第一训练文本集，所述N小于或等于K。
[0036]可选地，所述根据所述K个第一训练文本集和所述目标虚拟角色的提示文本集，确定K个第二训练文本集，包括：
[0037]获取所述目标虚拟角色的提示文本集；
[0038]针对所述K个第一训练文本集中每个第一训练文本集，分别依次进行第二处理：
[0039]在所述目标虚拟角色的类型为所述第一类型时，将所述提示文本集添加到所述第一训练文本集之前，得到第二训练文本集；或者，
[0040]在所述目标虚拟角色的类型为所述第二类型时，将所述提示文本集添加到所述第一训练文本集中出现的每个目标虚拟角色之后，得到第二训练文本集。
[0041]对所述K个第一训练文本集均进行所述第二处理后，得到所述目标虚拟角色对应的K个第二训练文本集。
[0042]可选地，所述初始独立参数集和所述预设参数集均为矩阵，
[0043]确定所述预设参数集的矩阵维度；
[0044]根据所述矩阵维度的方向，将所述初始独立参数集与所述预设参数集进行拼接，得到待训练参数集。
[0045]可选地，所述根据待训练语言模型的预设参数集和初始独立参数集，得到所述目标虚拟角色对应的待训练参数集，包括：
[0046]根据所述矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话回复方法，其特征在于，所述方法包括：获取目标角色标识和对话信息；根据所述目标角色标识，确定所述目标角色标识对应的独立参数集；根据所述独立参数集和预设参数集，确定目标参数集，所述预设参数集为预训练语言模型的初始参数集；将所述目标参数集作为预训练语言模型的参数，得到目标预训练语言模型；将所述对话信息输入至所述目标预训练语言模型，所述目标预训练语言模型输出对所述对话信息进行回复的目标应答信息。2.根据权利要求1所述的对话回复方法，其特征在于，所述独立参数集和所述预设参数集均为矩阵；所述根据所述独立参数集和预设参数集，确定目标参数集，包括：对所述独立参数集和所述预设参数集进行拼接处理，获得目标参数集。3.根据权利要求2所述的对话回复方法，其特征在于，所述对所述独立参数集和所述预设参数集进行拼接处理，获得目标参数集，包括：确定所述预设参数集的矩阵维度；根据所述矩阵维度的方向，将所述独立参数集与所述预设参数集进行拼接，得到目标参数集。4.根据权利要求3所述的对话回复方法，其特征在于，所述根据所述矩阵维度的方向，将所述独立参数集与所述预设参数集进行拼接，得到目标参数集，包括：根据所述矩阵维度的行维度方向，将所述独立参数集与所述预设参数集进行行拼接，得到目标参数集；或者；获取所述独立参数集的行数M，所述M为正整数；将所述预设参数集中倒数的后M行替换为所述独立参数集，得到目标参数集。5.根据权利要求1所述的对话回复方法，其特征在于，所述根据所述目标角色标识，确定所述目标角色标识对应的独立参数集，包括：根据所述目标角色标识和预设对应关系，确定目标角色标识对应的独立参数集，所述预设对应关系用于指示虚拟角色、角色标识以及独立参数集之间的对应关系，所述独立参数集为能够表征虚拟角色的语言特点的参数集。6.根据权利要求1所述的对话回复方法，其特征在于，所述将所述对话信息输入至所述目标预训练语言模型，所述目标预训练语言模型输出对所述对话信息进行回复的目标应答信息，包括：根据提示文本集对所述对话信息进行修改，得到目标对话信息，所述提示文本集为可以反映所述目标虚拟角色语言特点的文本信息；将所述目标对话信息输入至所述目标预训练语言模型，所述目标预训练语言模型输出对所述目标对话信息进行回复的目标应答信息。7.一种语言模型训练方法，其特征在于，所述方法包括：根据N个训练文本集，确定包含目标虚拟角色的对话语料的K个第一训练文本集，所述N个训练文本集包括多个虚拟角色相互对话的语料；其中，N和K为正整数，且K小于或等于N；根据所述K个第一训练文本集和所述目标虚拟角色的提示文本集，确定K个第二训练文
本集，所述提示文本集为可以反映所述目标虚拟角色语言特点的文本信息；根据预训练语言模型的预设参数集和初始独立参数集，得到所述目标虚拟角色对应的待训练参数集，所述初始独立参数集用于表征所述目标虚拟角色的语言特点的待学习参数集；将所述待训练参数集作为所述预训练语言模型的参数，得到待训练模型；根据所述K个第二训练文本集对所述待训练模型进行训练，得到所述目标虚拟角色对应的语言模型，所述语言模型的参数集中包括用于表征所述目标虚拟角色的语言特点的独立参数集。8.根据权利要求7所述的语言模型训练方法，其特征在于，所述目标虚拟角色的类型包括第一类型和第二类型；所述第一类型对应的虚拟角色包括语料数量小于预设数量阈值的虚拟角色，所述第二类型对应的虚拟角色包括语料数量大于或等于所述预设数量阈值的虚拟角色；所述根据N个训练文本集，确定包含目标虚拟角色的对话语料的K个第一训练文本集，包括：当所述目标虚拟角色的类型为所述第一类型时，将所述N个训练文本集确定为所述目标虚拟角色对应的K个第一训练文本集，所述N等于K；或者，当所述目标虚拟角色的类型为所述第二类型时，针对所述N个训练文本集中每个训练文本集，分别进行第一处理：在训练文本集中包括所述目标虚拟角色的对话语料的情况下，将所述训练文本集确定为所述目标虚拟角色对应的一个第一训练文本集；对所述N个训练文本集均进行所述第一处理后，得到所述目标虚拟角色对应的K个第一训练文本...

【专利技术属性】
技术研发人员：王丽，宋有伟，张林箭，张聪，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：