风格语句的生成方法、模型的训练方法、装置及设备制造方法及图纸

本发明专利技术公开了一种风格语句的生成方法、模型的训练方法、装置及设备，属于自然语言处理领域。所述方法包括：获取待转换的自然语句；将所述自然语句输入第一编码模型对所述自然语句中的风格信息进行过滤，生成所述自然语句对应的目标内容向量；根据设置的目标语言风格，从至少一种风格向量中确定与所述目标语言风格相对应的目标风格向量，将所述目标内容向量和所述目标风格向量输入第一解码模型，生成与所述自然语句对应的风格语句；保证了每种自然语句都能转换成具有目标语言风格的风格语句，提高了智能对话系统的智能化程度。

Generating method of style statement, training method, device and equipment of model

The invention discloses a method for generating style statements, a training method for a model, a device and a device, and belongs to the field of Natural Language Processing. The method includes: obtaining the natural statement to be converted, filtering the natural statement into the style information in the natural statement, generating the target content vector corresponding to the natural statement, and determining the target language from at least one style vector according to the set target language style. The target style vector corresponds to the target style, which inputs the target content vector and the target style vector into the first decode model, and generates a style statement corresponding to the natural statement. It ensures that each natural statement can be converted into a style statement with the style of the target language and improves the intelligentization of the intelligent dialogue system. Degree.

【技术实现步骤摘要】
风格语句的生成方法、模型的训练方法、装置及设备
本申请实施例涉及自然语言处理领域，特别涉及一种风格语句的生成方法、模型的训练方法、装置及设备。
技术介绍
智能对话系统用于根据用户输入的聊天内容自动生成对应的对话语句，从而实现人与机器之间的对话。目前，智能对话系统提供有不同的语言风格供用户选择，智能对话系统根据用户选择的语言风格，可以生成具有该语言风格的风格语句。其中，语言风格用于指示表达具有某一含义的自然语句的特定表达方式，比如：语言风格为清新淡雅、明快浅显、辞藻华丽、委婉含蓄、多用口语等。在一种生成对话语句的方法中，智能对话系统预设有平行语料库，该平行预料库中包括多组句子对，每组句子对中的不同句子是具有相同含义、且具有不同语言风格的自然语句。比如：平行语料库中的一组句子对为：我已经看过了、已审核，这些句子表达含义均为已读，且这些句子的语言风格不同。当智能对话系统需要生成具有某一语言风格的风格语句时，从平行语料库中查找具有该语言风格的自然语句，通过编码函数对该语言风格的自然语句进行编码得到语句向量，通过解码函数对该语句向量进行解码，生成具有该语言风格的风格语句。比如：智能对话系统需要生成具有多用口语的语言风格的风格语句，从平行语料库中查找具有该语言风格的自然语句为“我已经看过了”，相应地，生成的风格语句为“我已经看过了”。平行语料库可能不能穷尽某一自然语句的所有语言风格，比如：对于具有已读含义的自然语句，平行语料库可能不存在具有含蓄委婉的语言风格的自然语句，如：已阅，在平行语料库中不存在具有用户选择的语言风格的自然语句时，智能对话系统只能选择其它语言风格的自然语句，或者，选择具有该语言风格的其它自然语句，从而导致智能对话系统生成的风格语句不符合用户期望，智能化效果较差的问题。
技术实现思路
为了解决平行语料库可能不存在具有用户选择的语言风格的自然语句，导致智能对话系统无法生成具有该语言风格的风格语句的问题，本专利技术实施例提供了一种风格语句的生成方法、装置及计算机设备。所述技术方案如下：第一方面，提供了一种风格语句的生成方法，所述方法包括：获取待转换的自然语句；将所述自然语句输入第一编码模型对所述自然语句中的风格信息进行过滤，生成所述自然语句对应的目标内容向量，所述目标内容向量用于指示所述自然语句的含义，所述风格信息用于指示所述自然语句的语言风格；根据设置的目标语言风格，从至少一种风格向量中确定与所述目标语言风格相对应的目标风格向量，其中，所述至少一种风格向量中的每种风格向量对应一种语言风格；将所述目标内容向量和所述目标风格向量输入第一解码模型，生成与所述自然语句对应的风格语句。第二方面，提供了一种模型的训练方法，其特征在于，所述模型包括第一编码模型和第一解码模型，所述方法包括：将语料库中的至少两种自然训练语句输入训练模型，通过所述训练模型对第二编码模型的分类能力进行训练得到所述第一编码模型，每种所述自然训练语句对应一种语言风格，所述分类能力是指将输入的所述自然训练语句分类为对应的内容向量和风格向量的能力；在训练得到所述第一编码模型时，获取所述第一编码模型输出的至少一种风格向量，每种所述风格向量是所述第一编码模型根据对应语言风格的所述自然训练语句进行分类得到的；在所述至少两种自然训练语句输入所述训练模型时，通过所述训练模型对第二解码模型的还原能力进行训练得到所述第一解码模型，所述还原能力是指根据所述内容向量和所述风格向量还原出所述自然训练语句的能力；其中，所述内容向量用于指示所述自然训练语句的含义，所述风格向量用于指示所述自然训练语句的语言风格。第三方面，提供了一种风格语句的生成装置，所述装置包括：获取模块，用于获取待转换的自然语句；第一生成模块，用于将所述自然语句输入第一编码模型对所述自然语句中的风格信息进行过滤，生成所述自然语句对应的目标内容向量，所述目标内容向量用于指示所述自然语句的含义，所述风格信息用于指示所述自然语句的语言风格；确定模块，用于根据设置的目标语言风格，从至少一种风格向量中确定与所述目标语言风格相对应的目标风格向量，其中，所述至少一种风格向量中的每种风格向量对应一种语言风格；第二生成模块，用于将所述目标内容向量和所述目标风格向量输入第一解码模型，生成与所述自然语句对应的风格语句。第四方面，提供了一种模型的训练装置，所述模型包括第一编码模型和第一解码模型，所述装置包括：训练模块，用于将语料库中的至少两种自然训练语句输入训练模型，通过所述训练模型对第二编码模型的分类能力进行训练得到所述第一编码模型，每种所述自然训练语句对应一种语言风格，所述分类能力是指将输入的所述自然训练语句分类为对应的内容向量和风格向量的能力；获取模块，用于在训练得到所述第一编码模型时，获取所述第一编码模型输出的至少一种风格向量，每种所述风格向量是所述第一编码模型根据对应语言风格的所述自然训练语句进行分类得到的；所述训练模块，还用于在所述至少两种自然训练语句输入所述训练模型时，通过所述训练模型对第二解码模型的还原能力进行训练得到所述第一解码模型，所述还原能力是指根据所述内容向量和所述风格向量还原出所述自然训练语句的能力；其中，所述内容向量用于指示所述自然训练语句的含义，所述风格向量用于指示所述自然训练语句的语言风格。第五方面，提供了一种智能对话系统，其特征在于，所述智能对话系统包括第一编码模型和第一解码模型；所述第一编码模型，用于对输入的自然语句的风格信息进行过滤，得到所述自然语句对应的目标内容向量；所述目标内容向量用于指示所述自然语句的含义，所述风格信息用于指示所述自然语句的语言风格；所述第一解码模型，用于对输入的目标风格向量和所述目标内容向量进行融合，得到所述自然语句对应的风格语句；所述目标风格向量是所述智能对话系统的至少一种风格向量中，与设置的目标语言风格对应的风格向量，所述至少一种风格向量中的每种风格向量对应一种语言风格。第六方面，提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的风格语句的生成方法，或者，第二方面所述的模型的训练方法。第七方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的风格语句的生成方法，或者，第二方面所述的模型的训练方法。本专利技术实施例提供的技术方案带来的有益效果至少包括：通过第一编码模型对自然语句进行分类，得到具有尽可能少的风格信息的内容向量；再通过第一解码模型将该内容向量与训练过程中得到的目标风格向量进行编码得到风格语句，解决了只能从平行语料中查找具有目标语言风格的自然语句，导致智能对话系统可能无法生成符合用户期望的具有目标语言风格的风格语句的问题；由于智能对话系统中存储有每种语言风格对应的风格向量，第一解码模型能够从存储的风格向量中确定出目标语言风格对应的目标风格向量，并根据该目标风格向量与内容向量生成风格语句，因此，保证了每种自然语句都能转换成具有目标语言风格的风格语句，本文档来自技高网...

【技术保护点】
1.一种风格语句的生成方法，其特征在于，所述方法包括：获取待转换的自然语句；将所述自然语句输入第一编码模型对所述自然语句中的风格信息进行过滤，生成所述自然语句对应的目标内容向量，所述目标内容向量用于指示所述自然语句的含义，所述风格信息用于指示所述自然语句的语言风格；根据设置的目标语言风格，从至少一种风格向量中确定与所述目标语言风格相对应的目标风格向量，其中，所述至少一种风格向量中的每种风格向量对应一种语言风格；将所述目标内容向量和所述目标风格向量输入第一解码模型，生成与所述自然语句对应的风格语句。

【技术特征摘要】
1.一种风格语句的生成方法，其特征在于，所述方法包括：获取待转换的自然语句；将所述自然语句输入第一编码模型对所述自然语句中的风格信息进行过滤，生成所述自然语句对应的目标内容向量，所述目标内容向量用于指示所述自然语句的含义，所述风格信息用于指示所述自然语句的语言风格；根据设置的目标语言风格，从至少一种风格向量中确定与所述目标语言风格相对应的目标风格向量，其中，所述至少一种风格向量中的每种风格向量对应一种语言风格；将所述目标内容向量和所述目标风格向量输入第一解码模型，生成与所述自然语句对应的风格语句。2.根据权利要求1所述的方法，其特征在于，所述至少一种风格向量是在训练得到所述第一编码模型时，由所述第一编码模型对输入的具有语言风格的自然训练语句进行分类得到的，每种具有语言风格的自然训练语句对应所述至少一种风格向量中的一种风格向量；所述根据设置的目标语言风格，从至少一种风格向量中确定与所述目标语言风格相对应的目标风格向量，包括：当设置的所述目标语言风格是至少两种语言风格的组合时，从所述至少一种风格向量中选择每种语言风格对应的风格向量，得到至少两种风格向量；将所述至少两种风格向量进行融合得到所述目标风格向量。3.根据权利要求2所述的方法，其特征在于，所述将所述至少两种风格向量进行融合得到所述目标风格向量，包括：确定所述至少两种风格向量的平均值，将所述平均值确定为所述目标风格向量。4.根据权利要求1至3任一所述的方法，其特征在于，所述第一编码模型是通过训练模型对第二编码模型进行训练得到的；所述训练模型用于训练所述第二编码模型的分类能力得到所述第一编码模型；所述第一解码模型是通过所述训练模型对第二解码模型进行训练得到的；所述训练模型还用于训练所述第二解码模型的还原能力得到所述第一解码模型；其中，所述分类能力是指将输入的自然语句分类为对应的内容向量和风格向量的能力；所述还原能力是指根据所述内容向量和所述风格向量还原出所述自然语句的能力。5.一种模型的训练方法，其特征在于，所述模型包括第一编码模型和第一解码模型，所述方法包括：将语料库中的至少两种自然训练语句输入训练模型，通过所述训练模型对第二编码模型的分类能力进行训练得到所述第一编码模型，每种所述自然训练语句对应一种语言风格，所述分类能力是指将输入的所述自然训练语句分类为对应的内容向量和风格向量的能力；在训练得到所述第一编码模型时，获取所述第一编码模型输出的至少一种风格向量，每种所述风格向量是所述第一编码模型根据对应语言风格的所述自然训练语句进行分类得到的；在所述至少两种自然训练语句输入所述训练模型时，通过所述训练模型对第二解码模型的还原能力进行训练得到所述第一解码模型，所述还原能力是指根据所述内容向量和所述风格向量还原出所述自然训练语句的能力；其中，所述内容向量用于指示所述自然训练语句的含义，所述风格向量用于指示所述自然训练语句的语言风格。6.根据权利要求5所述的方法，其特征在于，所述训练模型包括第一子模型和第二子模型，所述第一子模型是根据预设的监督模型建立的，所述第一子模型用于根据所述监督模型的监督能力输出不同的内容向量之间的相似度，所述监督能力是指判断接收到的内容向量对应的语言风格的能力；所述第二子模型是根据所述第二编码模型和所述第二解码模型建立的，所述第二子模型用于根据所述第二解码模型和所述第二编码函数输出所述自然语句被还原的概率。7.根据权利要求6所述的方法，其特征在于，所述通过训练模型对第二编码模型进行训练得到所述第一编码模型；通过所述训练模型对第二解码模型进行训练得到所述第一解码模型，包括：将m组第一自然训练语句和第二自然训练语句输入所述第一子模型对所述监督模型的所述监督能力进行训练；每组所述第一自然训练语句和所述第二自然训练语句是具有不同语言风格、且具有相同含义的自然训练语句，所述m为正整数；在训练次数达到预设次数时停止训练，得到训练后的监督模型；通过所述训练后的监督模型更新所述训练模型中的所述第一子模型；将n组第三自然训练语句和第四自然训练语句输入所述训练模型对所述第二编码模型和所述第二解码模型进行训练，得到模型训练结果，每组所述第三自然训练语句和所述第四自然训练语句是具有不同语言风格、且具有相同含义的自然训练语句；所述模型训练结果包括更新后的第一子模型输出的第一结果和所述第二子模型输出的第二结果，所述n为正整数；在根据所述模型训练结果确定出函数模型收敛时停止训练，得到所述第一编码模型和所述第一解码模型，所述函数模型包括训练后的第二编码模型和训练后的第二解码模型。8.根据权利要求7所...

【专利技术属性】
技术研发人员：刘晓江，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东,44