文本答案的推理方法、装置及存储介质制造方法及图纸

本申请提供一种文本答案的推理方法、装置及存储介质，所述方法包括：输入第一文本到语言模型，获取所述语言模型输出的多个候选答案；所述第一文本为待识别的文本；以每一候选答案作为条件确定每一候选答案对应的验证分数；所述验证分数表示候选答案的置信度；输出最高验证分数对应的候选答案作为所述第一文本的推理答案。本申请提供的文本答案的推理方法、装置及存储介质，将语言模型生成的答案替换原始条件后，再次输入到语言模型中，从而验证答案。通过这种自我验证的方法，提高了语言模型输出结果的鲁棒性和准确性。模型输出结果的鲁棒性和准确性。模型输出结果的鲁棒性和准确性。

【技术实现步骤摘要】
文本答案的推理方法、装置及存储介质


[0001]本申请涉及人工智能领域，尤其涉及一种文本答案的推理方法、装置及存储介质。

技术介绍

[0002]最近，随着思维链(Chain
‑
of
‑
thoughts，CoT)的推动，大型语言模型(Large language mode，LLM)，例如生成预训练转换器
‑
3(Generative Pre
‑
trained Transformer 3，GPT
‑
3)，在算术、常识和逻辑推理等自然语言处理任务中显示出强大的推理能力。简单来说，CoT可以让LLM模拟人类思考的过程，帮助大型语言模型生成一个推理路径，将复杂的推理问题分解为多个简单的步骤，而不仅仅只是一个最终答案，从而增强模型的推理能力。
[0003]虽然CoT可以使大型模型解决复杂的推理任务，但它对单个错误高度敏感，并且容易受到错误累积的影响。CoT中需要多步骤提示和多令牌预测，这在使用自回归机制处理复杂推理任务时可能缺乏鲁棒性。如果出现一个微小的错误，它会改变整个语句的含义偏差，导致错误答案。这在使用CoT解决多步骤精确推理时尤其有问题。

技术实现思路

[0004]本申请实施例提供一种文本答案的推理方法、装置及存储介质，用以解决相关技术在推理文本答案时鲁棒性低的技术问题。
[0005]第一方面，本专利技术提供一种文本答案的推理方法，包括：
[0006]输入第一文本到语言模型，获取所述语言模型输出的多个候选答案；所述第一文本为待识别的文本；
[0007]以每一候选答案作为条件确定每一候选答案对应的验证分数；所述验证分数表示候选答案的置信度；
[0008]输出最高验证分数对应的候选答案作为所述第一文本的推理答案。
[0009]在一些实施例中，所述以每一候选答案作为条件确定每一候选答案对应的验证分数，包括：
[0010]以目标候选答案作为条件替换第一文本包括的第一条件集合中的一个目标条件，确定至少一个第二条件集合；所述目标候选答案为候选答案中的其中一个答案；
[0011]基于每一第二条件集合，生成一个第二文本；所述第二文本包括的问题为所述目标条件对应的问题；
[0012]输入一个第二文本到所述语言模型，获取所述语言模型输出的一个第二答案；
[0013]基于所述第二答案确定所述目标候选答案对应的验证分数。
[0014]在一些实施例中，所述基于所述第二答案确定所述目标候选答案对应的验证分数，包括：
[0015]判断每一第二答案是否与对应的目标条件相同；
[0016]在第二答案与对应的目标条件相同的情况下，所述目标候选答案对应的验证分数加一个单位；在第二答案与对应的目标条件不同的情况下，所述目标候选答案对应的验证
分数不变。
[0017]在一些实施例中，重复判断P次每一第二答案是否与对应的目标条件相同，P为大于1的正整数。
[0018]在一些实施例中，所述基于每一第二条件集合，生成一个第二文本，包括：
[0019]基于正则匹配确定所述目标条件；
[0020]以所述目标条件对应的问题作为所述第二文本的问题；
[0021]基于每一第二条件集合和所述目标条件对应的问题，生成一个第二文本。
[0022]在一些实施例中，所述语言模型输出的多个候选答案为基于思维链CoT的提示，由所述语言模型生成的。
[0023]在一些实施例中，所述语言模型通过大规模中英文通用语料数据集训练得到，并通过以下一种或多种数据集作为输入得到结果：
[0024]GSM8K；
[0025]SingleEq；
[0026]AddSub；
[0027]MultiArith；
[0028]AQUA
‑
RAT；
[0029]SVAMP；
[0030]CSQA；
[0031]DU。
[0032]第二方面，本专利技术提供一种文本答案的推理装置，包括：
[0033]获取模块，用于输入第一文本到语言模型，获取所述语言模型输出的多个候选答案；所述第一文本为待识别的文本；
[0034]确定模块，用于以每一候选答案作为条件确定每一候选答案对应的验证分数；所述验证分数表示候选答案的置信度；
[0035]输出模块，用于输出最高验证分数对应的候选答案作为所述第一文本的推理答案。
[0036]在一些实施例中，所述确定模块包括第一确定子模块、第一生成子模块、第一获取子模块和第二确定子模块，其中：
[0037]所述第一确定子模块用于以目标候选答案作为条件替换第一文本包括的第一条件集合中的一个目标条件，确定至少一个第二条件集合；所述目标候选答案为候选答案中的其中一个答案；
[0038]所述第一生成子模块用于基于每一第二条件集合，生成一个第二文本；所述第二文本包括的问题为所述目标条件对应的问题；
[0039]所述第一获取子模块用于输入一个第二文本到所述语言模型，获取所述语言模型输出的一个第二答案；
[0040]所述第二确定子模块用于基于所述第二答案确定所述目标候选答案对应的验证分数。
[0041]在一些实施例中，所述第二确定子模块包括第一判断单元和第一处理单元，其中：
[0042]所述第一判断单元用于判断每一第二答案是否与对应的目标条件相同；
[0043]所述第一处理单元用于在第二答案与对应的目标条件相同的情况下，所述目标候选答案对应的验证分数加一个单位；在第二答案与对应的目标条件不同的情况下，所述目标候选答案对应的验证分数不变。
[0044]在一些实施例中，所述第一判断单元具体用于重复判断P次每一第二答案是否与对应的目标条件相同，P为大于1的正整数。
[0045]在一些实施例中，所述第一生成子模块包括第一确定单元、第二处理单元和第一生成单元：
[0046]所述第一确定单元用于基于正则匹配确定所述目标条件；
[0047]所述第二处理单元用于以所述目标条件对应的问题作为所述第二文本的问题；
[0048]所述第一生成单元用于基于每一第二条件集合和所述目标条件对应的问题，生成一个第二文本。
[0049]在一些实施例中，所述语言模型输出的多个候选答案为基于思维链CoT的提示，由所述语言模型生成的。
[0050]在一些实施例中，所述语言模型通过以下一种或多种数据集作为输入得到结果：
[0051]GSM8K；
[0052]SingleEq；
[0053]AddSub；
[0054]MultiArith；
[0055]AQUA
‑
RAT；
[0056]SVAMP；
[0057]CSQA；
[0058]DU。
[0059]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本答案的推理方法，其特征在于，包括：输入第一文本到语言模型，获取所述语言模型输出的多个候选答案；所述第一文本为待识别的文本；以每一候选答案作为条件确定每一候选答案对应的验证分数；所述验证分数表示候选答案的置信度；输出最高验证分数对应的候选答案作为所述第一文本的推理答案。2.根据权利要求1所述的文本答案的推理方法，其特征在于，所述以每一候选答案作为条件确定每一候选答案对应的验证分数，包括：以目标候选答案作为条件替换第一文本包括的第一条件集合中的一个目标条件，确定至少一个第二条件集合；所述目标候选答案为候选答案中的其中一个答案；基于每一第二条件集合，生成一个第二文本；所述第二文本包括的问题为所述目标条件对应的问题；输入一个第二文本到所述语言模型，获取所述语言模型输出的一个第二答案；基于所述第二答案确定所述目标候选答案对应的验证分数。3.根据权利要求2所述的文本答案的推理方法，其特征在于，所述基于所述第二答案确定所述目标候选答案对应的验证分数，包括：判断每一第二答案是否与对应的目标条件相同；在第二答案与对应的目标条件相同的情况下，所述目标候选答案对应的验证分数加一个单位；在第二答案与对应的目标条件不同的情况下，所述目标候选答案对应的验证分数不变。4.根据权利要求3所述的文本答案的推理方法，其特征在于，重复判断P次每一第二答案是否与对应的目标条件相同，P为大于1的正整数。5.根据权利要求2所述的文本答案的推理方法，其特征在于，所述基于每一第二条件集...

【专利技术属性】
技术研发人员：何世柱，赵军，刘康，翁诣轩，朱敏郡，夏飞，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：