一种基于异步消费队列的多模型结果融合问答方法及系统技术方案

本发明专利技术公开了一种基于异步消费队列的多模型结果融合问答方法及系统，本方案通过模型融合训练使得模型的输出更加合理，降低了标注数据量，提高了标注速度，同时通过异步的调用方式，我们可以实现和用户端进行联动操作，通过本发明专利技术可以快速完成医患之间的交流，帮助医护人员及时预测分析出与患者健康状况，以便于医护人员做出相应的健康护理决策

【技术实现步骤摘要】
一种基于异步消费队列的多模型结果融合问答方法及系统


[0001]本专利技术属于大模型
，具体涉及一种基于异步消费队列的多模型结果融合问答方法及系统
。

技术介绍

[0002]随着大模型技术的发展，在各个场景中应用越来越广泛，目前问答模型有着独特的标注方式统一和标注相对简单的优势；
[0003]当前，问答系统在各个领域越来越引起人们的重视，深度学习技术的不断进步极大地推动了问答系统的发展
。
对于问答系统，深度学习技术可以利用大量的数据来学习特征表示和回复生成策略，这其中仅需要少量的手工操作
。
[0004]但是，现有问答系统大多采用
fintune
模式，有标注数据量大，标注速度慢的缺点，并且现有的问答系统一般采用的模型较为单一，常通过模板推理得到单一的模型输出，少数问答系统虽采用了多模型的问答系统，但未采用合理的融合方式，使得模型的输出不合理，并且现有的调用方式单一，无法实现和用户端的联动操作
。

技术实现思路

[0005]针对上述现有技术的不足，本申请提供了一种基于异步消费队列的多模型结果融合问答方法及系统
。
[0006]第一方面本申请提出了一种基于异步消费队列的多模型结果融合问答方法，包括模型训练步骤和异步联动步骤；
[0007]所述模型训练步骤包括：
[0008]获取原始训练文本；
[0009]将所述原始训练文本处理为嵌套列表数据；
[0010]按照交叉验证的格式将所述嵌套列表数据划分为多组模型数据集；
[0011]构建与所述模型数据集的组数对应数量的
bloom
模型，将所述模型数据集中的训练数据输入到所述
bloom
模型进行训练，得到对应数量的多元组问答模型；
[0012]所述异步联动步骤包括：
[0013]为所述多元组问答模型赋予模型状态码；
[0014]用户端前端发起异步请求信息，所述多元组问答模型响应所述异步请求信息并判断所述模型状态码，将判断结果反馈给用户端前端；
[0015]用户端前端根据所述模型状态码的判断结果决定重新加载
/
直接加载所述多元组问答模型；
[0016]加载完毕后，用户端前端将用户提问文本发送给所述多元组问答模型，获取多元组问答模型输出的
logits
值，根据预测条件对所述
logits
值进行预测计算，如果预测计算的结果符合所述预测条件，则输出当前回答文本并返回到用户端前端；如果预测计算的结果不满足所述预测条件，则通过所述多元组问答模型继续更新回答文本
。
[0017]在一种可能的实施方式中，所述嵌套列表数据包括三元组嵌套列表数据和四元组嵌套列表数据；
[0018]所述三元组嵌套列表数据包括：由头实体
、
关系以及尾实体形成的三元组嵌套列表格式；
[0019]所述四元组嵌套列表数据包括：由头实体
、
关系
、
关系属性值和关系属性形成的四元组嵌套列表格式
。
[0020]在一种可能的实施方式中，所述按照交叉验证的格式将所述嵌套列表数据划分为多组模型数据集，包括：
[0021]步骤1：设所述嵌套列表数据的总数据量为
D
条，需要划分的组数为
K
组，将总数据量按照
K
组划分为
K
等份，每组按顺序标号为
D1、D2、D3……
D
K
；
[0022]步骤2：从
D
z
开始按编号顺序获取
K
次数据，得到
D1组的
K
份模型数据集，其中，
z
的初始值为1，所述模型数据集中前
K
‑1份作为训练集，最后的第
K
份作为验证集；
[0023]步骤3：令
z=z+1
且
z≤K,
循环执行
K
次所述步骤2，直到获取
D1、D2、D3……
D
K
组不同的训练集和对应的验证集；其中，当获取到第
K
份数据但获取次数不足
K
次时，循环到第1份数据继续进行数据获取，直到获取次数达到
K
次为止
。
[0024]在一种可能的实施方式中，所述构建与所述模型数据集的组数对应数量的
bloom
模型，包括：构建由
embedding
层
、LN
层
、DecoderBlock
层和
softmax
层组成的
bloom
模型；
[0025]所述
embedding
层的输入端接入所述训练数据，所述
embedding
层的输出端与所述
LN
层的输入端连接，所述
LN
层的输出端与所述
DecoderBlock
层的输入端连接，所述
DecoderBlock
层的输出端与所述
softmax
层的输入端连接，所述
softmax
层的输入端输出所述模型训练结果
。
[0026]在一种可能的实施方式中，所述
embedding
层表示将输入字符转为
embedding
向量表示的计算网络，所述
embedding
层的计算为：
[0027]其中，
x
代表输入字符的字符信息的数字
id
表示，
W
代表
embedding
层的权重矩阵，
T
代表进行矩阵转置，
b
代表
embedding
层的偏置权重矩阵；
[0028]所述
LN
层代表经过
embedding
转化后进行的层归一化操作，所述
LN
层的计算为：
[0029]其中，代表当前输入的数据，代表当前输入数据的均值，代表输入
x
的方差，为超参数，防止分母为0，数值为
0.0001
，代表
LN
层的权重矩阵，代表
LN
层的偏置权重；
[0030]所述
DecoderBlock
层中封装了多维矩阵计算，所述
DecoderBlock
层的计算为：
[0031]其中，表示经过
LN
层的输出结果，
q
表示
query
层
、k
表示
key
层，
v
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于异步消费队列的多模型结果融合问答方法，其特征在于：包括模型训练步骤和异步联动步骤；所述模型训练步骤包括：获取原始训练文本；将所述原始训练文本处理为嵌套列表数据；按照交叉验证的格式将所述嵌套列表数据划分为多组模型数据集；构建与所述模型数据集的组数对应数量的
bloom
模型，将所述模型数据集中的训练数据输入到所述
bloom
模型进行训练，得到对应数量的多元组问答模型；所述异步联动步骤包括：为所述多元组问答模型赋予模型状态码；用户端前端发起异步请求信息，所述多元组问答模型响应所述异步请求信息并判断所述模型状态码，将判断结果反馈给用户端前端；用户端前端根据所述模型状态码的判断结果决定重新加载
/
直接加载所述多元组问答模型；加载完毕后，用户端前端将用户提问文本发送给所述多元组问答模型，获取多元组问答模型输出的
logits
值，根据预测条件对所述
logits
值进行预测计算，如果预测计算的结果符合所述预测条件，则输出当前回答文本并返回到用户端前端；如果预测计算的结果不满足所述预测条件，则通过所述多元组问答模型继续更新回答文本
。2.
根据权利要求1所述的方法，其特征在于：所述嵌套列表数据包括三元组嵌套列表数据和四元组嵌套列表数据；所述三元组嵌套列表数据包括：由头实体
、
关系以及尾实体形成的三元组嵌套列表格式；所述四元组嵌套列表数据包括：由头实体
、
关系
、
关系属性值和关系属性形成的四元组嵌套列表格式
。3.
根据权利要求1所述的方法，其特征在于：所述按照交叉验证的格式将所述嵌套列表数据划分为多组模型数据集，包括：步骤1：设所述嵌套列表数据的总数据量为
D
条，需要划分的组数为
K
组，将总数据量按照
K
组划分为
K
等份，每组按顺序标号为
D1、D2、D3……
D
K
；步骤2：从
D
z
开始按编号顺序获取
K
次数据，得到
D1组的
K
份模型数据集，其中，
z
的初始值为1，所述模型数据集中前
K
‑1份作为训练集，最后的第
K
份作为验证集；步骤3：令
z=z+1
且
z≤K,
循环执行
K
次所述步骤2，直到获取
D1、D2、D3……
D
K
组不同的训练集和对应的验证集；其中，当获取到第
K
份数据但获取次数不足
K
次时，循环到第1份数据继续进行数据获取，直到获取次数达到
K
次为止
。4.
根据权利要求1所述的方法，其特征在于：所述构建与所述模型数据集的组数对应数量的
bloom
模型，包括：构建由
embedding
层
、LN
层
、DecoderBlock
层和
softmax
层组成的
bloom
模型；所述
embedding
层的输入端接入所述训练数据，所述
embedding
层的输出端与所述
LN
层的输入端连接，所述
LN
层的输出端与所述
DecoderBlock
层的输入端连接，所述
DecoderBlock
层的输出端与所述
softmax
层的输入端连接，所述
softmax
层的输入端输出所
述模型训练结果
。5.
根据权利要求4所述的方法，其特征在于：所述
embedding
层表示将输入字符转为
embedding
向量表示的计算网络，所述
embedding
层的计算为：其中，
x
代表输入字符的字符信息的数字
id
表示，
W
代表
embedding
层的权重矩阵，
T
代表进行矩阵转置，
b
代表
embedding
层的偏置权重矩阵；所述
LN
层代表经过
embedding
转化后进行的层归一化操作，所述
LN
层的计算为：其中，代表当前输入的数据，代表当前输入数据的均值，代表输入
x
的方差，为超参数，防止分母为0，数值为
0.0001
，代表
LN
层的权重矩阵，代表
LN

【专利技术属性】
技术研发人员：刘硕，杨雅婷，白焜太，宋佳祥，许娟，史文钊，
申请(专利权)人：神州医疗科技股份有限公司，
类型：发明
国别省市：