【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种基于医疗知识库的问答方法、装置、电子设备及存储介质。
技术介绍
1、随着chatgpt等大模型的兴起，而大模型作为一个通用的信息处理组件，具有强大的阅读理解和信息整合能力。chatgpt本身是不能够随时更新其知识的，所以直接询问大模型一些具有时效性的知识一般是得不到准确的回答的。另外，由于大模型本身存在幻觉问题，其可能会生成一些与事实不符的回答，所以直接回答一些医学问题是不可靠的。比如：一个中药方剂中“一貫煎”，应该有多少克生地黃，多少克北沙參？比如：阿托伐他汀应该一次吃多少毫克？这个问题chatgpt无法给你准备的答案。
2、鉴于上述问题，基于大模型的本地知识库问答框架开始受到大量关注。这一框架又利用了大模型的强大的阅读理解和信息整合能力，也利用了本地可访问的具有权威性的医学文档/书籍。由于医学场景，用户数据是需要非常注意隐私保护的，所以业务方不能直接依赖于chatgpt，gpt-4，claude，文心一言等这类开放的大模型接口。
技术实现思路
1、本专利技术实施例的主要目的在于提出一种基于医疗知识库的问答方法、装置、电子设备及存储介质，提高了专业医疗知识的问答准确性和专业性。
2、本专利技术的一方面提供了一种基于医疗知识库的问答方法，包括：
3、根据用户第一医疗提问请求，对所述第一医疗提问请求采用医疗问答模型进行分析，得到第一医疗问答结果；
4、所述医疗问答模型的训练步骤包括：
5、采
6、通过大模型根据所述第二医疗提问及所述文档数据生成第二医疗问答结果，根据第二医疗提问及所述第二医疗问答结果生成训练数据集；
7、通过所述训练数据集对基础模型进行参数微调及训练，得到所述医疗问答模型。
8、根据所述的基于医疗知识库的问答方法，其中根据所述第二医疗提问从本地知识库查找文档数据，包括：
9、采用文档向量表征模型将第二医疗提问和本地知识库的词句映射至向量空间通过向量从本地知识库进行文档匹配，得到所述文档数据，其中每个第二医疗提问所匹配的文档数量的范围可自定义设置。
10、根据所述的基于医疗知识库的问答方法，其中通大模型根据所述第二医疗提问及所述文档数据生成第二医疗问答结果，包括：
11、通过所述大模型根据所述第二医疗提问从所述文档数据中提取相关信息并进行提炼，得到所述第二医疗问答结果。
12、根据所述的基于医疗知识库的问答方法，其中通过所述训练数据集对基础模型进行参数微调及训练，得到所述医疗问答模型，包括：
13、以大语言模型基座作为所述基础模型，通过所述数据集以提示-指令方式对所述基础模型进行第一次微调；
14、对经过第一次微调的所述基础模型采用监督微调模式进行训练，得到所述医疗问答模型。
15、根据所述的基于医疗知识库的问答方法，其中对经过第一次微调的所述基础模型采用监督微调模式进行训练，包括：
16、根据所述数据集的句子中的前t-1个词x＜t＝[x1，x2，x3...，xt-1]，预测第t个词xt，将句子长度记为t得到句子的似然度lh为
17、
18、其中，pθ(x)是医疗问答模型对词x的概率计算，其中医疗问答模型的优化目标为最大化对数似然度。
19、根据所述的基于医疗知识库的问答方法，其中方法还包括采用改进的lora模型对医疗问答模型进行训练，包括：
20、获取transformer的第l层的查询模块、键模块、值模块、输出模块、上投影模块及下投影模块中的任一模块m，获取原参数为wl，m，确定对应的lora参数为loral，m；
21、对lora参数调整为
22、
23、其中，和为对角矩阵，其中对角矩阵只有d个非零元素，非零元素为可学习参数；lora模型中的每层和模块m的参数不共享；
24、将al，m作为a0，m，bl，m作为b0，m，通过随机梯度下降学习a0，m，b0，m，和的参数。
25、根据所述的基于医疗知识库的问答方法，其中方法还包括对训练中的lora秩数进行动态调整：
26、计算医疗问答模型在验证集的第一分数；
27、使医疗问答模型经过k1步训练后，删除对医疗问答模型影响力最小的预设百分比的秩数，其中影响力为对角线的第i个元素的绝对值；
28、使医疗问答模型经过k2步训练后，得到医疗问答模型在验证集的第二分数，对比第一分数和第二分数，若第二分数大于所述第一分数，则重复执行上述lora秩数动态调整的步骤，否则，退回至第一分数时的医疗问答模型。
29、本专利技术实施例的另一方面提供了一种基于医疗知识库的问答装置，包括：
30、医疗问答模块和模型训练模块，所述医疗问答模块包括第一单元，所述模型训练模块包括第二单元、第三单元及第四单元；
31、所述第一单元用于根据用户第一医疗提问请求，对所述第一医疗提问请求采用医疗问答模型进行分析，得到第一医疗问答结果；
32、所述第二单元用于采集第二医疗提问，根据所述第二医疗提问从本地知识库查找文档数据；
33、所述第三单元用于通过大模型根据所述第二医疗提问及所述文档数据生成第二医疗问答结果，根据第二医疗提问及所述第二医疗问答结果生成训练数据集；
34、所述第四单元用于通过所述训练数据集对基础模型进行参数微调及训练，得到所述医疗问答模型。
35、本专利技术实施例的另一方面提供了一种电子设备，包括处理器以及存储器；
36、所述存储器用于存储程序；
37、所述处理器执行所述程序实现如前文所描述的方法。
38、本专利技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前文所描述的方法。
39、本专利技术的有益效果为：通过用户所提出的问题，查找权威医疗文档或者知识书籍回答的问题，并基于本地知识库问答场景进行医疗问答模型的训练，并采用改进的lora进行医疗问答模型的微调，提高了医疗问答模型生成医疗问答回复的准确性和专业性。
本文档来自技高网...【技术保护点】
1.一种基于医疗知识库的问答方法，其特征在于，包括：
2.根据权利要求1所述的基于医疗知识库的问答方法，其特征在于，所述根据所述第二医疗提问从本地知识库查找文档数据，包括：
3.根据权利要求1所述的基于医疗知识库的问答方法，其特征在于，所述通大模型根据所述第二医疗提问及所述文档数据生成第二医疗问答结果，包括：
4.根据权利要求1所述的基于医疗知识库的问答方法，其特征在于，所述通过所述训练数据集对基础模型进行参数微调及训练，得到所述医疗问答模型，包括：
5.根据权利要求1所述的基于医疗知识库的问答方法，其特征在于，所述对经过第一次微调的所述基础模型采用监督微调模式进行训练，包括：
6.根据权利要求1所述的基于医疗知识库的问答方法，所述方法还包括采用改进的LoRA模型对医疗问答模型进行训练，包括：
7.根据权利要求6所述的基于医疗知识库的问答方法，其特征在于，所述方法还包括对训练中的LoRA秩数进行动态调整：
8.一种基于医疗知识库的问答装置，其特征在于，包括：
9.一种电子设备，其特征在
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-7中任一项所述的基于医疗知识库的问答方法。
...【技术特征摘要】
1.一种基于医疗知识库的问答方法，其特征在于，包括：
2.根据权利要求1所述的基于医疗知识库的问答方法，其特征在于，所述根据所述第二医疗提问从本地知识库查找文档数据，包括：
3.根据权利要求1所述的基于医疗知识库的问答方法，其特征在于，所述通大模型根据所述第二医疗提问及所述文档数据生成第二医疗问答结果，包括：
4.根据权利要求1所述的基于医疗知识库的问答方法，其特征在于，所述通过所述训练数据集对基础模型进行参数微调及训练，得到所述医疗问答模型，包括：
5.根据权利要求1所述的基于医疗知识库的问答方法，其特征在于，所述对经过第一次微调的所...
【专利技术属性】
技术研发人员：何昆仑，卢若谷，庄严，于志昊，缪学磊，张军雁，李一鸣，
申请(专利权)人：中国人民解放军总医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。