System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种医疗领域大语言模型实现可控文本生成方法及系统技术方案_技高网

一种医疗领域大语言模型实现可控文本生成方法及系统技术方案

技术编号:41768485 阅读:3 留言:0更新日期:2024-06-21 21:46
本发明专利技术提出了一种医疗领域大语言模型实现可控文本生成方法及系统,通过医疗场景具体问题数据及对应知识数据构建可控的提示词,输入到大语音模型中,随后在大语言模型生成答案过程中,直接在输出空间上对输出文本进行限制从而达到对大语言模型的可控文本生成效果。

【技术实现步骤摘要】

本专利技术属于机器学习,尤其涉及一种医疗领域大语言模型实现可控文本生成方法及系统


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、大语言模型具有强大的通用语言理解和生成能力,能够在少样本甚至零样本的场景下达到多种自然语言处理任务的最优性能。目前通常用于文本翻译与聊天对话场景,但在在特定的场景去生成特定的有意义的词汇比较困难,不具有可控性;另外,模型会可能生成偏见言论等不安全的文本;这使得大语言模型在应用时增加文本生成的可控性变得非常重要。

3、而在医疗领域,大模型的医疗领域知识应用能力并不强大,若要借助大语言模型,对大语言模型生成文本内容的专业性、安全性有极高的要求,这也使得目前大语言模型在医疗领域垂直落地困难许多。目前受控文本生成从技法上来讲主要有两类,第一类是在隐空间做文章,第二类是在生成器的输出空间上做文章。相比于在隐空间施加控制,在输出空间施加控制在方法上更简单有效一些。且只有绝对限制大语言模型的输出内容才能保证大语言模型在医疗应用过程中绝对的安全性,那么如何在大语言模型的输出空间上施加控制,又能够适应所需要应用的医疗场景尤为重要。


技术实现思路

1、为克服上述现有技术的不足,本专利技术提供了一种医疗领域大语言模型实现可控文本生成方法及系统,通过医疗场景具体问题数据及对应知识数据构建可控的提示词,输入到大语言模型中,在大语言模型中,通过构建多层字符token字典树和受控解码树,基于所确定的受控token表对输出文本进行控制,从而达到对大语言模型的可控文本生成效果。

2、为实现上述目的,本专利技术的第一个方面提供一种医疗领域大语言模型实现可控文本生成方法,包括:

3、获取提问问题以及对应的知识数据;

4、根据所提问问题以及对应的知识数据,确定输出格式,建立可控提示词;

5、将所建立的可控提示词输入至训练好的大语言模型中,得到可控文本;

6、其中,在所述大语言模型中,利用编码器对输出格式及对应知识数据所组成的控制输出数据进行分词处理,得到多个分词集,将所述分词集分别转换为token所对应的所有字符串,根据所得到的字符串基于预设规则构建多层字符token字典树和受控解码树;

7、根据所构建的受控解码树确定受控token表,按照受控token表中解码路径,基于输出概率最大原则确定下一解码路径,反复解码计算,得到可控文本。

8、本专利技术的第二个方面提供一种医疗领域大语言模型实现可控文本生成系统,包括:

9、获取模块:获取提问问题以及对应的知识数据;

10、可控提示词构建模块:根据所提问问题以及对应的知识数据,确定输出格式,建立可控提示词;

11、可控文本生成模块:将所建立的可控提示词输入至训练好的大语言模型中,得到可控文本;

12、其中,在所述大语言模型中,利用编码器对输出格式及对应知识数据所组成的控制输出数据进行分词处理,得到多个分词集,将所述分词集分别转换为token所对应的所有字符串,根据所得到的字符串基于预设规则构建多层字符token字典树和受控解码树;

13、根据所构建的受控解码树确定受控token表,按照受控token表中解码路径,基于输出概率最大原则确定下一解码路径,反复解码计算,得到可控文本。

14、本专利技术的第三个方面提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行一种医疗领域大语言模型实现可控文本生成方法。

15、本专利技术的第四个方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行一种医疗领域大语言模型实现可控文本生成方法。

16、以上一个或多个技术方案存在以下有益效果:

17、在本专利技术中,通过医疗场景具体问题数据及对应知识数据构建可控的提示词,输入到大语音模型中,在大语言模型中,通过构建多层字符token字典树和受控解码树,对输出格式及对应知识数据所组成的控制输出数据进行控制,从而达到对大语言模型的可控文本生成效果。

18、本专利技术附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本专利技术的实践了解到。

本文档来自技高网...

【技术保护点】

1.一种医疗领域大语言模型实现可控文本生成方法,其特征在于,包括:

2.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,根据所有token对应的字符串,列出所有字符串的第一个字符,将字串符中第二字符作为相对应的第一字符的分支,依次类推,根据一个字符一层字典的原则建立多层字符token字典树。

3.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,构建受控解码树具体为:

4.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,根据所构建的受控解码树确定受控token表,具体为:若首次解码,则从第一个字符开始沿路径查找组合字符串是否有对应token,确定受控token表中元素。

5.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,根据所构建的受控解码树确定受控token表,具体为:若不是首次解码,则从上次受控解码树的状态更新位置沿路径查找可用token,确定受控token表中元素。

6.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,确定受限token表后,根据概率最大原则在所输出的所有token的概率值中确定下一token,将所确定的下一token对应的字符串查找受控解码树中对应的子树,作为新的受控解码树,更新新的受控解码树,将新的受控输出给大语言模型,迭代更新,直至更新到受控解码树的叶子节点,得到所有输出答案。

7.如权利要求6所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,将所确定的下一token对应的字符串查找受控解码树中对应的子树,作为新的受控解码树,更新新的受控解码树,具体为:

8.一种医疗领域大语言模型实现可控文本生成系统,其特征在于,包括:

9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的一种医疗领域大语言模型实现可控文本生成方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的一种医疗领域大语言模型实现可控文本生成方法。

...

【技术特征摘要】

1.一种医疗领域大语言模型实现可控文本生成方法,其特征在于,包括:

2.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,根据所有token对应的字符串,列出所有字符串的第一个字符,将字串符中第二字符作为相对应的第一字符的分支,依次类推,根据一个字符一层字典的原则建立多层字符token字典树。

3.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,构建受控解码树具体为:

4.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,根据所构建的受控解码树确定受控token表,具体为:若首次解码,则从第一个字符开始沿路径查找组合字符串是否有对应token,确定受控token表中元素。

5.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,根据所构建的受控解码树确定受控token表,具体为:若不是首次解码,则从上次受控解码树的状态更新位置沿路径查找可用token,确定受控token表中元素。

6.如权利要求1所述的一种医疗领域大语言模型实现可控文本生成方法,其特征在于,确定受限token表...

【专利技术属性】
技术研发人员:张伯政吴军李彦芳高希余来庆涵
申请(专利权)人:众阳健康科技集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1