【技术实现步骤摘要】
本申请涉及互联网，尤其涉及一种医学长文本问答方法、装置、电子设备及存储介质。
技术介绍
1、大语言模型（large language model，llm）通常在预定义大小窗口的上下文数据中进行训练，当上下文内容长度超过预训练长度时，大语言模型性能通常会出现大幅度的下滑。
2、然而，在医学领域，数据通常为长文本形式，如病例报告、诊断诊疗方案等，并且实际应用中，通常需要对其进行文档摘要、问答等。文本有限的上下文长度支持，使大语言模型在医疗领域缺少适配的注意力结果，因此如何获取大语言模型的注意力结果，是一个亟需解决的问题。
技术实现思路
1、本申请实施例提供一种医学长文本问答方法、装置、电子设备及存储介质，以解决如何获取大语言模型的注意力结果的技术问题。
2、第一方面，本申请实施例提供了一种医学长文本问答方法，应用于电子设备，所述电子设备存储有大语言模型，所述医学长文本问答方法包括：
3、获取医学文本数据，在所述医学文本数据中提取问答数据，将多个所述问答数据进行拼接处理，得到文本长度为目标长度的长文本问答数据；
4、在所述长文本问答数据中提取出语义单元，将所述语义单元的第一嵌入数据输入到所述大语言模型的rope编码层中，获取所述rope编码层的原始基础频率和注意力对数的原始缩放因子，所述第一嵌入数据为携带了所述语义单元的语义信息的嵌入数据；
5、根据所述目标长度、所述大语言模型在预训练阶段处理文本的最大长度以及预设的第一扩大系数
6、获取所述语义单元的位置索引，根据所述位置索引、所述最大长度以及预设的第二扩大系数生成模型，生成第二扩大系数，将所述第二扩大系数乘以所述原始缩放因子，得到目标缩放因子；
7、在所述rope编码层中，基于所述目标基础频率和所述目标缩放因子，对所述语义单元的所述第一嵌入数据进行编码，得到所述语义单元的第二嵌入数据，所述第二嵌入数据为携带了所述语义单元的所述语义信息以及相对位置信息的嵌入数据；
8、按预设的分组策略，将多个所述语义单元的所述第二嵌入数据分成多个分组，所述分组策略为当前所述分组包含前一个或后一个所述分组中预设数量的所述语义单元的所述第二嵌入数据；
9、将所述分组输入到所述大语言模型的注意力层中，对当前所述分组进行注意力计算，得到所述分组对应的计算结果，将所述分组对应的所述计算结果进行合并，得到所述注意力层输出的注意力结果。
10、在第一方面的一种可能的实现方式中，所述获取医学文本数据，在所述医学文本数据中提取问答数据，将多个所述问答数据进行拼接处理，得到文本长度为目标长度的长文本问答数据，包括：
11、获取所述医学文本数据，在所述医学文本数据中提取每个问句，将所述问句及所述问句对应的答案信息组合成问答对；
12、将多个所述问答对组成问答数据，将多个所述问答数据进行拼接，得到所述文本长度为所述目标长度的所述长文本问答数据。
13、在第一方面的一种可能的实现方式中，所述按预设的分组策略，将多个所述语义单元的所述第二嵌入数据分成多个分组，包括：
14、将所述长文本问答数据的上下文长度除以所述大语言模型预训练的所述最大长度并向上取整，确定分组数量；
15、根据所述分组数量和所述分组策略，将多个所述语义单元的所述第二嵌入数据分成多个所述分组。
16、在第一方面的一种可能的实现方式中，在所述将所述分组输入到所述大语言模型的注意力层中，对当前所述分组进行注意力计算，得到所述分组对应的计算结果，将所述分组对应的所述计算结果进行合并，得到所述注意力层输出的注意力结果之后，所述医学长文本问答方法，包括：
17、选择全参数训练或者lora微调的方式，对所述大语言模型进行训练，得到训练后的所述大语言模型。
18、在第一方面的一种可能的实现方式中，所述第一扩大系数生成模型为：
19、；
20、其中，所述x为所述第一扩大系数，所述为所述目标长度，所述c为所述大语言模型在预训练阶段处理文本的所述最大长度。
21、在第一方面的一种可能的实现方式中，所述第二扩大系数生成模型为：
22、；
23、其中，所述y为所述第二扩大系数，所述c为所述大语言模型在预训练阶段处理文本的所述最大长度，所述m为所述语义单元的所述位置索引，所述z为预设常数。
24、在第一方面的一种可能的实现方式中，所述预设数量包括分组大小的1/2、分组大小的1/3、分组大小的1/5、分组大小的1/6中的其中一种或其组合。
25、第二方面，本申请实施例提供了一种医学长文本问答装置，应用于电子设备，所述电子设备存储有大语言模型，包括：
26、第一获取模块，用于获取医学文本数据，在所述医学文本数据中提取问答数据，将多个所述问答数据进行拼接处理，得到文本长度为目标长度的长文本问答数据；
27、第二获取模块，用于在所述长文本问答数据中提取出语义单元，将所述语义单元的第一嵌入数据输入到所述大语言模型的rope编码层中，获取所述rope编码层的原始基础频率和注意力对数的原始缩放因子，所述第一嵌入数据为携带了所述语义单元的语义信息的嵌入数据；
28、第一生成模块，用于根据所述目标长度、所述大语言模型在预训练阶段处理文本的最大长度以及预设的第一扩大系数生成模型，生成第一扩大系数，将所述第一扩大系数乘以所述原始基础频率，得到目标基础频率；
29、第二生成模块，用于获取所述语义单元的位置索引，根据所述位置索引、所述最大长度以及预设的第二扩大系数生成模型，生成第二扩大系数，将所述第二扩大系数乘以所述原始缩放因子，得到目标缩放因子；
30、编码模块，用于在所述rope编码层中，基于所述目标基础频率和所述目标缩放因子，对所述语义单元的所述第一嵌入数据进行编码，得到所述语义单元的第二嵌入数据，所述第二嵌入数据为携带了所述语义单元的所述语义信息以及相对位置信息的嵌入数据；
31、分组模块，用于按预设的分组策略，将多个所述语义单元的所述第二嵌入数据分成多个分组，所述分组策略为当前所述分组包含前一个或后一个所述分组中预设数量的所述语义单元的所述第二嵌入数据；
32、输出模块，用于将所述分组输入到所述大语言模型的注意力层中，对当前所述分组进行注意力计算，得到所述分组对应的计算结果，将所述分组对应的所述计算结果进行合并，得到所述注意力层输出的注意力结果。
33、第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中的医学长文本问答方法。
34、第四方面，本申请实施例提供了一种计算机可读存储介质，本文档来自技高网...
【技术保护点】
1.一种医学长文本问答方法，其特征在于，应用于电子设备，所述电子设备存储有大语言模型，所述医学长文本问答方法包括：
2.根据权利要求1所述的医学长文本问答方法，其特征在于，所述获取医学文本数据，在所述医学文本数据中提取问答数据，将多个所述问答数据进行拼接处理，得到文本长度为目标长度的长文本问答数据，包括：
3.根据权利要求1所述的医学长文本问答方法，其特征在于，所述按预设的分组策略，将多个所述语义单元的所述第二嵌入数据分成多个分组，包括：
4.根据权利要求1所述的医学长文本问答方法，其特征在于，在所述将所述分组输入到所述大语言模型的注意力层中，对当前所述分组进行注意力计算，得到所述分组对应的计算结果，将所述分组对应的所述计算结果进行合并，得到所述注意力层输出的注意力结果之后，所述医学长文本问答方法，包括：
5.根据权利要求1所述的医学长文本问答方法，其特征在于，所述第一扩大系数生成模型为：
6.根据权利要求1所述的医学长文本问答方法，其特征在于，所述第二扩大系数生成模型为：
7.根据权利要求1至6任一项所述的
8.一种医学长文本问答装置，其特征在于，应用于电子设备，所述电子设备存储有大语言模型，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的医学长文本问答方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的医学长文本问答方法。
...【技术特征摘要】
1.一种医学长文本问答方法，其特征在于，应用于电子设备，所述电子设备存储有大语言模型，所述医学长文本问答方法包括：
2.根据权利要求1所述的医学长文本问答方法，其特征在于，所述获取医学文本数据，在所述医学文本数据中提取问答数据，将多个所述问答数据进行拼接处理，得到文本长度为目标长度的长文本问答数据，包括：
3.根据权利要求1所述的医学长文本问答方法，其特征在于，所述按预设的分组策略，将多个所述语义单元的所述第二嵌入数据分成多个分组，包括：
4.根据权利要求1所述的医学长文本问答方法，其特征在于，在所述将所述分组输入到所述大语言模型的注意力层中，对当前所述分组进行注意力计算，得到所述分组对应的计算结果，将所述分组对应的所述计算结果进行合并，得到所述注意力层输出的注意力结果之后，所述医学长文本问答方法，包括：
5.根据权利要求1所述的医学长文本问答方法，其...
【专利技术属性】
技术研发人员：王阳，王晓龙，
申请(专利权)人：智慧眼科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。