【技术实现步骤摘要】
本专利技术涉及人工智能及知识问答，尤其涉及一种基于大语言模型增强的知识问答方法。
技术介绍
1、知识以多种形态存在于多种载体中，其中很重要的一种知识便以专利的形式存在，专利中的知识一般是以专利文档形式呈现，专利文档包括专利摘要、摘要附图，说明书、说明书附图和权利要求书。其中，专利的说明书摘要及摘要附图是以最简短的方式通过文字和图像描述了专利最重要的技术特征。
2、专利知识的检索问答是指对以问答的方式，通过自然语言的查询语句来检索专利。这个技术可以用于检测重复专利、发现
的新发展趋势、评估专利的价值和竞争优势等。应用前景包括但不限于专利检索、知识产权管理、技术竞争情报分析、专利侵权检测和技术创新导向等领域。
3、目前，专利的检索问答主要有两种实现方式。第一种是通过人工配合查重系统进行匹配。这种方法的优点是人工参与带来的高准确性和可靠性，特别是对于复杂的专利文本。然而，其缺点是依赖于人工参与，成本较高且速度相对较慢。另一种实现方式是使用通用的文本匹配算法对专利全文进行匹配。这种方法的优点是能够全面考虑专利文本的各个方面，提供更高的检索召回率。然而，缺点是需要处理大量的文本数据，计算成本高且处理时间较长，且其训练过程往往人工标注，训练成本高。
4、综上，实现不需要人工参与的，不需要在人工标注数据集上训练的专利检索问答技术有着现实应用场景。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术公开了一种基于大语言模
2、本专利技术的目的是通过如下技术方案实现的，一种基于大语言模型增强的知识问答方法，所述方法包括：
3、步骤1，构建专利特征提取模型，包括ocr模块，文本特征提取器，图像文本融合特征提取器；
4、步骤2，把专利的说明书摘要文本输入文本特征提取器，得到专利的摘要文本特征；
5、步骤3，把专利的摘要附图输入ocr模块，得到专利的摘要附图的文本框和专利的摘要附图的文本内容；
6、步骤4，把专利的摘要附图、专利的摘要附图的文本框、专利的摘要附图的文本内容和专利的摘要文本特征输入图像文本融合特征提取器，得到专利的多模态融合特征；
7、步骤5，把专利输入大语言模型，得到专利对应的查询，并把查询输入查询特征提取模型，得到专利的查询特征；
8、步骤6，对多篇专利的多模态融合特征和查询特征计算损失函数，利用损失函数优化专利特征提取模型和查询特征提取模型；
9、步骤7，利用训练好的专利特征提取模型和查询特征提取模型进行专利检索问答。
10、所述的把专利的说明书摘要文本输入文本特征提取器，得到专利的摘要文本特征，包含以下步骤：
11、使用bert-base-chinese语言模型对专利的说明书摘要文本提取特征，表达式为：
12、。
13、其中，是bert-base-chinese语言模型，是专利的说明书摘要文本，是专利的摘要文本特征，是专利的说明书摘要文本的分词数，是文本特征维度。
14、所述的把专利的摘要附图输入ocr模块，得到专利的摘要附图的文本框和专利的摘要附图的文本内容，包含以下步骤：
15、使用ocr模型检测出专利的摘要附图的文本框，并识别出每个文本框中的文字内容，表达式为：
16、。
17、其中，表示专利的摘要附图的文本框和专利的摘要附图的文本内容，表示专利的摘要附图的第个文本框的坐标和长宽，表示专利的摘要附图的第个文本框的文本内容，表示文本框的个数，表示ocr模块，表示专利的摘要附图。
18、所述的把专利的摘要附图、专利的摘要附图的文本框、专利的摘要附图的文本内容和专利的摘要文本特征输入图像文本融合特征提取器，得到专利的多模态融合特征，包含以下步骤：
19、步骤401，把专利的摘要附图输入卷积神经网络resnet中，得到专利的摘要附图的全局图像特征，表达式为：
20、。
21、其中，表示专利的摘要附图的全局图像特征，表示卷积神经网络resnet，表示专利的摘要附图；
22、步骤402，提取专利的摘要附图的全局文本框视觉特征，包括以下步骤：
23、使用roialign和平均池化算法，根据专利的摘要附图的文本框的坐标和长宽，从专利的摘要附图的全局图像特征中，抽取出专利的摘要附图的文本框视觉特征，表达式为：
24、。
25、其中，表示平均池化算法，表示roialign算法，表示专利的摘要附图的第个文本框的坐标和长宽，表示专利的摘要附图的全局图像特征，表示专利的摘要附图的第个文本框的视觉特征；
26、把专利的摘要附图的所有文本框的视觉特征进行拼接，得到全局文本框视觉特征，表达式为：
27、。
28、其中，表示专利的摘要附图的全局文本框视觉特征，表示文本框的个数，表示专利的摘要附图的第个文本框的视觉特征，表示视觉特征维度；
29、步骤403，提取专利的摘要附图的全局文本框文本特征，包括以下步骤：
30、使用bert-base-chinese语言模型和平均池化算法对专利的摘要附图的文本框的文本内容提取特征，表达式为：
31、。
32、其中，表示平均池化算法，是bert-base-chinese语言模型，表示专利的摘要附图的第个文本框的文本内容，表示专利的摘要附图的第个文本框的文本特征；
33、把专利的摘要附图的所有文本框的文本特征进行拼接，得到全局文本框文本特征，表达式为：
34、。
35、其中，表示专利的摘要附图的全局文本框文本特征，表示文本框的个数，表示专利的摘要附图的第个文本框的文本特征，表示文本特征维度；
36、步骤404，提取专利的摘要附图的全局文本框多模态特征，包括以下步骤：
37、对专利的摘要附图的全局文本框视觉特征和专利的摘要附图的全局文本框文本特征进行跨模态融合，表达式如下：
38、。
39、其中，表示专利的摘要附图的全局文本框多模态特征，表示多模态特征维度，表示专利的摘要附图的全局文本框文本特征，表示专利的摘要附图的全局文本框视觉特征，表示视觉特征维度，表示文本特征维度，是激活函数，，，，，，，和表示可学习参数；
40、步骤405，把专利的摘要附图的全局文本框多模态特征，专利的摘要附图的全局图像特征的平均池化结果和专利的摘要文本特征映射到统一维度后进行拼接，得到专利的综合多模态特征序列，表达式为：
41、。
42、其中，表示专利的本文档来自技高网...
【技术保护点】
1.一种基于大语言模型增强的知识问答方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于大语言模型增强的知识问答方法，其特征在于，所述的把专利的说明书摘要文本输入文本特征提取器，得到专利的摘要文本特征，包含以下步骤：
3.根据权利要求1或2任一所述的一种基于大语言模型增强的知识问答方法，其特征在于，所述的把专利的摘要附图输入OCR模块，得到专利的摘要附图的文本框和专利的摘要附图的文本内容，包含以下步骤：
4.根据权利要求3所述的一种基于大语言模型增强的知识问答方法，其特征在于，所述的把专利的摘要附图、专利的摘要附图的文本框、专利的摘要附图的文本内容和专利的摘要文本特征输入图像文本融合特征提取器，得到专利的多模态融合特征，包含以下步骤：
5.根据权利要求1所述的一种基于大语言模型增强的知识问答方法，其特征在于，所述的把专利输入大语言模型，得到专利对应的查询，并把查询输入查询特征提取模型，得到专利的查询特征，包含以下步骤：
6.根据权利要求4和5任一所述的一种基于大语言模型增强的知识问答方法，其特征在于，所述的
7.根据权利要求1所述的一种基于大语言模型增强的知识问答方法，所述的大语言模型包括GPT、LaMDA、Llama、ChatGLM中的一种。
...【技术特征摘要】
1.一种基于大语言模型增强的知识问答方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于大语言模型增强的知识问答方法，其特征在于，所述的把专利的说明书摘要文本输入文本特征提取器，得到专利的摘要文本特征，包含以下步骤：
3.根据权利要求1或2任一所述的一种基于大语言模型增强的知识问答方法，其特征在于，所述的把专利的摘要附图输入ocr模块，得到专利的摘要附图的文本框和专利的摘要附图的文本内容，包含以下步骤：
4.根据权利要求3所述的一种基于大语言模型增强的知识问答方法，其特征在于，所述的把专利的摘要附图、专利的摘要附图的文本框、专利的摘要附图的文本内容和...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。