System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及一种大坝应急响应规则问答推荐系统构建方法,特别涉及一种基于大语言模型的大坝应急响应规则问答推荐系统构建方法和系统,属于智能问答领域。
技术介绍
1、大坝应急响应是指在大坝可能出现突发情况时,为保障大坝和周边人员财产安全而采取的一系列措施。他的目的是最大限度地减少灾害损失,保障大坝的安全稳定运行。大坝响应的重点是预防性和主动性,它需要预先制定应急预案,对可能出现的危险情况做出预测和预警,并在事故发生后迅速、有序地组织应急响应。大坝应急响应是保障大坝安全运行的一项重要工作,它需要综合考虑技术、管理、应急物资等方面的因素,提高应急响应的能力,降低大坝运行风险。
2、在基于大语言模型的问答应用中,大语言模型虽然可以根据用户的输入生成回答。然而,由于这些模型不能访问到最新的知识或者特定领域的专业知识,仅依赖大语言模型生成回答还存在着诸如信息滞后、语料缺失以及幻觉等问题,严重影响回答质量。目前存在一些通过微调技术来将特定领域知识注入到大语言模型的方法,但这些方法需要大量的微调数据,模型存在遗忘领域知识的可能性的同时仍可能存在模型幻觉等问题,严重影响问答系统的效率与输出质量。
技术实现思路
1、专利技术目的:针对现有技术中存在的问题与不足,本专利技术提供了一种基于大语言模型的大坝应急响应规则问答推荐系统及其构建方法,旨在利用大坝应急响应知识库为大语言模型提供领域知识与专业语料。在问答任务中,通过提示词注入的方式,将专业知识以提示词上下文的形式帮助大语言模型理解用户输入的
2、技术方案:一种基于大语言模型的大坝应急响应规则问答推荐系统构建方法,引入额外的大坝应急响应知识库可以为模型提供更全面和准确的信息,帮助模型更好地理解问题。同时模型可以获取到所需的专业知识,从而帮助模型处理在大坝应急响应这一类特定领域知识的问题,增强大语言模型在处理大坝应急响应领域中的表现,提高回答的准确性和全面性。
3、包括以下步骤:
4、(1)应急响应文档编码:大坝应急响应规则问答推荐系统对用户上传的应急响应文档进行处理,对原始文档执行格式标准化处理,通过文本预处理与文本分割,将文档拆分为可管理的文段,使用语义向量模型将划分后的文段编码为向量形式以捕捉语义信息,此后这一向量表示被存储于向量数据库中,用于向量相似度检索计算。
5、(2)用户输入检验:构建文本合规性分类模型,识别和过滤用户输入,对用户输入的内容进行审核,检查用户输入是否包含非法内容、具有仇恨倾向等违规情况。通过文本合规性分类模型输出结果综合判断用户输入是否包含违规内容,对于非法提问进行过滤。
6、(3)用户输入场景识别与关键词提取:构建应急响应场景分类模型,从设定的应急响应场景库中识别用户提问对应的应急场景,用于关系数据库中进行应急响应场景的定位,以提高应急响应规则的匹配准确度。构建关键词提取模型,对于合法的用户提问输入提取关键词,挖掘提问中的关键信息,以更精确定位应急响应文档条文内容。对于抽取到的关键信息,利用语义向量模型将其编码为向量形式,用于向量数据库中进行相似度计算并检索。
7、(4)应急响应规则匹配:构建应急响应规则匹配模型,利用提取到的应急场景与用户提问关键词,根据关键词计算语义相似度,从向量数据库中查询匹配语义相似度最高的前k条应急响应规则的标识号,根据标识与应急场景,从关系数据库中查询符合应急场景的应急响应规则的文本内容。
8、(5)整合提示词并输出结果:构建提示词模板库,根据应急场景需求,选择不同的提示词模板,在接收到向量数据库的查询结果后,根据提示词模板要求将应急响应规则作为补充知识整合进提示模板中。同时,设置预防措施,防止用户利用提问输入进行提示词注入攻击。整合完毕的提示词将被最终输入到大语言模型中进行处理,系统随后将大模型的输出结果反馈给用户最为最终输出。
9、进一步的,所述步骤(1)中应急响应文档编码的具体步骤如下:
10、(1.1)文档标准化处理。给定输入文档以及对应应急场景,其中该文档可为word、txt、pdf等各类格式。为了使大语言模型能够理解文档内容,对文档进行标准化处理,使用文档加载器将输入文档转换为纯文本数据。
11、(1.2)文档切片。对于长文本文档,将文档进行文档切片,将长文本分割成多个短文本文段{p1,p2,...,pm},其中每个文段pi都包含原始长文本的一部分完整语义,以提高信息检索准确性,降低系统处理长文本的计算负担,提高计算效率。
12、(1.3)文段编码成向量形式。对于分割后的短文本文段{p1,p2,...,pm},借助预训练的向量编码模型捕捉文段深层次的语义关系,得到以数字形式表示的语义向量如以下公式所示:
13、
14、其中,embed(·)为向量编码模型。
15、(1.4)信息储存至数据库。每个生成的语义向量及其对应文段pi被分配一个唯一的标识符,语义向量被存储至向量数据库中,文本以及应急场景被存储至关系数据库中,以进行相似度计算与应急响应规则匹配。
16、进一步的,所述步骤(2)中的用户输入检验的具体步骤如下:对于用户输入q,使用冒犯性语言检测模型检测识别用户输入是否使用冒犯性语言内容或倾向的违规内容,包括具有仇恨等内容或倾向,输出结果为true或false,每一类内容或倾向的识别结果记为{r1,r2,...,rn}。用户输入q的最终检验结果r,如以下公式所示:
17、r=r1∧r2∧...∧rn
18、对于包含违规内容的输入,大坝应急响应规则问答推荐系统直接跳过后续处理,返回非法提示。
19、进一步的,所述步骤(3)中的用户输入场景识别与关键词提取的具体步骤如下:
20、(3.1)应急场景识别。对于用户输入q,使用应急场景分类模型识别用户提问对应的应急场景s∈s,其中s为应急场景库,包含如地震、泥石流、洪水等各类应急场景。
21、(3.2)提问关键词提取。对于用户输入q,使用关键词提取模型识别用户提问包含的关键词{k1,k2,...,km},借助预训练的向量编码模型对关键词进行编码,得到以数字形式表示的语义向量如以下公式所示:
22、
23、其中,embed(·)为向量编码模型。
24、进一步的,所述步骤(4)中的应急响应规则匹配的具体步骤如下:
25、(4.1)相似度计算。给定用户提问关键词的语义向量从向量数据库中存储的规则文本的语义向量集中计算每一条规则文本的语义向量与用户输入q之间的相似度si,即应急响应规则文本向量与用户输入关键词向量的匹配分数,如以下公式所示:
26、
27、其中,similarity(·)为二者之间的相似度得分函数,这里使用余弦相似度用于比较二者的相似程度,为关键词平均语义向量,如以下公本文档来自技高网...
【技术保护点】
1.一种基于大语言模型的大坝应急响应规则问答推荐系统构建方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于大语言模型的大坝应急响应规则问答推荐系统构建方法,其特征在于,所述步骤(1)中应急响应文档编码的具体步骤如下:
3.根据权利要求1所述的基于大语言模型的大坝应急响应规则问答推荐系统构建方法,其特征在于,所述步骤(2)中的用户输入检验的具体步骤如下:对于用户输入q,使用冒犯性语言检测模型检测识别用户输入是否使用冒犯性语言内容或倾向的违规内容,每一类内容或倾向的识别结果记为{r1,r2,...,rn};用户输入q的最终检验结果r,如以下公式所示:
4.根据权利要求1所述的基于大语言模型的大坝应急响应规则问答推荐系统构建方法,其特征在于,所述步骤(3)中的用户输入场景识别与关键词提取的具体步骤如下:
5.根据权利要求1所述的基于大语言模型的大坝应急响应规则问答推荐系统构建方法,其特征在于,所述步骤(4)中的应急响应规则匹配的具体步骤如下:
6.根据权利要求1所述的基于大语言模型的大坝应急响应规则问答推荐系统构建
7.一种基于大语言模型的大坝应急响应规则问答推荐系统,其特征在于,包括以下模块:
8.一种计算机设备,其特征在于:该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述计算机程序时实现如权利要求1-6中任一项所述的基于大语言模型的大坝应急响应规则问答推荐系统构建方法。
9.一种计算机可读存储介质,其特征在于:该计算机可读存储介质存储有执行如权利要求1-6中任一项所述的基于大语言模型的大坝应急响应规则问答推荐系统构建方法的计算机程序。
...【技术特征摘要】
1.一种基于大语言模型的大坝应急响应规则问答推荐系统构建方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于大语言模型的大坝应急响应规则问答推荐系统构建方法,其特征在于,所述步骤(1)中应急响应文档编码的具体步骤如下:
3.根据权利要求1所述的基于大语言模型的大坝应急响应规则问答推荐系统构建方法,其特征在于,所述步骤(2)中的用户输入检验的具体步骤如下:对于用户输入q,使用冒犯性语言检测模型检测识别用户输入是否使用冒犯性语言内容或倾向的违规内容,每一类内容或倾向的识别结果记为{r1,r2,...,rn};用户输入q的最终检验结果r,如以下公式所示:
4.根据权利要求1所述的基于大语言模型的大坝应急响应规则问答推荐系统构建方法,其特征在于,所述步骤(3)中的用户输入场景识别与关键词提取的具体步骤如下:
5.根据权利要求1所述...
【专利技术属性】
技术研发人员:毛莺池,陈秉睿,丁玉江,卢俊,戚荣志,吴波,李玲,潘祯祥,杨先涛,谢文明,罗松,方超磊,申军成,杨骕騑,吴胜亮,龙海涛,陈文梦,
申请(专利权)人:河海大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。