System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及计算机自然语言信息处理及人工智能,特别涉及基于rag技术的专家系统的构建方法。
技术介绍
1、当前,依赖于知识库的专家系统尚未能完全模仿人类专家的广泛常识和适应能力。它们无法从经验中学习,与那些融合了机器学习技术的先进人工智能系统相比,它们严格受限于预设的编程规则和数据集。这些系统的知识领域往往较为狭窄,难以扩展到其他领域,随着专家系统的规模不断扩大,随之而来的是输出结果的准确性问题,错误率有所增加。在信息处理方面,大多数知识库系统主要依赖于关键词匹配或基于文档链接的知识检索方法,这导致了一些用户体验上的不足,如知识录入和维护过程的复杂性,以及答案呈现时缺乏整合性和逻辑性。
2、rag(retrieval-augmented generation)模型是一种结合了检索(retrieval)和生成(generation)的人工智能技术。与传统的基于知识库的专家系统相比,rag模型可以从大量的文本数据中检索信息,这使得它能够访问比传统专家系统更广泛的知识库,rag模型在生成回答时,不仅依赖于预设的规则,还能够理解和整合上下文信息,提供更加准确和连贯的答案。
3、因此,如何简化知识库的维护同时提供更友好、更逻辑化的答案呈现,从而生成更好的新一代专家系统成为本领域技术人员亟需解决的技术问题。
技术实现思路
1、有鉴于现有技术的上述缺陷,本专利技术提供基于rag技术的专家系统的构建方法,实现的目的是简化知识库的维护同时提供更友好、更逻辑化的答案呈现,从而
2、为实现上述目的,本专利技术公开了基于rag技术的专家系统的构建方法,包括如下步骤:
3、步骤1、知识库构建;
4、步骤2、检索系统构建;
5、步骤3、生成系统构建。
6、优选的,步骤1具体如下:
7、步骤1.1、数据准备,具体为:根据预期要生成的“领域专家”,挑选具有代表性的知识文档形成所需要的数据;
8、步骤1.2、数据解析,具体为:从各种格式的所述所需要的数据中进行解析生成包括标题和内容”的结构化文本;
9、步骤1.3、数据分块,具体为:对处理后的所述结构化文本进行分块;
10、将所述结构化文本按照固定的最大长度进行分块,并尽量使得同一个所述标题所对应的所述内容,均被划分到相同的文本块中;
11、步骤1.4、数据入库,具体为:采用语义向量模型对分块后的所述结构化文本进行向量化的表示;
12、对于同一个“领域专家”对应的知识库,把相应的向量化的所述文本块,存放在同一个“集合”中。
13、更优选的,在步骤1.1中,所述知识文档是多样化的。
14、更优选的,在步骤1.4中,将每一所述文本块的向量表示和对应的文本数据存储为索引。
15、优选的,步骤2具体如下:
16、步骤2.1、问题理解,具体为:对用户提问的意图进行理解,并根据上下文信息对用户的问题进行改写,并对改写后的问题进行向量化的表示;
17、步骤2.2、内容查询,具体为:根据所述用户问题的向量化的数值,从所述知识库中检索出与所述用户问题最相关的文本块的数值向量,并根据索引得到对应的所述文本块;
18、步骤2.3、相关度排序,具体为:采用重排模型对查询得到的所述文本块的文本数据,与所述用户问题进行相关度排序,得到最有价值的所述文本块;
19、步骤2.4、返回文本块,具体为:根据预先设置好的阈值,返回大于所述阈值的所有所述文本块,或者设置topk,根据相关度的排序,返回前k个数据。
20、优选的,步骤3具体如下:
21、步骤3.1、构建提示模板,具体为:根据专家系统的设计需求,进行提示模板的创建;
22、所述提示模板用于给定的场景下,引导大语言模型根据检索得到的文本块,生成满足用户查询意图的内容;
23、步骤3.2、文本生成,具体为:根据所述提示模板的内容构成,把查询得到的所述文本块,按照顺序填充进所述提示模板,并通过设定好大语言模型扮演的角色,引导大语言模型根据模板内容进行文本生成;
24、步骤3.3、结果展示,具体为:根据专家系统的设计需求,构建前端页面;
25、所述前端页面支持用户与大语言模型进行互动,用户可以根据自己的需求,选择不同类型的专家进行提问。
26、本专利技术的有益效果:
27、本专利技术的应用能够简化知识库的维护同时提供更友好、更逻辑化的答案呈现,从而生成更好的新一代专家系统。
28、以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本专利技术的目的、特征和效果。
本文档来自技高网...【技术保护点】
1.基于RAG技术的专家系统的构建方法;其特征在于,包括如下步骤:
2.根据权利要求1所述的基于RAG技术的专家系统的构建方法,其特征在于,步骤1具体如下:
3.根据权利要求2所述的基于RAG技术的专家系统的构建方法,其特征在于,在步骤1.1中,所述知识文档是多样化的。
4.根据权利要求2所述的基于RAG技术的专家系统的构建方法,其特征在于,在步骤1.4中,将每一所述文本块的向量表示和对应的文本数据存储为索引。
5.根据权利要求1所述的基于RAG技术的专家系统的构建方法,其特征在于,步骤2具体如下:
6.根据权利要求1所述的基于RAG技术的专家系统的构建方法,其特征在于,步骤3具体如下:
【技术特征摘要】
1.基于rag技术的专家系统的构建方法;其特征在于,包括如下步骤:
2.根据权利要求1所述的基于rag技术的专家系统的构建方法,其特征在于,步骤1具体如下:
3.根据权利要求2所述的基于rag技术的专家系统的构建方法,其特征在于,在步骤1.1中,所述知识文档是多样化的。
4.根据权利要求2所...
【专利技术属性】
技术研发人员:李永超,武晓东,叶军,方浩,罗红,吴愉帆,吕嘉文,
申请(专利权)人:上海电力设计院有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。