【技术实现步骤摘要】
本专利技术涉及人工智能，特别涉及一种基于召回策略优化rag的数据查询方法、装置及设备。
技术介绍
1、随着企业数字化转型的推进，数据分析已成为企业获取竞争优势的关键。大语言模型的能力与数据分析的发展趋势高度契合，因此数据分析成为大模型的重要落地场景之一。过去，数据分析主要依赖于专业的数据分析师或it部门，业务部门往往缺乏能力或工具来满足自身的数据分析需求。大语言模型通过自然语言处理和生成能力，能够降低数据分析工具的使用门槛，使非技术人员也能轻松进行数据分析。传统的数据分析方式往往需要用户具备一定的技术背景，通过拖拉拽等方式进行操作。而语言大模型支持的对话式交互方式，使得用户可以通过自然语言提问，自动完成数据分析和报表生成，极大地提升了用户的交互体验。
2、而现有的基于大语言模型进行数据查询的过程中，存在着对用户的自然语言识别不准确的问题。并且随着用户的实际需求不断变化，在处理过程面对不同的查询场景也存在一定的局限性，导致查询内容不准确，相关性不高。
技术实现思路
1、为了解决现有的通过大语言模型进行数据查询存在的识别不准确，应用过程具有局限性等问题，本专利技术提供了一种基于召回策略优化rag的数据查询方法、装置及设备。
2、为了实现上述专利技术目的，本专利技术提供了以下技术方案：
3、第一方面，本专利技术提供了一种基于召回策略优化rag的数据查询方法，所述方法包括：
4、获取用户问题；
5、基于构建好的向量数据库对所述用户
6、将用户问题、提示词和匹配到的所述向量数据输入至大语言模型中；其中，所述提示词包括限制条件和查询场景，所述限制条件用于指示大语言模型将自然语言转换为sql查询语句，所述查询场景用于指示大语言模型匹配对应的数据库；
7、根据大语言模型返回的sql查询语句在数据库中获取与所述用户问题匹配的原始数据；
8、通过所述大语言模型结合所述用户问题、所述原始数据及上下文生成问题回答，返回给用户。
9、根据一种具体的实施方式，上述数据查询方法中，所述向量数据库的构建过程包括：
10、将待查询的文本数据进行清洗并分块，通过嵌入模型将每块文本数据转换为向量数据；
11、基于elasticsearch向量数据库构建索引，并将所述向量数据存储在所述索引中，完成构建；
12、其中，所述待查询的文本数据包括数据库表结构、数据库表字段、基于数据库表的问答对。
13、根据一种具体的实施方式，上述数据查询方法中，通过所述嵌入模型对所述用户问题进行线性扫描，生成查询向量；所述嵌入模型采用bge-large-zh词嵌入模型。
14、根据一种具体的实施方式，上述数据查询方法中，所述索引采用近邻最近邻索引，通过贪心算法存储所述向量数据。
15、根据一种具体的实施方式，上述数据查询方法中，根据所述查询向量进行搜索匹配，包括：
16、计算所述查询向量和向量数据的余弦相似度；
17、基于预定阈值筛选出与所述查询向量最相似的向量数据。
18、根据一种具体的实施方式，上述数据查询方法中，所述预定阈值通过粒子群和所述问题回答的正确率结合优化得到最优阈值。
19、根据一种具体的实施方式，上述数据查询方法中，基于用户接收到原始数据后，获取用户对问题回答的满意度和建议，并根据所述满意度和建议优化待查询的文本数据。
20、根据一种具体的实施方式，上述数据查询方法中，所述方法还包括：
21、通过可视化工具将所述问题回答生成图表或表格进行呈现。
22、第二方面，本专利技术提供了一种基于召回策略优化rag的数据查询设备，所述设备包括：
23、对话模块，用于创建用户对话界面，并根据所述用户对话界面获取用户输入的用户问题和提示词；
24、处理模块，用于实现如上述任一项所述的一种基于召回策略优化rag的数据查询方法，生成问题回答。
25、第三方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如上述任一项所述的一种基于召回策略优化rag的数据查询方法。
26、与现有技术相比，本专利技术的有益效果：
27、本专利技术利用大语言模型结合rag技术，通过建立向量数据库，提取用户问题中的检索条件，再结合提示词工程限定应用场景范围，构建大语言模型用户对话问答的数据查询应用。同时本专利技术在rag技术中根据应用场景，提出了一种基于置信度优化筛选向量数据库搜索结果的优化方法，使得rag模型能够更准确的理解用户自然语言，规避理解偏差，实现了用户对话的海量数据查询功能，并且保证了模型的准确率和应用效果。
本文档来自技高网...【技术保护点】
1.一种基于召回策略优化RAG的数据查询方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于召回策略优化RAG的数据查询方法，其特征在于，所述向量数据库的构建过程包括：
3.根据权利要求2所述的一种基于召回策略优化RAG的数据查询方法，其特征在于，通过所述嵌入模型对所述用户问题进行线性扫描，生成查询向量；所述嵌入模型采用bge-large-zh词嵌入模型。
4.根据权利要求2所述的一种基于召回策略优化RAG的数据查询方法，其特征在于，所述索引采用近邻最近邻索引，通过贪心算法存储所述向量数据。
5.根据权利要求2所述的一种基于召回策略优化RAG的数据查询方法，其特征在于，根据所述查询向量进行搜索匹配，包括：
6.根据权利要求4所述的一种基于召回策略优化RAG的数据查询方法，其特征在于，所述预定阈值通过粒子群和所述问题回答的正确率结合优化得到最优阈值。
7.根据权利要求2所述的一种基于召回策略优化RAG的数据查询方法，其特征在于，基于用户接收到原始数据后，获取用户对问题回答的满意度和建议，并根据所述
8.根据权利要求1所述的一种基于召回策略优化RAG的数据查询方法，其特征在于，所述方法还包括：
9.一种基于召回策略优化RAG的数据查询设备，其特征在于，所述设备包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得计算机执行如权利要求1至8中任一项所述的一种基于召回策略优化RAG的数据查询方法。
...【技术特征摘要】
1.一种基于召回策略优化rag的数据查询方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于召回策略优化rag的数据查询方法，其特征在于，所述向量数据库的构建过程包括：
3.根据权利要求2所述的一种基于召回策略优化rag的数据查询方法，其特征在于，通过所述嵌入模型对所述用户问题进行线性扫描，生成查询向量；所述嵌入模型采用bge-large-zh词嵌入模型。
4.根据权利要求2所述的一种基于召回策略优化rag的数据查询方法，其特征在于，所述索引采用近邻最近邻索引，通过贪心算法存储所述向量数据。
5.根据权利要求2所述的一种基于召回策略优化rag的数据查询方法，其特征在于，根据所述查询向量进行搜索匹配，包括：
6.根据权利要求4所...
【专利技术属性】
技术研发人员：康琦，王东强，张凡，张续，韦壹，
申请(专利权)人：中交第一公路勘察设计研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。