System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、计算机设备、可读存储介质和程序产品制造方法及图纸_技高网

数据处理方法、装置、计算机设备、可读存储介质和程序产品制造方法及图纸

技术编号:44670360 阅读:4 留言:0更新日期:2025-03-19 20:25
本申请涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。该方法包括:获取历史结构化查询语句;基于历史结构化查询语句生成第一哈希值,并根据第一哈希值查询与历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板;基于历史结构化查询语句,对目标结构化查询语句模板以及目标自然语言描述模板进行参数替换,生成历史结构化查询语句的示例数据;示例数据用于辅助语言模型输出查询结果。采用本方法能够提高示例数据的生成效率,进而提高大语言模型的输出准确度。

【技术实现步骤摘要】

本申请涉及人工智能,特别是涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、随着深度学习技术的兴起,应用大语言模型进行text2sql转换时,虽然在理解和生成自然语言方面表现出色,但它们也面临“幻觉”问题,即缺乏足够上下文信息时,模型可能生成不准确或与实际查询意图不符的sql(structured query language,结构化查询语言)语句。这时可以通过few-shot prompting(少样本提示)示例数据来有效缓解。

2、传统技术中,通过给模型提供少量但高度相关的示例数据来改善其在特定任务上的表现。而为了给模型提供与特定查询任务密切相关的few-shot prompting示例数据,通常需要人工基于每一特定查询任务创建示例数据,以及手动更新和维护该示例数据。

3、然而,传统技术中,人工创建示例数据,操作复杂度高,生成示例的效率较低,无法满足大语言模型的应用需求。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本申请提供了一种数据处理方法,包括:

3、获取历史结构化查询语句;

4、基于所述历史结构化查询语句生成第一哈希值,并根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板;

5、基于所述历史结构化查询语句,对所述目标结构化查询语句模板以及所述目标自然语言描述模板进行参数替换,生成所述历史结构化查询语句的示例数据;所述示例数据用于辅助语言模型输出查询结果。

6、在其中一个实施例中,所述方法还包括:

7、将各所述历史结构化查询语句的示例数据存储至数据库实例中,构建示例数据集。

8、在其中一个实施例中,所述方法还包括:

9、接收用户的查询请求,所述查询请求中包含文本格式的查询信息;

10、基于所述查询信息,在预先构建的所述示例数据集中匹配与所述查询信息关联的目标示例数据;

11、将所述目标示例数据输入至所述语言模型中,生成所述查询信息对应的目标结构化查询语句;

12、基于所述语言模型和所述目标结构化查询语句,输出所述查询请求对应的查询结果。

13、在其中一个实施例中,所述基于所述历史结构化查询语句生成第一哈希值,包括:

14、对所述历史结构化查询语句进行参数化处理,得到第一结构化查询语句;

15、将所述第一结构化查询语句解析为抽象语法树,并对所述抽象语法树进行序列化,生成所述第一结构化查询语句对应的第一哈希值。

16、在其中一个实施例中,结构化查询语句模板与自然语言描述模板间存在映射关系,所述根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板,包括:

17、在结构化查询语句模板对应的各哈希值中,查询与所述第一哈希值一致的目标哈希值;

18、将所述目标哈希值对应的结构化查询语句模板,确定为与所述历史结构化查询语句匹配的目标结构化查询语句模板;

19、基于结构化查询语句模板与自然语言描述模板间的映射关系,确定所述目标结构化查询语句模板对应的目标自然语言描述模板。

20、在其中一个实施例中,所述根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板之前,所述方法还包括:

21、根据所述第一哈希值,在已创建的所述示例数据集对应的各哈希值中查询是否存在与所述第一哈希值相同的目标哈希值;

22、若存在所述目标哈希值,则将所述目标哈希值对应的示例数据确定为所述历史结构化查询语句的示例数据。

23、第二方面,本申请还提供了一种数据处理装置,包括:

24、获取模块,用于获取历史结构化查询语句;

25、匹配模块,用于基于所述历史结构化查询语句生成第一哈希值,并根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板;

26、第一生成模块,用于基于所述历史结构化查询语句,对所述目标结构化查询语句模板以及所述目标自然语言描述模板进行参数替换,生成所述历史结构化查询语句的示例数据;所述示例数据用于辅助语言模型输出查询结果。

27、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

28、获取历史结构化查询语句;

29、基于所述历史结构化查询语句生成第一哈希值,并根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板;

30、基于所述历史结构化查询语句,对所述目标结构化查询语句模板以及所述目标自然语言描述模板进行参数替换,生成所述历史结构化查询语句的示例数据;所述示例数据用于辅助语言模型输出查询结果。

31、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

32、获取历史结构化查询语句;

33、基于所述历史结构化查询语句生成第一哈希值,并根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板;

34、基于所述历史结构化查询语句,对所述目标结构化查询语句模板以及所述目标自然语言描述模板进行参数替换,生成所述历史结构化查询语句的示例数据;所述示例数据用于辅助语言模型输出查询结果。

35、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

36、获取历史结构化查询语句;

37、基于所述历史结构化查询语句生成第一哈希值,并根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板;

38、基于所述历史结构化查询语句,对所述目标结构化查询语句模板以及所述目标自然语言描述模板进行参数替换,生成所述历史结构化查询语句的示例数据;所述示例数据用于辅助语言模型输出查询结果。

39、上述数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,获取历史结构化查询语句;基于所述历史结构化查询语句生成第一哈希值,并根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板;基于所述历史结构化查询语句,对所述目标结构化查询语句模板以及所述目标自然语言描述模板进行参数替换,生成所述历史结构化查询语句的示例数据;所述示例数据用于辅助语言模型输出查询结果。采用本方法,基于预先构建的结构化查询语句模板、自然语言本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述历史结构化查询语句生成第一哈希值,包括:

5.根据权利要求1所述的方法,其特征在于,结构化查询语句模板与自然语言描述模板间存在映射关系,所述根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板,包括:

6.根据权利要求2所述的方法,其特征在于,所述根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板之前,所述方法还包括:

7.一种数据处理装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述历史结构化查询语句生成第一哈希值,包括:

5.根据权利要求1所述的方法,其特征在于,结构化查询语句模板与自然语言描述模板间存在映射关系,所述根据所述第一哈希值查询与所述历史结构化查询语句匹配的目标结构化查询语句模板以及目标自然语言描述模板,包括:

6.根据权利要求2所述的方法,其特征在于,所述根据所述第一哈希值查询与所述历...

【专利技术属性】
技术研发人员:全锦琪李韬
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1