System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于大语言模型的数据治理方法、装置、设备、存储介质及产品制造方法及图纸_技高网

基于大语言模型的数据治理方法、装置、设备、存储介质及产品制造方法及图纸

技术编号:44455772 阅读:0 留言:0更新日期:2025-02-28 19:02
本申请公开了一种基于大语言模型的数据治理方法、装置、设备、存储介质及产品,涉及数据治理技术领域,包括:获取目标用户输入大语言模型的自然语言信息;根据自然语言信息识别关键要素,基于关键要素进行上下文补充,得到提示词;根据提示词生成数据治理任务流,数据治理任务流包括基于提示词生成至少一个数据治理任务;根据数据治理任务生成数据治理工具参数,根据数据治理工具参数进行数据治理,该方法通过识别关键要素得到高质量提示指令,提升数据治理结果的稳定性和可靠性,并根据治理结果的反馈对治理任务使用的治理工具以及治理工具参数进行自我优化,提高数据治理效率和决策质量,避免在处理复杂数据治理任务时结果发散的问题。

【技术实现步骤摘要】

本申请涉及数据治理,尤其涉及基于大语言模型的数据治理方法、装置、设备、存储介质及产品


技术介绍

1、数据治理涵盖了一系列管理和操作工具,旨在有效管理组织的数据资源。管理层面的工具包括:数据架构管理、元数据管理、数据标准管理、主数据管理、数据质量管理、数据资产管理、数据安全管理、数据生存周期管理等;操作层面的工具包括:数据存储、数据采集、数据处理、数据共享交换、ai计算支撑、数据分析应用。

2、数据治理以数据源汇入为伊始,对数据进行清洗加工,继而在数据存储、数据计算、数据服务应用等环节进行持续的治理服务。其目的是将零散的、不标准的、不统一的数据整合起来,输出标准化和统一的数据源,为决策提供准确的数据依据。数据治理的组成要素主要包括数据源、数据集成、数据目录、数据架构、数据开发、数据质量、数据安全、数据服务组成。传统流程中,需要数据治理人员同时具备业务知识、数据管理能力和数据开发技术,门槛高,流程复杂,自动化程度低。这就导致大语言模型在反馈发散问题时表现不佳。


技术实现思路

1、本申请的主要目的在于提供一种基于大语言模型的数据治理方法、装置、设备、存储介质及产品,旨在解决现有技术中在大语言模型在反馈发散问题时表现不佳的技术问题。

2、为实现上述目的,本申请提出一种基于大语言模型的数据治理方法,所述基于大语言模型的数据治理方法包括:

3、在所述自然语言信息不缺失时,根据所述自然语言信息识别关键要素,得到对话主题、用户意图和实体;

4、在所述对话主题、所述用户意图以及所述实体事实核查合格时,根据所述对话主题、所述用户意图以及所述实体进行上下文补充,得到背景信息和细节信息;

5、根据所述背景信息和所述细节信息得到提示词。

6、在一实施例中,所述根据所述提示词生成数据治理任务流的步骤包括:

7、基于所述提示词得到数据治理复杂度;

8、在所述数据治理复杂度大于等于复杂度阈值时,基于所述提示词生成多个治理任务;

9、根据多个所述治理任务生成数据治理任务流。

10、在一实施例中,所述根据所述数据治理任务生成治理工具和数据治理工具参数,根据所述治理工具和所述数据治理工具参数进行数据治理的步骤包括:

11、根据所述数据治理任务得到执行动作,根据所述执行动作得到治理工具;

12、根据所述治理工具得到数据治理工具参数,根据所述数据治理工具参数进行数据治理。

13、在一实施例中,所述根据所述数据治理任务生成治理工具和数据治理工具参数,根据所述治理工具和所述数据治理工具参数进行数据治理的步骤之后,还包括:

14、获取治理结果;

15、根据所述治理结果进行治理质量评估,得到治理状态;

16、在所述治理状态为数据质量下降时,生成负面评价,并基于所述负面评价对所述数据治理工具参数进行更新;

17、在所述治理状态为数据质量上升时,生成正面评价,完成数据治理。

18、在一实施例中,所述在所述治理状态为数据质量下降时,生成负面评价,并基于所述负面评价对所述数据治理工具参数进行更新的步骤包括:

19、在所述治理状态为数据质量下降时,根据所述负面评价得到历史状态,并根据所述数据治理工具参数、所述治理工具得到历史动作;

20、根据所述历史状态和所述历史动作对所述大语言模型的参数向量进行优化,得到新的模型参数向量;

21、根据所述新的模型参数向量对所述数据治理工具参数进行更新。

22、此外,为实现上述目的,本申请还提出一种基于大语言模型的数据治理装置,所述基于大语言模型的数据治理装置包括:

23、获取模块,用于获取目标用户输入大语言模型的自然语言信息;

24、提示词生成模块,用于根据所述自然语言信息识别关键要素,基于所述关键要素进行上下文补充,得到提示词;

25、数据治理模块,用于根据所述提示词生成数据治理任务流,所述数据治理任务流包括基于所述提示词生成的至少一个数据治理任务;

26、所述数据治理模块,还用于根据所述数据治理任务生成治理工具和数据治理工具参数,根据所述治理工具和所述数据治理工具参数进行数据治理。

27、此外,为实现上述目的,本申请还提出一种基于大语言模型的数据治理设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的基于大语言模型的数据治理方法的步骤。

28、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的基于大语言模型的数据治理方法的步骤。

29、此外,为实现上述目的,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的基于大语言模型的数据治理方法的步骤。

30、本申请提出的一个或多个技术方案,至少具有以下技术效果:

31、通过识别关键要素得到高质量提示指令,提升数据治理结果的稳定性和可靠性,并根据治理结果的反馈对治理任务使用的治理工具以及治理工具参数进行自我优化,减少了对人工介入的需求,降低了人为因素带来的风险,提高数据治理效率和决策质量,避免在处理复杂数据治理任务时结果发散的问题。

本文档来自技高网...

【技术保护点】

1.一种基于大语言模型的数据治理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述自然语言信息识别关键要素,基于所述关键要素进行上下文补充,得到提示词的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述根据所述提示词生成数据治理任务流的步骤包括:

4.如权利要求1所述的方法,其特征在于,所述根据所述数据治理任务生成治理工具和数据治理工具参数,根据所述治理工具和所述数据治理工具参数进行数据治理的步骤包括:

5.如权利要求4所述的方法,其特征在于,所述根据所述数据治理任务生成治理工具和数据治理工具参数,根据所述治理工具和所述数据治理工具参数进行数据治理的步骤之后,还包括:

6.如权利要求5所述的方法,其特征在于,所述在所述治理状态为数据质量下降时,生成负面评价,并基于所述负面评价对所述数据治理工具参数进行更新的步骤包括:

7.一种基于大语言模型的数据治理装置,其特征在于,所述基于大语言模型的数据治理装置包括:

8.一种基于大语言模型的数据治理设备,其特征在于,所述基于大语言模型的数据治理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于大语言模型的数据治理程序,所述基于大语言模型的数据治理程序配置为实现如权利要求1至6中任一项所述的基于大语言模型的数据治理方法。

9.一种存储介质,其特征在于,所述存储介质上存储有基于大语言模型的数据治理程序,所述基于大语言模型的数据治理程序被处理器执行时实现如权利要求1至6中任一项所述的基于大语言模型的数据治理方法。

10.一种计算机程序产品,其特征在于,所述计算机程序产品包括基于大语言模型的数据治理程序,所述基于大语言模型的数据治理程序被处理器执行时实现如权利要求1至6中任一项所述的基于大语言模型的数据治理方法的步骤。

...

【技术特征摘要】

1.一种基于大语言模型的数据治理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述自然语言信息识别关键要素,基于所述关键要素进行上下文补充,得到提示词的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述根据所述提示词生成数据治理任务流的步骤包括:

4.如权利要求1所述的方法,其特征在于,所述根据所述数据治理任务生成治理工具和数据治理工具参数,根据所述治理工具和所述数据治理工具参数进行数据治理的步骤包括:

5.如权利要求4所述的方法,其特征在于,所述根据所述数据治理任务生成治理工具和数据治理工具参数,根据所述治理工具和所述数据治理工具参数进行数据治理的步骤之后,还包括:

6.如权利要求5所述的方法,其特征在于,所述在所述治理状态为数据质量下降时,生成负面评价,并基于所述负面评价对所述数据治理工具参数进行更新的步骤包...

【专利技术属性】
技术研发人员:韩威周晓阳刘渊渊卫俊俊郭彭鹏
申请(专利权)人:中国移动紫金江苏创新研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1