System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于大模型的物联网数据处理方法、系统、设备及介质技术方案_技高网

基于大模型的物联网数据处理方法、系统、设备及介质技术方案

技术编号:43764036 阅读:0 留言:0更新日期:2024-12-24 16:06
本发明专利技术公开了基于大模型的物联网数据处理方法、系统、设备及介质,属于人工智能技术领域,本发明专利技术要解决的技术问题为如何实现物联网平台用户在大模型的服辅助下对数据进行最优化处理,提高数据处理效率,采用的技术方案为:将用户要求通过大模型解析成FlinkSQL;校验大模型生成的FlinkSQL:通过大模型生成FlinkSQL后,使用物联网设备上报的样例数据对生成的FlinkSQL进行检验;运行生成的FlinkSQL进行流处理。

【技术实现步骤摘要】

本专利技术涉及人工智能,具体地说是一种基于大模型的物联网数据处理方法、系统、设备及介质


技术介绍

1、随着物联网(iot)技术的快速发展,海量实时数据的产生对数据处理能力提出了前所未有的挑战。多数物联网平台都使用flink框架来进行流处理。flinksql作为流处理查询语言,能够支持实时数据的处理与分析。但是对于物联网使用人员来说书写flinksql是一件费时费力的事情。

2、传统的数据处理方式往往难以应对物联网数据的高并发、多样性及实时性要求。与基于大模型生成flinksql相比传统的物联网平台使用flink框架会有以下劣势:

3、①缺乏智能化优化:传统情况下flinksql查询语句通常需要由开发者手动编写或根据预设的规则生成。这可能导致查询语句无法针对特定物联网场景进行最优化。

4、②灵活性受限:没有大模型的支持,查询语句的灵活性可能会受到限制,难以适应不同场景下的数据处理需求。

5、③人力成本较高:在没有大模型辅助的情况下,开发者需要花费更多的时间和精力来编写和调整flinksql查询语句。这不仅增加了开发成本,还可能降低数据处理的速度和准确性。

6、故如何实现物联网平台用户在大模型的服辅助下对数据进行最优化处理,提高数据处理效率是目前亟待解决的技术问题。


技术实现思路

1、本专利技术的技术任务是提供一种基于大模型的物联网数据处理方法、系统、设备及介质,来解决如何实现物联网平台用户在大模型的服辅助下对数据进行最优化处理,提高数据处理效率的问题。

2、本专利技术的技术任务是按以下方式实现的,一种基于大模型的物联网数据处理方法,该方法具体如下:

3、将用户要求通过大模型解析成flinksql;

4、校验大模型生成的flinksql:通过大模型生成flinksql后,使用物联网设备上报的样例数据对生成的flinksql进行检验;

5、运行生成的flinksql进行流处理。

6、作为优选,用户要求通过大模型解析成flinksql具体如下:

7、通过与大模型进行交互,为大模型预设提示词,使大模型能够解析用户输入的自然语言,从而为物联网流数据处理生成更加高效准确的flinksql。

8、更优地,提示词prompt的格式如下:

9、“xx是一名程序员,xx将根据用户给的【要求】,生成准确高效的flinksql语句,并且只输出最终结果,【要求】如下:”

10、根据提示词prompt格式,将用户要求输入到大模型中,大模型以flinksql语句的形式返回,根据大模型返回的sql语句用于后续的数据处理。

11、作为优选,对生成的flinksql进行检验情况如下:

12、①校验结果符合用户预期:通过使用样例数据对flinksql进行校验,校验后输出结果如果符合用户预期,则用户确认后即可将生成的flinksql语句提供给后续的程序使用;

13、②校验结果不符合用户预期:通过使用样例数据对flinksql进行校验,若校验结果未符合用户的要求,则用户继续对话大模型,提出自己的要求,让大模型生成更加准确、高效、符合预期的flinksql;或。用户对生成的flinksql进行调整,使调整后的flinksql符合自己的要求。

14、作为优选,运行生成的flinksql进行流处理具体如下:

15、通过大模型生成flinksql并校验成功后,将生成的flinksql规则设置到物联网平台流处理程序当中;

16、flink框架的流处理程序根据flinksql规则对数据进行处理,并输出用户期望的数据格式;

17、用户将输出结果推送到第三方目的地。

18、一种基于大模型的物联网数据处理系统,该系统包括:

19、解析模块,用于将用户要求通过大模型解析成flinksql;

20、校验模块,用于校验大模型生成的flinksql:通过大模型生成flinksql后,使用物联网设备上报的样例数据对生成的flinksql进行检验;

21、流处理模块,用于运行生成的flinksql进行流处理。

22、作为优选,所述解析模块通过与大模型进行交互,为大模型预设提示词,使大模型能够解析用户输入的自然语言,从而为物联网流数据处理生成更加高效准确的flinksql;

23、其中,提示词prompt的格式如下:

24、“xx是一名程序员,xx将根据用户给的【要求】,生成准确高效的flinksql语句,并且只输出最终结果,【要求】如下:”

25、根据提示词prompt格式,将用户要求输入到大模型中,大模型以flinksql语句的形式返回,根据大模型返回的sql语句用于后续的数据处理。

26、更优地,所述校验模块按照校验结果的不同包括如下两种情况:

27、①校验结果符合用户预期:通过使用样例数据对flinksql进行校验,校验后输出结果如果符合用户预期,则用户确认后即可将生成的flinksql语句提供给后续的程序使用;

28、②校验结果不符合用户预期:通过使用样例数据对flinksql进行校验,若校验结果未符合用户的要求,则用户继续对话大模型,提出自己的要求,让大模型生成更加准确、高效、符合预期的flinksql;或。用户对生成的flinksql进行调整,使调整后的flinksql符合自己的要求;

29、所述流处理模块的工作过程具体如下:

30、(1)通过大模型生成flinksql并校验成功后,将生成的flinksql规则设置到物联网平台流处理程序当中;

31、(2)flink框架的流处理程序根据flinksql规则对数据进行处理,并输出用户期望的数据格式;

32、(3)用户将输出结果推送到第三方目的地。

33、一种电子设备,包括:存储器和至少一个处理器;

34、其中,所述存储器存储计算机执行指令;

35、所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上述的基于大模型的物联网数据处理方法。

36、一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行时,实现如上述的基于大模型的物联网数据处理方法。

37、本专利技术的基于大模型的物联网数据处理方法、系统、设备及介质具有以下优点:

38、(一)本专利技术基于大模型生成flinksql,旨在通过大模型与流处理技术相结合,实现帮助用户高效便捷的进行物联网数据的实时分析与处理,用户通过自然语言描述告诉大模型自己需要的业务数据,大模型根据用户输入的提示语生成优化的flinksql查询语句;

39、(二)本专利技术旨在实现物联网平台用户在大模型的辅助下快速生成流处理的flinksql本文档来自技高网...

【技术保护点】

1.一种基于大模型的物联网数据处理方法,其特征在于,该方法具体如下:

2.根据权利要求1所述的基于大模型的物联网数据处理方法,其特征在于,用户要求通过大模型解析成FlinkSQL具体如下:

3.根据权利要求2所述的基于大模型的物联网数据处理方法,其特征在于,提示词Prompt的格式如下:

4.根据权利要求1所述的基于大模型的物联网数据处理方法,其特征在于,对生成的FlinkSQL进行检验情况如下:

5.根据权利要求1所述的基于大模型的物联网数据处理方法,其特征在于,运行生成的FlinkSQL进行流处理具体如下:

6.一种基于大模型的物联网数据处理系统,其特征在于,该系统包括:

7.根据权利要求6所述的基于大模型的物联网数据处理系统,其特征在于,所述解析模块通过与大模型进行交互,为大模型预设提示词,使大模型能够解析用户输入的自然语言,从而为物联网流数据处理生成高效准确的FlinkSQL;

8.根据权利要求6或7所述的基于大模型的物联网数据处理系统,其特征在于,所述校验模块按照校验结果的不同包括如下两种情况:

9.一种电子设备,其特征在于,包括:存储器和至少一个处理器;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行时,实现如权利要求1至5中任一所述的基于大模型的物联网数据处理方法。

...

【技术特征摘要】

1.一种基于大模型的物联网数据处理方法,其特征在于,该方法具体如下:

2.根据权利要求1所述的基于大模型的物联网数据处理方法,其特征在于,用户要求通过大模型解析成flinksql具体如下:

3.根据权利要求2所述的基于大模型的物联网数据处理方法,其特征在于,提示词prompt的格式如下:

4.根据权利要求1所述的基于大模型的物联网数据处理方法,其特征在于,对生成的flinksql进行检验情况如下:

5.根据权利要求1所述的基于大模型的物联网数据处理方法,其特征在于,运行生成的flinksql进行流处理具体如下:

6.一种基于大模型的物联网数据处理系统,其特征在于,该系统...

【专利技术属性】
技术研发人员:邹先超田昌英魏金雷
申请(专利权)人:浪潮云信息技术股份公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1