System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 实时分析任务生成的方法、装置、设备及计算机存储介质制造方法及图纸_技高网

实时分析任务生成的方法、装置、设备及计算机存储介质制造方法及图纸

技术编号:44132441 阅读:3 留言:0更新日期:2025-01-24 22:52
本申请公开了一种实时分析任务生成的方法、装置、设备及计算机存储介质,涉及物联网技术领域。该方法包括:获取待分析数据流、外层架构、内层架构、聚合条件参数和动态输出字段;根据消息类型与外层架构的关系确定待分析数据流的外层架构,基于外层架构解析待分析数据流中的产品字段和动态字段集合;根据产品字段与内层架构的关系确定内层架构并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据;基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和SQL语句生成规则,生成实时分析任务。本申请实施例基于两层架构生成分析任务,可以根据配置信息的变化调整,提高了任务生成的灵活性和扩展性。

【技术实现步骤摘要】

本申请属于物联网,尤其涉及一种实时分析任务生成的方法、装置、设备及计算机存储介质


技术介绍

1、物联网平台对设备数据进行分析时,由于设备的数据量较大以及设备信息复杂等原因,设备数据分析一般采用离线批量处理。但随着物联网平台对设备数据需要实时分析的场景越来越多,设备数据的实时分析愈发重要。

2、现有的实时分析任务生成时需要用户按照自己的需求,为每种设备编写基于特定的数据模型和报文的实时分析代码,如果新设备加入或现有设备的数据模型和报文发生变化时,需要人手动重新编写或修改代码,生成实时分析任务的灵活性和扩展性较差。


技术实现思路

1、本申请实施例提供一种实时分析任务生成的方法、装置、设备及计算机存储介质,以解决现有技术的实时分析任务生成方法的灵活性和扩展性较差的问题。

2、第一方面,本申请实施例提供一种实时分析任务生成的方法,该方法包括:

3、获取待分析数据流和配置信息,配置信息包括输入信息、处理信息和输出信息,输入信息包括外层架构、内层架构,处理信息包括聚合条件参数,输出信息包括动态输出字段;

4、根据数据流的消息类型与外层架构的关系确定待分析数据流的外层架构,并基于外层架构解析出待分析数据流中的产品字段和动态字段集合;

5、根据产品字段与内层架构的关系确定内层架构,并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据;

6、基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询sql语句生成规则,确定sql语句;

7、将sql语句发送至计算引擎执行,生成实时分析任务。

8、第二方面,本申请实施例提供了一种实时分析任务生成的装置,该装置包括:

9、获取模块,用于获取待分析数据流和配置信息,配置信息包括输入信息、处理信息和输出信息,输入信息包括外层架构、内层架构,处理信息包括聚合条件参数,输出信息包括动态输出字段;

10、解析模块,用于根据数据流的消息类型与外层架构的关系确定待分析数据流的外层架构,并基于外层架构解析出待分析数据流中的产品字段和动态字段集合;

11、解析模块,还用于根据产品字段与内层架构的关系确定内层架构,并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据;

12、确定模块,用于基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询sql语句生成规则,确定sql语句;

13、生成模块,用于将sql语句发送至计算引擎执行,生成实时分析任务。

14、第三方面,本申请实施例提供了一种终端设备,该设备包括:处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时实现如第一方面的实时分析任务生成的方法。

15、第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面的实时分析任务生成的方法。

16、第五方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备执行如第一方面的实时分析任务生成的方法。

17、本申请实施例提供一种实时分析任务生成的方法、装置、设备及计算机存储介质,该方法首先获取待分析数据流和配置信息,配置信息包括输入信息、处理信息和输出信息,输入信息包括外层架构、内层架构,处理信息包括聚合条件参数,输出信息包括动态输出字段。根据待分析数据流的消息类型与外层架构类型的关系确定外层架构,并基于外层架构解析出待分析数据流中的产品字段和动态字段集合;使得系统能够灵活地处理不同格式的数据流,增强了系统的通用性和扩展性。根据产品字段与内层架构的关系确定内层架构,并基于内层架构、动态字段集合和动态输出字段解析出动态字段集合中的动态输出字段数据;通过解析出产品字段和动态字段集合,可以处理动态变化的属性或事件数据,允许系统适应不断变化的数据特征。基于内层架构、外层架构、产品字段、动态输出字段数据和聚合条件参数确定结构化查询sql语句。将sql语句发送至计算引擎执行,生成实时分析任务。使用两层架构结合,外层架构用于处理固定不变的结构数据字段,内层架构用于处理动态变化的属性或事件数据,基于两层架构确定sql语句,可以根据实时数据流和配置信息的变化即时调整,从而实现了实时分析任务的动态生成,提高了实时分析任务生成的灵活性和扩展性。

本文档来自技高网...

【技术保护点】

1.一种实时分析任务生成的方法,其特征在于,包括:

2.根据权利要求1所述的实时分析任务生成的方法,其特征在于,所述获取待分析数据流,包括:

3.根据权利要求1所述的实时分析任务生成的方法,其特征在于,获取配置信息,包括:

4.根据权利要求1所述的实时分析任务生成的方法,其特征在于,所述配置信息还包括窗口计算模式、窗口时间,所述基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询SQL语句生成规则,确定SQL语句,包括:

5.根据权利要求4所述的实时分析任务生成的方法,其特征在于,所述配置信息还包括项目字段,在将所述SQL语句发送至计算引擎,生成实时分析任务之后,所述方法还包括:

6.根据权利要求1所述的实时分析任务生成的方法,其特征在于,所述待分析数据流按照预设规则分组存储,将所述SQL语句发送至计算引擎执行,生成实时分析任务,包括:

7.一种实时分析任务生成的装置,其特征在于,所述装置包括:

8.一种终端设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的实时分析任务生成的方法。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的实时分析任务生成的方法。

10.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-6任意一项所述的实时分析任务生成的方法。

...

【技术特征摘要】

1.一种实时分析任务生成的方法,其特征在于,包括:

2.根据权利要求1所述的实时分析任务生成的方法,其特征在于,所述获取待分析数据流,包括:

3.根据权利要求1所述的实时分析任务生成的方法,其特征在于,获取配置信息,包括:

4.根据权利要求1所述的实时分析任务生成的方法,其特征在于,所述配置信息还包括窗口计算模式、窗口时间,所述基于内层架构、外层架构、产品字段、动态输出字段数据、聚合条件参数和预设的结构化查询sql语句生成规则,确定sql语句,包括:

5.根据权利要求4所述的实时分析任务生成的方法,其特征在于,所述配置信息还包括项目字段,在将所述sql语句发送至计算引擎,生成实时分析任务之后,所述方法还包括:

6.根据权利要求1所述的实时分析任务生成的方法,其特征在...

【专利技术属性】
技术研发人员:龚雪菲刘晓邓文祥
申请(专利权)人:中移物联网有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1