System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及计算机,具体地,涉及一种sql语句的处理方法、装置、介质、设备及产品。
技术介绍
1、cdp(customer-data-platform,客户数据平台)系统用于收集和统一来自多个来源的客户数据,将来自不同场景、不同渠道的实时数据和离线数据进行采集、整合、分析和应用。在cdp系统通常可以设置多个计算指标,如可以为每个指标配置一个独立计算任务,因此在cdp系统中通常会产生大规模任务管理的问题。相关技术中,由于单指标增多,任务也随之增多,多个任务大量并发调度会影响数据产出时效性。
技术实现思路
1、提供该
技术实现思路
部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
2、第一方面,本公开提供一种sql语句的处理方法,所述方法包括:
3、获取指标分组下的多个指标;
4、生成所述指标分组下的每一指标对应的语法树,其中,所述语法树用于对所述指标进行拆分获得所述指标对应的多个节点,所述语法树中的叶子节点为不可进行拆分的节点;
5、对所述指标对应的语法树中的节点进行合并,获得所述指标分组对应的节点关系;
6、根据所述指标分组对应的节点关系,生成所述指标分组对应的sql语句。
7、第二方面,本公开提供一种sql语句的处理装置,所述装置包括:
8、获取模块,用于获取指
9、第一生成模块,用于生成所述指标分组下的每一指标对应的语法树,其中,所述语法树用于对所述指标进行拆分获得所述指标对应的多个节点,所述语法树中的叶子节点为不可进行拆分的节点;
10、合并模块,用于对所述指标对应的语法树中的节点进行合并,获得所述指标分组对应的节点关系;
11、第二生成模块,用于根据所述指标分组对应的节点关系,生成所述指标分组对应的sql语句。
12、第三方面,本公开提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理装置执行时实现第一方面所述方法的步骤。
13、第四方面,本公开提供一种电子设备,包括:
14、存储装置,其上存储有计算机程序;
15、处理装置,用于执行所述存储装置中的所述计算机程序,以实现第一方面所述方法的步骤。
16、第五方面,本公开提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所述的方法的步骤。
17、在上述技术方案中,针对多个指标可以分别生成该多个指标对应的语法树,以能够基于该多个语法树对其中的节点进行合并获得该多个指标形成的指标分组对应的节点关系,并基于该指标分组对应的节点关系生成对应的sql语句。由此,通过上述技术方案,基于生成的指标分组对应的sql语句,可以将多个单指标对应的任务进行合并,以获得指标分组的计算任务,可以有效降低多个单指标任务处理过程中对数据库或数仓hdfs(hadoop分布式文件系统)的访问次数,以简化大规模任务处理过程中的数据查询和写入过程,提高数据产出的效率。并且可以降低数据库或数仓的并发访问以及进行数据传输导致的时间和资源消耗,进而提高指标分组任务执行的效率。
18、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
本文档来自技高网...【技术保护点】
1.一种SQL语句的处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述指标对应的语法树中的节点进行合并,获得所述指标分组对应的节点关系,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述节点信息确定所述节点对应的待合并的节点组,包括:
4.根据权利要求2所述的方法,其特征在于,所述更新所述合并节点的依赖关系和节点信息,包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述根据所述指标分组对应的节点关系,生成所述指标分组对应的SQL语句,包括:
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
8.一种SQL语句的处理装置,其特征在于,所述装置包括:
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,该计算机程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
11.一种计算机程序产品,
...【技术特征摘要】
1.一种sql语句的处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述指标对应的语法树中的节点进行合并,获得所述指标分组对应的节点关系,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述节点信息确定所述节点对应的待合并的节点组,包括:
4.根据权利要求2所述的方法,其特征在于,所述更新所述合并节点的依赖关系和节点信息,包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述...
【专利技术属性】
技术研发人员:王长进,刘陈,姚满铎,王潇,
申请(专利权)人:北京有竹居网络技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。