System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机,特别是涉及一种配置信息的推荐方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着计算机技术以及互联网技术的发展,数据成为企业的核心资产,对数据进行保护是保护企业资产的有效手段之一。在对数据进行分析处理的过程中,结构化查询语句常常用于与数据库表交互进行数据分析或计算,比如,spark sql通常指的是在apachespark这种分布式开源系统中执行的一项操作,该操作涉及对存储在分布式系统中的结构化数据进行处理和查询。
2、然而,目前任务的配置信息的推荐方式中,主要包括人工设置和自动推荐两大类。传统地,数据开发工程师根据个人经验,设置若干任务的默认执行参数,或根据数据量大小和sql操作复杂度进行多次手动调整,但由于开发人员对spark sql、presto等sql执行引擎的理解和专业程度参差不齐,导致手动设置参数的结果不稳定,需要较高的人工成本。对此,研究社区提出了许多自动调优算法,但这些算法大都采用机器学习方法对参数配置和执行结果之间的关系进行建模,并使用遗传算法进行配置搜索,通常需要积累大量的执行数据,依赖历史任务的性能评估和反馈循环来逐步调整配置信息,因此在实际执行过程中,需要对不同任务进行多次执行,就会带来额外的调优开销,即需要耗费大量的时间开销和内存开销,因此,如何在有效保证任务单次执行的资源消耗降低的同时,又能够有效提高各任务的执行配置信息的获取效率成为亟需解决的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一
2、第一方面,本申请提供了一种配置信息的推荐方法。所述方法包括:响应于针对sql任务的配置获取操作,提取所述sql任务对应的sql语句的文本特征;对所述文本特征进行编码,得到编码向量;对所述编码向量进行分类处理,得到所述sql任务对应的任务类别;基于所述任务类别,从任务配置集合中确定所述sql任务对应的推荐配置信息,以使在处理所述sql任务时,基于所述推荐配置信息执行所述sql任务。
3、第二方面,本申请还提供了一种配置信息的推荐装置。所述装置包括:提取模块,用于响应于针对sql任务的配置获取操作,提取所述sql任务对应的sql语句的文本特征;编码模块,用于对所述文本特征进行编码,得到编码向量;处理模块,用于对所述编码向量进行分类处理,得到所述sql任务对应的任务类别;确定模块,用于基于所述任务类别,从任务配置集合中确定所述sql任务对应的推荐配置信息,以使在处理所述sql任务时,基于所述推荐配置信息执行所述sql任务。
4、第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:响应于针对sql任务的配置获取操作,提取所述sql任务对应的sql语句的文本特征;对所述文本特征进行编码,得到编码向量;对所述编码向量进行分类处理,得到所述sql任务对应的任务类别;基于所述任务类别,从任务配置集合中确定所述sql任务对应的推荐配置信息,以使在处理所述sql任务时,基于所述推荐配置信息执行所述sql任务。
5、第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:响应于针对sql任务的配置获取操作,提取所述sql任务对应的sql语句的文本特征;对所述文本特征进行编码,得到编码向量;对所述编码向量进行分类处理,得到所述sql任务对应的任务类别;基于所述任务类别,从任务配置集合中确定所述sql任务对应的推荐配置信息,以使在处理所述sql任务时,基于所述推荐配置信息执行所述sql任务。
6、第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:响应于针对sql任务的配置获取操作,提取所述sql任务对应的sql语句的文本特征;对所述文本特征进行编码,得到编码向量;对所述编码向量进行分类处理,得到所述sql任务对应的任务类别;基于所述任务类别,从任务配置集合中确定所述sql任务对应的推荐配置信息,以使在处理所述sql任务时,基于所述推荐配置信息执行所述sql任务。
7、上述配置信息的推荐方法、装置、计算机设备、存储介质和计算机程序产品,通过响应于针对sql任务的配置获取操作,提取sql任务对应的sql语句的文本特征,并对文本特征进行编码,得到编码向量;对编码向量进行分类处理,得到sql任务对应的任务类别;基于任务类别,从任务配置集合中确定sql任务对应的推荐配置信息,以使在处理sql任务时,基于推荐配置信息执行sql任务。由于任务配置集合是由预先经过筛选得到的具有代表性的配置信息构成的,故通过提取不同sql任务对应的sql语句的文本特征,并对不同sql任务的文本特征的编码向量进行分类处理,即可实现快速准确的将不同sql文本特征划分到不同sql任务类别中,并从任务配置集合中抽取对应类别的最优配置信息,能够快速准确的分析不同任务的sql文本特征并提供针对性的推荐配置,节省了人力成本和资源开销,即在有效提高各任务的执行配置信息的获取效率的同时,也可以有效降低任务单次执行时的资源消耗。
本文档来自技高网...【技术保护点】
1.一种配置信息的推荐方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述响应于针对SQL任务的配置获取操作,提取所述SQL任务对应的SQL语句的文本特征之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述候选配置项中包括自动推荐项;
4.根据权利要求1所述的方法,其特征在于,所述响应于针对SQL任务的配置获取操作,提取所述SQL任务对应的SQL语句的文本特征之前,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述基于各所述历史SQL任务和所述任务配置集合,构建训练集和验证集,包括:
7.根据权利要求5所述的方法,其特征在于,所述基于各所述历史SQL任务和所述任务配置集合,构建训练集和验证集,包括:
8.根据权利要求5所述的方法,其特征在于,所述利用所述训练集和所述验证集对初始分类模型进行训练,以得到训练后的任务分类模型,包括:
9.根据权利要求1所述的方法,其特征在
10.根据权利要求9所述的方法,其特征在于,所述对所述文本特征进行编码,得到编码向量,包括:
11.根据权利要求1所述的方法,其特征在于,所述对所述编码向量进行分类处理,得到所述SQL任务对应的任务类别,包括:
12.一种配置信息的推荐装置,其特征在于,所述装置包括:
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种配置信息的推荐方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述响应于针对sql任务的配置获取操作,提取所述sql任务对应的sql语句的文本特征之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述候选配置项中包括自动推荐项;
4.根据权利要求1所述的方法,其特征在于,所述响应于针对sql任务的配置获取操作,提取所述sql任务对应的sql语句的文本特征之前,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述基于各所述历史sql任务和所述任务配置集合,构建训练集和验证集,包括:
7.根据权利要求5所述的方法,其特征在于,所述基于各所述历史sql任务和所述任务配置集合,构建训练集和验证集,包括:
8.根据权利要求5所述的方法,其特征在于,所述利用所述训练集和所述验证集对初始分类模型进行训练,以得...
【专利技术属性】
技术研发人员:章子晗,黎洋,方懿德,黄丹青,杨晓峰,陈鹏,蒋杰,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。