【技术实现步骤摘要】
本专利技术涉及大数据，具体而言，涉及一种任务处理方法、装置、存储介质、电子设备。
技术介绍
1、随着大数据集群处理业务德的增长，基于结构化查询语言(structured querylanguage，sql)的任务数量越来越多，并且数据库及数据表结构越来越复杂，从而导致在执行sql任务时容易存在执行失败和执行异常的情况。
2、现有技术提供的任务处理方法通常有以下三种：方法一、基于任务类型对任务进行打分评级并汇报评分结果；方法二、在任务提交至资源管理器上之后，检测任务执行过程中数据倾斜、垃圾回收(garbage collection，gc)异常、大表等问题并进行分析报告；方法三、支持特定数据库服务器对任务进行扫描表行数、缓存大小、输出行数、查询语句检查等数据汇报并生成数据报告。
3、然而，执行上述方法一的工具多年未维护、难以适配当前工具版本，并且该方法一包含的任务类型少；上述方法二未使用任务网关，且需要在任务提交后、在任务执行过程中进行数据检查；上述方法三仅支持特定数据库服务器而不适用于大数据集群。此外，三种方法均无法实现在提交sql任务前对sql任务进行检查、风险预警等处理操作，容易因未及时发现存在异常或风险的任务数据导致任务执行效率低。
4、由上分析可知，针对上述现有技术直接执行待提交的查询任务导致任务处理方法风险预警能力差、任务执行效率低的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种任务处理方法、装置、存储介
2、根据本专利技术实施例的一个方面，提供了一种任务处理方法，包括：
3、获取待提交的查询任务；对查询任务进行结构化查询语言解析，提取查询任务的风险信息；基于风险信息对查询任务进行重写，生成初始逻辑计划；对初始逻辑计划进行代价优化，得到目标逻辑计划；将目标逻辑计划提交至目标生产环境。
4、可选地，对查询任务进行结构化查询语言解析，提取查询任务的风险信息包括：对查询任务进行结构化查询语言解析，生成抽象语法树；基于抽象语法树对查询任务的任务逻辑进行分析，提取风险信息。
5、可选地，基于风险信息对查询任务进行重写，生成初始逻辑计划包括：确定风险信息对应的风险类型；基于风险类型对应的处理方式，对查询任务进行重写，得到重写结果；利用重写结果与预先绑定的元数据生成初始逻辑计划。
6、可选地，对初始逻辑计划进行代价优化，得到目标逻辑计划包括：对初始逻辑计划中使用的多个算子的运行开销进行预估，得到预估结果；基于预估结果对初始逻辑计划进行代价优化，得到目标逻辑计划。
7、可选地，对初始逻辑计划中使用的多个算子的运行开销进行预估，得到预估结果包括：基于多个代价评估指标的代价值，对初始逻辑计划中使用的多个算子的运行开销进行预估，得到预估结果，其中，多个代价评估指标包括以下至少部分指标：预估计算行数指标、处理器开销指标、硬盘读写指标、网络连通状态指标。
8、可选地，上述任务处理方法还包括：分别获取客户端与多个跨地域集群之间的网络路由距离与网络连通速度，其中，多个跨地域集群用于提供待查询数据，客户端用于对待查询数据进行查询；基于网络路由距离与网络连通速度计算得到网络连通状态指标的代价值。
9、可选地，基于网络路由距离与网络连通速度计算得到网络连通状态指标的代价值包括：确定预设常量，其中，预设常量用于确定调整网络路由距离对网络连通速度的影响程度；对网络路由距离进行对数运算，得到第一运算结果，以及对预设常量与网络连通速度进行加法运算，得到第二运算结果；对第一运算结果与第二运算结果进行除法运算，得到网络连通状态指标的代价值。
10、可选地，基于预估结果对初始逻辑计划进行代价优化，得到目标逻辑计划包括：基于预估结果从初始逻辑计划使用的多个算子中确定目标算子，其中，目标算子为执行查询任务的瓶颈算子；对目标算子进行代价优化，得到目标逻辑计划。
11、根据本专利技术实施例的另一方面，还提供了一种任务处理装置，包括：
12、获取模块，用于获取待提交的查询任务；提取模块，用于对查询任务进行结构化查询语言解析，提取查询任务的风险信息；重写模块，用于基于风险信息对查询任务进行重写，生成初始逻辑计划；优化模块，用于对初始逻辑计划进行代价优化，得到目标逻辑计划；提交模块，用于将目标逻辑计划提交至目标生产环境。
13、可选地，上述提取模块包括：对查询任务进行结构化查询语言解析，提取查询任务的风险信息包括：对查询任务进行结构化查询语言解析，生成抽象语法树；基于抽象语法树对查询任务的任务逻辑进行分析，提取风险信息。
14、可选地，上述重写模块包括：基于风险信息对查询任务进行重写，生成初始逻辑计划包括：确定风险信息对应的风险类型；基于风险类型对应的处理方式，对查询任务进行重写，得到重写结果；利用重写结果与预先绑定的元数据生成初始逻辑计划。
15、可选地，上述优化模块包括：对初始逻辑计划进行代价优化，得到目标逻辑计划包括：对初始逻辑计划中使用的多个算子的运行开销进行预估，得到预估结果；基于预估结果对初始逻辑计划进行代价优化，得到目标逻辑计划。
16、可选地，上述优化模块包括：对初始逻辑计划中使用的多个算子的运行开销进行预估，得到预估结果包括：基于多个代价评估指标的代价值，对初始逻辑计划中使用的多个算子的运行开销进行预估，得到预估结果，其中，多个代价评估指标包括以下至少部分指标：预估计算行数指标、处理器开销指标、硬盘读写指标、网络连通状态指标。
17、可选地，上述任务处理装置还包括：计算模块，用于分别获取客户端与多个跨地域集群之间的网络路由距离与网络连通速度，其中，多个跨地域集群用于提供待查询数据，客户端用于对待查询数据进行查询；基于网络路由距离与网络连通速度计算得到网络连通状态指标的代价值。
18、可选地，上述计算模块包括：基于网络路由距离与网络连通速度计算得到网络连通状态指标的代价值包括：确定预设常量，其中，预设常量用于确定调整网络路由距离对网络连通速度的影响程度；对网络路由距离进行对数运算，得到第一运算结果，以及对预设常量与网络连通速度进行加法运算，得到第二运算结果；对第一运算结果与第二运算结果进行除法运算，得到网络连通状态指标的代价值。
19、可选地，上述优化模块包括：基于预估结果对初始逻辑计划进行代价优化，得到目标逻辑计划包括：基于预估结果从初始逻辑计划使用的多个算子中确定目标算子，其中，目标算子为执行查询任务的瓶颈算子；对目标算子进行代价优化，得到目标逻辑计划。
20、根据本专利技术实施例的又一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为被处理器运行时执行前述任一项的任务处理方法。
21、根据本专利技术实本文档来自技高网...
【技术保护点】
1.一种任务处理方法，其特征在于，包括：
2.根据权利要求1所述的任务处理方法，其特征在于，对所述查询任务进行结构化查询语言解析，提取所述查询任务的所述风险信息包括：
3.根据权利要求1所述的任务处理方法，其特征在于，基于所述风险信息对所述查询任务进行重写，生成所述初始逻辑计划包括：
4.根据权利要求1所述的任务处理方法，其特征在于，对所述初始逻辑计划进行代价优化，得到所述目标逻辑计划包括：
5.根据权利要求4所述的任务处理方法，其特征在于，对所述初始逻辑计划中使用的多个算子的运行开销进行预估，得到所述预估结果包括：
6.根据权利要求5所述的任务处理方法，其特征在于，所述任务处理方法还包括：
7.根据权利要求6所述的任务处理方法，其特征在于，基于所述网络路由距离与所述网络连通速度计算得到所述网络连通状态指标的代价值包括：
8.根据权利要求4所述的任务处理方法，其特征在于，基于所述预估结果对所述初始逻辑计划进行代价优化，得到所述目标逻辑计划包括：
9.一种任务处理装置，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为被处理器运行时执行权利要求1-8中任一项所述的任务处理方法。
11.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-8中任一项所述的任务处理方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现权利要求1-8中任一项所述的任务处理方法。
...【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：
2.根据权利要求1所述的任务处理方法，其特征在于，对所述查询任务进行结构化查询语言解析，提取所述查询任务的所述风险信息包括：
3.根据权利要求1所述的任务处理方法，其特征在于，基于所述风险信息对所述查询任务进行重写，生成所述初始逻辑计划包括：
4.根据权利要求1所述的任务处理方法，其特征在于，对所述初始逻辑计划进行代价优化，得到所述目标逻辑计划包括：
5.根据权利要求4所述的任务处理方法，其特征在于，对所述初始逻辑计划中使用的多个算子的运行开销进行预估，得到所述预估结果包括：
6.根据权利要求5所述的任务处理方法，其特征在于，所述任务处理方法还包括：
7.根据权利要求6所述的任务处理方法，其特征在于，基于所述网络路由距离与所述网络...
【专利技术属性】
技术研发人员：付继发，戚甲盾，姜磊，石晓娟，阮宜龙，
申请(专利权)人：中电信人工智能科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。