实时查询任务发布方法、平台、设备及存储介质技术

本发明专利技术提供了一种实时查询任务发布方法、平台、设备及存储介质，该方法包括：接收待发布的SQL任务文件；将所述SQL任务文件存储于任务数据库中；从所述任务数据库中获取新的SQL任务文件，生成Flink计算引擎流图；将所述Flink计算引擎流图添加至集群计算资源的任务列表，所述集群计算资源配置为调用Flink计算引擎执行所述任务列表中的Flink计算引擎流图。通过采用本发明专利技术的方案，基于Flink计算引擎实现实时查询任务发布，提高了计算任务发布效率，可满足用户高吞吐低延迟的需求；本发明专利技术可以实现实时查询任务发布平台的多种输入源和多种输出，提高了实时查询任务发布平台的普适性。

Real time query task publishing methods, platforms, devices and storage media

【技术实现步骤摘要】
实时查询任务发布方法、平台、设备及存储介质
本专利技术涉及大数据处理
，尤其涉及一种实时查询任务发布方法、平台、设备及存储介质。
技术介绍
随着大数据的应用日趋广泛，业务需求方不再满足于离线计算花费的时间成本，对时间要求越来越高，大家把目光都聚焦在实时计算上，实时计算的需求也越来越多，但是实时计算的开发成本却比较高，很难满足业务需求方在时间上的要求。然而，现有的查询任务发布平台采用的均是近实时计算框架，存在数据延迟，不能达到低延迟高吞吐的性能要求。并且，现有的计算任务发布平台缺乏完善的语法语义支持，实现特殊的业务需求时开发代码难度比较大，对开发人员的要求比较高，不具有普适性。
技术实现思路
针对现有技术中的问题，本专利技术的目的在于提供一种实时查询任务发布方法、平台、设备及存储介质，基于Flink计算引擎实现实时查询任务发布，提高计算任务发布效率，可满足用户高吞吐低延迟的需求。本专利技术实施例提供一种实时查询任务发布方法，所述方法包括如下步骤：接收待发布的SQL任务文件；将所述SQL任务文件存储于任务数据库中；从所述任务数据库中获取新的SQL任务文件，生成Flink计算引擎流图；将所述Flink计算引擎流图添加至集群计算资源的任务列表，所述集群计算资源配置为调用Flink计算引擎执行所述任务列表中的Flink计算引擎流图。可选地，所述接收待发布的SQL任务文件，包括如下步骤：接收用户在界面上的任务配置信息和SQL语句；根据所述任务配置信息和SQL语句创建SQL任务，生成SQL任务文件。可选地，所述任务配置信息包括所属的项目名称，所述接收待发布的SQL任务文件之后，还包括查询所述项目名称所对应的项目信息。可选地，所述项目信息包括执行队列信息，所述集群计算资源包括多个任务列表，各个所述任务列表对应于所述集群计算资源中不同的计算节点；所述将所述Flink计算引擎流图添加至集群计算资源的任务列表，包括将所述Flink计算引擎流图添加至所述集群计算资源中与所述执行队列信息相对应的任务列表。可选地，所述接收待发布的SQL任务文件之前，还包括如下步骤：用户登录成功后，获取用户的登录信息；根据用户的登录信息查询用户具有操作权限的项目名称；用户新建SQL任务文件时，将用户具有操作权限的项目名称推送至用户，以供用户选择。可选地，所述方法还包括如下步骤：将用户具有操作权限的项目名称下对应的SQL任务信息推送至用户；根据用户对SQL任务的选择显示对应的SQL任务配置界面；根据用户对SQL任务的配置重新生成SQL任务文件，并将重新生成的SQL任务文件作为待发布的SQL任务文件；比较所述任务数据库的任务列表与所述集群计算资源的任务列表，将修改前的SQL任务从所述集群计算资源的任务列表中删除。可选地，所述方法还包括如下步骤：接收到用户的新建项目请求；将预存的项目配置模板推送给用户，根据用户的操作设置新建项目的项目信息。可选地，所述生成Flink计算引擎流图，包括如下步骤：采用Calcite工具解析所述新的任务文件，将解析得到的数据整合到计算引擎上下文环境中，生成Flink计算引擎流图。本专利技术实施例还提供一种实时查询任务发布平台，应用于所述的实时查询任务发布方法，所述平台包括：任务接收模块，用于接收到待发布的SQL任务文件，将所述SQL任务文件存储于任务数据库中；流图生成模块，用于从所述任务数据库中获取新的任务文件，生成Flink计算引擎流图；任务提交模块，用于将所述Flink计算引擎流图添加至集群计算资源的任务列表，所述集群计算资源配置为调用Flink计算引擎执行所述任务列表中的Flink计算引擎流图。本专利技术实施例还提供一种实时查询任务发布设备，包括：处理器；存储器，其中存在所述处理器的可进行指令；其中，所述处理器配置为经由进行所述可进行指令来进行所述的实时查询任务发布方法的步骤。本专利技术实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被进行时实现所述的实时查询任务发布方法的步骤。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。本专利技术所提供的实时查询任务发布方法、平台、设备及存储介质具有下列优点：本专利技术解决了现有技术中的问题，基于Flink计算引擎实现实时查询任务发布，降低数据延迟，提高了计算任务发布效率，可满足用户高吞吐低延迟的需求；本专利技术可以实现实时查询任务发布平台的多种输入源和多种输出，提高了实时查询任务发布平台的普适性。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。图1是本专利技术一实施例的实时查询任务发布方法的流程图；图2是本专利技术一实施例的实时查询任务发布平台的结构示意图；图3是本专利技术一实施例的实时查询任务发布平台应用时的层级结构图；图4是本专利技术一实施例的实时查询任务发布平台和相关组件的技术架构图；图5是本专利技术一实施例的实时查询任务发布设备的示意图；图6是本专利技术一实施例的计算机可读存储介质的示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。如图1所示，本专利技术实施例提供一种实时查询任务发布方法，所述方法包括如下步骤：S100：接收待发布的SQL(StructuredQueryLanguage，结构化查询语言)任务文件；S200：将所述SQL任务文件存储于任务数据库中；S300：从所述任务数据库中获取新的SQL任务文件，生成Flink计算引擎流图，所述集群计算资源配置为调用Flink计算引擎执行所述任务列表中的Flink计算引擎流图；S400：将所述Flink计算引擎流图添加至集群计算资源的任务列表。Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。本专利技术通过采用该实时查本文档来自技高网...

【技术保护点】
1.一种实时查询任务发布方法，其特征在于，所述方法包括如下步骤：/n接收待发布的SQL任务文件；/n将所述SQL任务文件存储于任务数据库中；/n从所述任务数据库中获取新的SQL任务文件，生成Flink计算引擎流图；/n将所述Flink计算引擎流图添加至集群计算资源的任务列表，所述集群计算资源配置为调用Flink计算引擎执行所述任务列表中的Flink计算引擎流图。/n

【技术特征摘要】
1.一种实时查询任务发布方法，其特征在于，所述方法包括如下步骤：
接收待发布的SQL任务文件；
将所述SQL任务文件存储于任务数据库中；
从所述任务数据库中获取新的SQL任务文件，生成Flink计算引擎流图；
将所述Flink计算引擎流图添加至集群计算资源的任务列表，所述集群计算资源配置为调用Flink计算引擎执行所述任务列表中的Flink计算引擎流图。


2.根据权利要求1所述的实时查询任务发布方法，其特征在于，所述接收待发布的SQL任务文件，包括如下步骤：
接收用户在界面上的任务配置信息和SQL语句；
根据所述任务配置信息和SQL语句创建SQL任务，生成SQL任务文件。


3.根据权利要求2所述的实时查询任务发布方法，其特征在于，所述任务配置信息包括所属的项目名称，所述接收待发布的SQL任务文件之后，还包括查询所述项目名称所对应的项目信息。


4.根据权利要求3所述的实时查询任务发布方法，其特征在于，所述项目信息包括执行队列信息，所述集群计算资源包括多个任务列表，各个所述任务列表对应于所述集群计算资源中不同的计算节点；
所述将所述Flink计算引擎流图添加至集群计算资源的任务列表，包括将所述Flink计算引擎流图添加至所述集群计算资源中与所述执行队列信息相对应的任务列表。


5.根据权利要求3所述的实时查询任务发布方法，其特征在于，所述接收待发布的SQL任务文件之前，还包括如下步骤：
用户登录成功后，获取用户的登录信息；
根据用户的登录信息查询用户具有操作权限的项目名称；
用户新建SQL任务文件时，将用户具有操作权限的项目名称推送至用户，以供用户选择。


6.根据权利要求5所述的实时查询任务发布方法，其特征在于，所述方法还包括如下步骤：
将用户具有操作权限的项目名称下对应的SQL任务信息...

【专利技术属性】
技术研发人员：董延峰，
申请(专利权)人：江苏满运软件科技有限公司，
类型：发明
国别省市：江苏;32