本申请公开了一种数仓资源调配方法、装置、电子设备以及存储介质，该数仓资源调配方法包括：响应于目标对象发送的任务处理请求，获取任务处理请求中的结构化查询语言和任务处理器的目标处理数量；对比任务处理器的目标处理数量和结构化查询语言的数量，得到对比结果；根据对比结果调配数仓任务系统中的任务处理器进行结构化查询语言处理。上述方案，能够提高数仓任务系统的资源利用率和任务处理效率。率。率。
【技术实现步骤摘要】
数仓资源调配方法、装置、电子设备以及存储介质
[0001]本申请涉及数据仓库
，特别是涉及一种数仓资源调配方法、装置、电子设备以及存储介质。
技术介绍
[0002]随着社会的现代化发展，各式各样的数据成为了发展中的不可或缺的需求，大数据技术成为热点技术。
[0003]目前，大数据技术已经非常成熟，例如常用的有Apache公司基于Hadoop开发的数据仓库工具Hive，通过Hive可以对数据仓库中的海量数据进行查询分析。
[0004]为了实现数仓任务的并发处理，需要在数仓任务提交前分配较多资源，但在数仓任务提交后所需的资源却非常少，因此在数仓任务处理过程中会造成资源浪费。
技术实现思路
[0005]本申请至少提供一种数仓资源调配方法、装置、设备以及计算机可读存储介质。
[0006]本申请第一方面提供了一种数仓资源调配方法，所述方法应用于数仓任务系统中的任务管理器，所述数仓任务系统还包括任务处理器，所述方法包括：响应于目标对象发送的任务处理请求，获取所述任务处理请求中的结构化查询语言和所述任务处理器的目标处理数量；对比所述任务处理器的目标处理数量和所述结构化查询语言的数量，得到对比结果；根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理。
[0007]在一实施例中，所述对比结果包括所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，所述根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理的步骤，包括：若所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，则向所述数仓任务系统请求新增任务处理器；将所述任务处理请求转发至所述新增任务处理器进行结构化查询语言处理。
[0008]在一实施例中，所述对比结果包括所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，所述根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理的步骤，包括：若所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，且所述结构化查询语言的数量小于所述任务处理器的预设处理数量，则等待所述任务处理器将已有的数仓任务处理完成后，转发所述任务处理请求至所述任务处理器进行结构化查询语言处理。
[0009]在一实施例中，所述对比结果包括所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，所述根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理的步骤，包括：若所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，且所述结构化查询语言的数量大于或等于所述任务处理器的预设处理数量，则向所述数仓任务系统请求新增资源，所述新增资源用于创建新增任务处理器；等待所述数仓任务系统中的任务处理器将已有的数仓任务处理完成后，将所述任务处
理请求转发至所述数仓任务系统中的任务处理器和所述新增任务处理器进行结构化查询语言处理。
[0010]在一实施例中，所述对比结果包括所述任务处理器的目标处理数量大于所述结构化查询语言的数量，所述根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理的步骤，包括：若所述任务处理器的目标处理数量大于所述结构化查询语言的数量，将所述任务处理请求转发至所述任务处理器，以使所述任务处理器进行结构化查询语言处理。
[0011]在一实施例中，所述方法还包括：对所述数仓任务系统中的任务处理器进行目标状态检测，目标状态包括空闲状态；销毁所述数仓任务系统中任务处理器处于所述空闲状态的任务处理器；向所述数仓任务系统申请回收所述处于空闲状态的任务处理器对应的资源数据。
[0012]在一实施例中，所述对所述数仓任务系统中的任务处理器进行目标状态检测的步骤，包括：查找各个任务处理器的目标处理数量等于预设处理数量的任务处理器；对所述目标处理数量等于预设处理数量的任务处理器进行空闲计时，得到空闲时长；若所述空闲时长大于预设的空闲阈值，则判定所述空闲时长大于所述空闲阈值的任务处理器处于所述空闲状态。
[0013]在一实施例中，所述获取所述任务处理请求中的结构化查询语言和所述任务处理器的目标处理数量的步骤，包括：根据所述结构化查询语言的数量轮询各个任务处理器，得到所述各个任务处理器中正在处理的数仓任务数量；计算所述各个任务处理器的预设处理数量和正在处理的数仓任务数量之间的差值，得到所述目标处理数量。
[0014]在一实施例中，所述获取所述任务处理请求中的结构化查询语言和所述任务处理器的目标处理数量的步骤，包括：根据各个任务处理器的资源占用率对所述各个任务处理器进行筛选，得到所述资源占用率小于预设资源占用阈值的任务处理器；将所述资源占用率小于预设资源占用阈值的任务处理器的目标处理数量作为所述任务处理器的目标处理数量。
[0015]本申请第二方面提供了一种数仓资源调配装置，包括：获取模块，用于响应于目标对象发送的任务处理请求，获取所述任务处理请求中的结构化查询语言和所述任务处理器的目标处理数量；对比模块，用于对比所述任务处理器的目标处理数量和所述结构化查询语言的数量，得到对比结果；调配模块，用于根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理。
[0016]本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述数仓资源调配方法。
[0017]本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述数仓资源调配方法。
[0018]上述方案，根据接收到的任务处理请求判断任务处理器能否处理该任务请求，根据判断结果调配数仓任务系统中的任务处理器进行结构化查询语言处理，由此能够将数仓任务系统中的任务管理和任务处理分离，通过对任务处理器进行调配进而达到调配数仓任务系统资源的目的，提高数仓任务系统的资源利用率和任务处理效率。
[0019]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非
限制本申请。
附图说明
[0020]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0021]图1是本申请的数仓资源调配方法的一示例性实施例的应用环境示意图；
[0022]图2是本申请的数仓资源调配方法的一示例性实施例的流程示意图；
[0023]图3是本申请的数仓资源调配方法中调配任务处理器的流程示意图；
[0024]图4是本申请的数仓资源调配方法中基于不同对比结果调配任务处理器的示例性实施例的流程示意图；
[0025]图5是本申请的数仓资源调配方法中调配任务处理器的另一示例性实施例的流程示意图；
[0026]图6是本申请的一示例性实施例示出的数仓资源调配装置的框图；
[0027]图7是本申请电子设备一实施例的结构示意图；
[0028]图8是本申请计算本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数仓资源调配方法，其特征在于，所述方法应用于数仓任务系统中的任务管理器，所述数仓任务系统还包括任务处理器，所述方法包括：响应于目标对象发送的任务处理请求，获取所述任务处理请求中的结构化查询语言和所述任务处理器的目标处理数量；对比所述任务处理器的目标处理数量和所述结构化查询语言的数量，得到对比结果；根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理。2.根据权利要求1所述的方法，其特征在于，所述对比结果包括所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，所述根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理的步骤，包括：若所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，则向所述数仓任务系统请求新增任务处理器；将所述任务处理请求转发至所述新增任务处理器进行结构化查询语言处理。3.根据权利要求1所述的方法，其特征在于，所述对比结果包括所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，所述根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理的步骤，包括：若所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，且所述结构化查询语言的数量小于所述任务处理器的预设处理数量，则等待所述任务处理器将已有的数仓任务处理完成后，转发所述任务处理请求至所述任务处理器进行结构化查询语言处理。4.根据权利要求1所述的方法，其特征在于，所述对比结果包括所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，所述根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理的步骤，包括：若所述任务处理器的目标处理数量小于或等于所述结构化查询语言的数量，且所述结构化查询语言的数量大于或等于所述任务处理器的预设处理数量，则向所述数仓任务系统请求新增资源，所述新增资源用于创建新增任务处理器；等待所述数仓任务系统中的任务处理器将已有的数仓任务处理完成后，将所述任务处理请求转发至所述数仓任务系统中的任务处理器和所述新增任务处理器进行结构化查询语言处理。5.根据权利要求1所述的方法，其特征在于，所述对比结果包括所述任务处理器的目标处理数量大于所述结构化查询语言的数量，所述根据所述对比结果调配所述数仓任务系统中的任务处理器进行结构化查询语言处理的步骤，包括：若所述任务处理器的目标处理数量大于所述结构化查询语言的数量，...
【专利技术属性】
技术研发人员：栗征征，钱浩东，周明伟，占文平，舒凡，柳杨，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。