实时数据同步平台的底层资源调度方法、装置及电子设备制造方法及图纸

本申请涉及实时数据调度技术领域，特别涉及一种实时数据同步平台的底层资源调度方法、装置及电子设备，其中，方法包括：识别多个同步任务的实际动态；根据每个同步任务的实际动态预估每个同步任务的目标需求资源；以及根据每个同步任务的目标需求资源匹配每个同步任务的最佳分配资源，并基于最佳分配资源得到实时数据同步平台的资源调度策略。由此，解决了每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题，根据不同的同步任务动态预测申请底层资源，避免资源浪费，提高资源利用率，并减少人工运维和操作的工作量，从而保障实时数据同步平台高稳定性运行。行。行。

【技术实现步骤摘要】
实时数据同步平台的底层资源调度方法、装置及电子设备


[0001]本申请涉及实时数据调度
，特别涉及一种实时数据同步平台的底层资源调度方法、装置及电子设备。

技术介绍

[0002]作为一个实时的数据同步平台，对于任务的管理以及资源的调度是不可避免的。随着同步任务越来越多，平台对于资源的需求就会越来越大，这时资源使用的优化就尤为重要。
[0003]相关技术中，大多数计算框架都是事先申请计算资源，而且将计算资源平均分配给每个同步任务。
[0004]然而，由于不同的同步任务所需的计算资源往往都不尽相同，如果资源申请过多会造成资源的浪费，资源申请过少更是会造成同步任务失败，更严重的还会影响其他同步任务还有平台的稳定性，亟需改善。

技术实现思路

[0005]本申请提供一种实时数据同步平台的底层资源调度方法、装置及电子设备，以解决每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题。
[0006]本申请第一方面实施例提供一种实时数据同步平台的底层资源调度方法，包括以下步骤：
[0007]识别多个同步任务的实际动态；
[0008]根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源；以及
[0009]根据所述每个同步任务的目标需求资源匹配所述每个同步任务的最佳分配资源，并基于所述最佳分配资源得到实时数据同步平台的资源调度策略。
[0010]根据本申请的一个实施例，所述根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源，包括：
[0011]获取所述每个同步任务的所需内存和实际CPU(Central Processing Unit，中央处理器)资源；
[0012]基于所述所需内存和实际CPU资源计算所述每个同步任务的数据源的初始数据量，并预期进入所述数据源的吞吐量；
[0013]基于所述数据量的记录结果评估所述目标需求资源。
[0014]根据本申请的一个实施例，所述根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源，还包括：
[0015]检测所述每个同步任务的任务类型；
[0016]在检测到所述任务类型为多表关联同步类型时，基于对应的关联表的UDF(User
‑
Defined Functions，用户定义的hive函数)函数的复杂度和多表产生的计算节点个数和/或平行度修正所述目标需求资源。
[0017]根据本申请的一个实施例，所述实时数据同步平台的底层资源调度方法，还包括：
[0018]将所述每个同步任务分配对应的任务容器；
[0019]根据本申请的一个实施例，在执行所述资源调度策略时，包括：
[0020]检测到任一同步任务启动时，根据所述资源调度策略中的最佳分配资源生成资源申请指令；
[0021]根据所述资源申请指令向工作集群申请或释放对应资源。
[0022]根据本申请实施例的实时数据同步平台的底层资源调度方法，识别多个同步任务的实际动态并根据每个同步任务的实际动态预估其目标需求资源进而匹配每个同步任务的最佳分配资源从而得到实时数据同步平台的资源调度策略。由此，解决了每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题，根据不同的同步任务动态预测申请底层资源，避免资源浪费，提高资源利用率，并减少人工运维和操作的工作量，从而保障实时数据同步平台高稳定性运行。
[0023]本申请第二方面实施例提供一种实时数据同步平台的底层资源调度装置，包括：
[0024]识别模块，用于识别多个同步任务的实际动态；
[0025]预估模块，用于根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源；以及
[0026]调度模块，用于根据所述每个同步任务的目标需求资源匹配所述每个同步任务的最佳分配资源，并基于所述最佳分配资源得到实时数据同步平台的资源调度策略。
[0027]根据本申请的一个实施例，所述预估模块，具体用于：
[0028]获取所述每个同步任务的所需内存和实际CPU资源；
[0029]基于所述所需内存和实际CPU资源计算所述每个同步任务的数据源的初始数据量，并预期进入所述数据源的吞吐量；
[0030]基于所述数据量的记录结果评估所述目标需求资源。
[0031]根据本申请的一个实施例，所述预估模块，还用于：
[0032]检测所述每个同步任务的任务类型；
[0033]在检测到所述任务类型为多表关联同步类型时，基于对应的关联表的UDF函数的复杂度和多表产生的计算节点个数和/或平行度修正所述目标需求资源。
[0034]根据本申请的一个实施例，所述实时数据同步平台的底层资源调度装置，还包括：
[0035]将所述每个同步任务分配对应的任务容器；
[0036]根据本申请的一个实施例，在执行所述资源调度策略时，所述调度模块，还用于：
[0037]检测到任一同步任务启动时，根据所述资源调度策略中的最佳分配资源生成资源申请指令；
[0038]根据所述资源申请指令向工作集群申请或释放对应资源。
[0039]根据本申请实施例的实时数据同步平台的底层资源调度装置，识别多个同步任务的实际动态并根据每个同步任务的实际动态预估其目标需求资源进而匹配每个同步任务的最佳分配资源从而得到实时数据同步平台的资源调度策略。由此，解决了每个同步任务中分配到的计算资源不合理从而造成资源的浪费和同步任务失败等问题，根据不同的同步任务动态预测申请底层资源，避免资源浪费，提高资源利用率，并减少人工运维和操作的工作量，从而保障实时数据同步平台高稳定性运行。
[0040]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的实时数据同步平台的底层资源调度方法。
[0041]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现上述的实时数据同步平台的底层资源调度方法。
[0042]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0043]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0044]图1为根据本申请实施例提供的一种实时数据同步平台的底层资源调度方法的流程图；
[0045]图2为根据本申请实施例提供的实时数据同步平台的底层资源调度装置的示例图；
[0046]图3为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0047]下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时数据同步平台的底层资源调度方法，其特征在于，包括以下步骤：识别多个同步任务的实际动态；根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源；以及根据所述每个同步任务的目标需求资源匹配所述每个同步任务的最佳分配资源，并基于所述最佳分配资源得到实时数据同步平台的资源调度策略。2.根据权利要求1所述的方法，其特征在于，所述根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源，包括：获取所述每个同步任务的所需内存和实际CPU资源；基于所述所需内存和实际CPU资源计算所述每个同步任务的数据源的初始数据量，并预期进入所述数据源的吞吐量；基于所述数据量的记录结果评估所述目标需求资源。3.根据权利要求2所述的方法，其特征在于，所述根据每个同步任务的实际动态预估所述每个同步任务的目标需求资源，还包括：检测所述每个同步任务的任务类型；在检测到所述任务类型为多表关联同步类型时，基于对应的关联表的UDF函数的复杂度和多表产生的计算节点个数和/或平行度修正所述目标需求资源。4.根据权利要求1所述的方法，其特征在于，还包括：将所述每个同步任务分配对应的任务容器；5.根据权利要求1
‑
4任一项所述的方法，其特征在于，在执行所述资源调度策略时，包括：检测到任一同步任务启动时，根据所述资源调度策略中的最佳分配资源生成资源申请指令；根据所述资源申请指令向工作集群申请或释放对应资源。6.一种实时数据同步平...

【专利技术属性】
技术研发人员：陈璋，
申请(专利权)人：新奥新智科技有限公司，
类型：发明
国别省市：