一种系统资源调节方法、装置、设备及存储介质制造方法及图纸

本申请提出一种系统资源调节方法、装置、设备及存储介质，该方法包括：获取待发布任务的生产处理数据量和多次测试产生的测试运行数据，测试运行数据包括测试过程中的系统资源使用信息和测试处理数据量；根据生产处理数据量和多个测试运行数据，确定任务上线运行所需的系统资源配额，据此将待发布任务发布到生产大数据平台；获取目标任务的生产运行数据，生产运行数据包括在当前周期内实际运行过程的系统资源使用信息和实际处理数据量；根据当前周期的生产运行数据，确定是否调整下一周期的系统资源配额；如果是，则根据当前周期的系统资源配额和调整幅度，调整下一周期的系统资源配额。如此减少因分配不准确导致资源浪费或资源不足的情况。源不足的情况。源不足的情况。

【技术实现步骤摘要】
一种系统资源调节方法、装置、设备及存储介质


[0001]本申请属于计算机
，具体涉及一种系统资源调节方法、装置、设备及存储介质。

技术介绍

[0002]在大数据领域存在很多离线任务，这些任务通常每天运行一次或两次等，这些离线任务主要是做一些业务统计分析。在上线这些任务之前通常由大数据工程师根据自己的经验估测任务上线后所需处理的数据量和计算复杂度，基于估测的数据量和计算复杂度确定任务对应的系统资源(包括的CPU资源和内存资源等)。然后在上线时为该任务分配确定的系统资源，之后基于分配的系统资源运行该任务。
[0003]但依赖大数据工程师的经验为任务分配系统资源，准确性很低，分配资源过多会造成资源浪费，分配资源过少会导致任务运行缓慢甚至运行失败。且任务上线后无法修改任务的系统资源，需要下次发布新版本时才能修改，灵活性很差。任务上线后可能会发生业务急速增长的情况，在这种情况下仍按原来配置的系统资源运行，无法与快速增长的业务适配，极大地影响业务功能。

技术实现思路

[0004]本申请提出一种系统资源调节方法、装置、设备及存储介质，获取测试时任务的运行数据，依据获取的运行数据，预估任务上线所需的系统资源配额，基于预估的系统资源配额上线任务，无需依赖工程师的个人经验，不仅节省了人力成本，还提高了分配系统资源的准确性，分配的系统资源更加符合任务需求，减少因分配不准确导致资源浪费或资源不足的情况。任务上线后自动依据任务的运行数据进行系统资源配额的调整，使系统资源调节具有实时性，有很强的应变能力，即便业务的数据量快速增长，也能够灵活调节任务所需的系统资源大小。
[0005]本申请第一方面实施例提出了一种系统资源调节方法，包括：
[0006]获取待发布任务的生产处理数据量和多次测试所述待发布任务产生的测试运行数据，所述测试运行数据包括所述待发布任务在测试过程中的系统资源使用信息和测试处理数据量；
[0007]根据所述生产处理数据量和多个所述测试运行数据，确定所述待发布任务上线运行所需的系统资源配额；
[0008]根据确定的所述系统资源配额，将所述待发布任务发布到生产大数据平台；
[0009]周期性地获取目标任务的生产运行数据，所述生产运行数据包括所述目标任务在当前周期内实际运行过程中的系统资源使用信息和实际处理数据量；
[0010]根据当前周期所述目标任务的生产运行数据，确定是否需要调整下一周期所述目标任务的系统资源配额；
[0011]若确定需要调整，则确定系统资源的调整幅度，根据当前周期的系统资源配额和
确定的调整幅度，调整下一周期所述目标任务的系统资源配额。
[0012]在本申请的一些实施例中，获取多次测试所述待发布任务产生的测试运行数据，包括：
[0013]根据所述待发布任务的任务标识，从测试大数据平台分别获取每次测试所述待发布任务产生的测试日志；
[0014]从每次测试产生的测试日志中，分别获取每次测试所述待发布任务的测试运行数据，所述测试运行数据中所述待发布任务在测试过程中的系统资源使用信息包括在测试过程中为所述待发布任务分配的CPU配额、内存配额以及所述待发布任务运行实际占用的CPU使用量和内存使用量。
[0015]在本申请的一些实施例中，所述根据所述生产处理数据量和多个所述测试运行数据，确定所述待发布任务上线运行所需的系统资源配额，包括：
[0016]根据所述待发布任务对应的每个测试运行数据包括的测试处理数据量及系统资源使用信息，拟合数据量与系统资源之间的线性函数，拟合的线性函数包括数据量与CPU使用量之间的线性函数和数据量与内存使用量之间的线性函数；
[0017]根据所述待发布任务对应的所述生产处理数据量，利用数据量与系统资源之间的线性函数，计算出所述待发布任务上线所需的系统资源配额，所述系统资源配额包括CPU配额和内存配额。
[0018]在本申请的一些实施例中，所述获取目标任务的生产运行数据，包括：
[0019]根据所述目标任务的任务标识，从所述生产大数据平台获取当前周期内所述目标任务运行产生的生产日志；
[0020]从所述生产日志中获取所述目标任务的生产运行数据，所述生产运行数据中的系统资源使用信息包括在实际运行过程中为目标任务分配的CPU配额、内存配额以及在实际运行过程中目标任务实际占用的CPU使用量和内存使用量。
[0021]在本申请的一些实施例中，所述根据当前周期所述目标任务的生产运行数据，确定是否需要调整下一周期所述目标任务的系统资源配额，包括
[0022]根据所述生产运行数据包括的当前周期为所述目标任务分配的系统资源配额和实际占用的系统资源使用量，计算系统资源使用率；
[0023]判断计算出的系统资源使用率是否位于预设的系统资源区间；
[0024]如果是，则确定不需要调整下一周期的系统资源配额；
[0025]如果否，则确定需要调整下一周期的系统资源配额。
[0026]在本申请的一些实施例中，所述方法还包括：
[0027]对发布到生产大数据平台的每个任务进行实时监测，若监测到目标任务运行失败；
[0028]则确定运行失败的所述目标任务在运行过程中的系统资源配额是否与实际处理数据量不匹配；
[0029]如果是，则获取所述目标任务的历史运行数据，根据所述历史运行数据，重新确定所述目标任务的系统资源配额；
[0030]根据重新确定的系统资源配额，重新启动运行失败的所述目标任务。
[0031]在本申请的一些实施例中，所述方法还包括：
[0032]获取当前测试所述待发布任务过程中产生的测试运行数据；
[0033]根据当前的所述测试运行数据包括的为待发布任务分配的系统资源配额和实际占用的系统资源使用量，计算系统资源使用率；所述系统资源使用率包括CPU使用率和内存使用率；
[0034]若计算出的系统资源使用率位于预设的系统资源区间，则确定不需要对所述待发布任务测试过程中的系统资源配额进行调整；
[0035]若计算出的系统资源使用率不位于所述预设的系统资源区间，则确定调整幅度，根据所述调整幅度调整下一次测试所述待发布任务时的系统资源配额。
[0036]本申请第二方面的实施例提供了一种系统资源调节装置，包括：
[0037]获取模块，用于获取待发布任务的生产处理数据量和多次测试所述待发布任务产生的测试运行数据，所述测试运行数据包括所述待发布任务在测试过程中的系统资源使用信息和测试处理数据量；
[0038]确定模块，用于根据所述生产处理数据量和多个所述测试运行数据，确定所述待发布任务上线运行所需的系统资源配额；
[0039]任务发布模块，用于根据确定的所述系统资源配额，将所述待发布任务发布到生产大数据平台；
[0040]所述获取模块，用于周期性地获取目标任务的生产运行数据，所述生产运行数据包括所述目标任务在当前周期内实际运行过程中的系统资源使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统资源调节方法，其特征在于，包括：获取待发布任务的生产处理数据量和多次测试所述待发布任务产生的测试运行数据，所述测试运行数据包括所述待发布任务在测试过程中的系统资源使用信息和测试处理数据量；根据所述生产处理数据量和多个所述测试运行数据，确定所述待发布任务上线运行所需的系统资源配额；根据确定的所述系统资源配额，将所述待发布任务发布到生产大数据平台；周期性地获取目标任务的生产运行数据，所述生产运行数据包括所述目标任务在当前周期内实际运行过程中的系统资源使用信息和实际处理数据量；根据当前周期所述目标任务的生产运行数据，确定是否需要调整下一周期所述目标任务的系统资源配额；若确定需要调整，则确定系统资源的调整幅度，根据当前周期的系统资源配额和确定的调整幅度，调整下一周期所述目标任务的系统资源配额。2.根据权利要求1所述的方法，其特征在于，获取多次测试所述待发布任务产生的测试运行数据，包括：根据所述待发布任务的任务标识，从测试大数据平台分别获取每次测试所述待发布任务产生的测试日志；从每次测试产生的测试日志中，分别获取每次测试所述待发布任务的测试运行数据，所述测试运行数据中所述待发布任务在测试过程中的系统资源使用信息包括在测试过程中为所述待发布任务分配的CPU配额、内存配额以及所述待发布任务运行实际占用的CPU使用量和内存使用量。3.根据权利要求1所述的方法，其特征在于，所述根据所述生产处理数据量和多个所述测试运行数据，确定所述待发布任务上线运行所需的系统资源配额，包括：根据所述待发布任务对应的每个测试运行数据包括的测试处理数据量及系统资源使用信息，拟合数据量与系统资源之间的线性函数，拟合的线性函数包括数据量与CPU使用量之间的线性函数和数据量与内存使用量之间的线性函数；根据所述待发布任务对应的所述生产处理数据量，利用数据量与系统资源之间的线性函数，计算出所述待发布任务上线所需的系统资源配额，所述系统资源配额包括CPU配额和内存配额。4.根据权利要求1所述的方法，其特征在于，所述获取目标任务的生产运行数据，包括：根据所述目标任务的任务标识，从所述生产大数据平台获取当前周期内所述目标任务运行产生的生产日志；从所述生产日志中获取所述目标任务的生产运行数据，所述生产运行数据中的系统资源使用信息包括在实际运行过程中为目标任务分配的CPU配额、内存配额以及在实际运行过程中目标任务实际占用的CPU使用量和内存使用量。5.根据权利要求1所述的方法，其特征在于，所述根据当前周期所述目标任务的生产运行数据，确定是否需要调整下一周期所述目标任务的系统资源配额，包括：根据所述生产运行数据包括的当前周期为所述目标任务分配的系统资源配额和实际占用的系统资源使用量，计算系统资源使用...

【专利技术属性】
技术研发人员：黄一格，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：