数据处理方法、装置、计算机、存储介质及程序产品制造方法及图纸

本申请实施例公开了一种数据处理方法、装置、计算机、存储介质及程序产品，适用云技术，该方法包括：响应针对第一业务的执行请求，从配置管理集群中获取第一配置信息，对第一配置信息进行配置调整，生成第二配置信息；采用第二配置信息执行第一业务，获取第一业务在执行过程中所产生的第一业务指标；第一业务指标用于表示执行第一业务所耗费的资源；将第二配置信息与第一业务指标关联存储至配置管理集群中。采用本申请，可以提高数据处理的效率及精确性，进而提高针对业务的执行性能。进而提高针对业务的执行性能。进而提高针对业务的执行性能。

【技术实现步骤摘要】
数据处理方法、装置、计算机、存储介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置、计算机、存储介质及程序产品。

技术介绍

[0002]计算引擎（Apache Spark，简称Spark）是一种用于大数据工作负载处理的分布式开源系统，Spark数据处理任务的执行效率及成本开销等，依赖于Spark参数配置的选择，因此，Spark参数配置就极为重要。目前，一般是利用机器学习算法
‑
随机森林对配置和执行结果之间的关系进行建模，通过建立的模型进行Spark参数配置的选取，而在这一方式下，建模过程依赖大量配置的离线验证结果，会引入不小的额外调优开销，提高了数据处理的资源损耗，降低了数据处理的效率。而且，对于不同的调优目的，需要建立不同的模型，进一步提高了数据处理的资源损耗，且由于模型的针对性，降低了数据处理的通用性。

技术实现思路

[0003]本申请实施例提供了一种数据处理方法、装置、计算机、存储介质及程序产品，可以提高数据处理的效率及精确性，进而提高针对业务的执行性能。
[0004]本申请实施例一方面提供了一种数据处理方法，该方法包括：响应针对第一业务的执行请求，从配置管理集群中获取第一配置信息，对第一配置信息进行配置调整，生成第二配置信息；采用第二配置信息执行第一业务，获取第一业务在执行过程中所产生的第一业务指标；第一业务指标用于表示执行第一业务所耗费的资源；将第二配置信息与第一业务指标关联存储至配置管理集群中。
[0005]本申请实施例一方面提供了一种数据处理装置，该装置包括：配置获取模块，用于响应针对第一业务的执行请求，从配置管理集群中获取第一配置信息；配置调整模块，用于对第一配置信息进行配置调整，生成第二配置信息；业务执行模块，用于采用第二配置信息执行第一业务；指标获取模块，用于获取第一业务在执行过程中所产生的第一业务指标；第一业务指标用于表示执行第一业务所耗费的资源；配置存储模块，用于将第二配置信息与第一业务指标关联存储至配置管理集群中。
[0006]其中，该配置获取模块，包括：参数生成单元，用于响应针对第一业务的执行请求，生成用于获取配置信息的随机参数；集群选取单元，用于若随机参数小于配置选取阈值，则从配置管理集群中随机获取配置信息作为第一配置信息；
指标配置单元，用于若随机参数大于或等于配置选取阈值，则获取配置管理集群所包括的配置信息及配置信息对应的业务指标，将业务指标最小的配置信息确定为第一配置信息。
[0007]其中，该配置获取模块，包括：集群查找单元，用于响应针对第一业务的执行请求，查找配置管理集群；集群初始化单元，用于若未查找到配置管理集群，则生成M个初始配置信息，基于M个初始配置信息初始化配置管理集群；配置获取单元，用于基于初始化后的配置管理集群，获取第一配置信息；M个初始配置信息包括第一配置信息；M为正整数；该配置获取单元，还用于若查找到配置管理集群，则从配置管理集群中获取第一配置信息。
[0008]其中，该装置还包括：队列添加模块，用于将M个初始配置信息添加至配置队列中；其中，该配置获取单元，包括：配置出队子单元，用于若配置队列不为空，则对配置队列中的初始配置信息进行出队处理，将出队的初始配置信息确定为第一配置信息；集群获取子单元，用于若配置队列为空，则从初始化后的配置管理集群中获取第一配置信息。
[0009]其中，该装置还包括：队列查找模块，用于查找配置队列；集群调用模块，用于若配置队列为空或不存在配置队列，则执行从配置管理集群中获取第一配置信息的过程；队列处理模块，用于若配置队列不为空，则对配置队列中的初始配置信息进行出队处理，将出队的初始配置信息确定为第三配置信息，采用第三配置信息执行第一业务，获取第一业务在执行过程中所产生的第二业务指标，将第二业务指标与配置管理集群中的第三配置信息进行关联存储。
[0010]其中，该指标获取模块，包括：指标获取单元，用于获取第一业务在执行过程中所产生的A个业务指标；约束获取单元，用于获取配置约束条件；A为正整数；指标加权单元，用于基于配置约束条件确定A个业务指标分别对应的指标系数，采用A个业务指标分别对应的指标系数，对A个业务指标进行加权整合，得到第一业务指标。
[0011]其中，A个业务指标包括资源损耗指标及执行时长指标；该指标获取单元，包括：时长获取子单元，用于将采用第二配置信息执行第一业务所耗费的时长，确定为执行时长指标；损耗确定子单元，用于获取第一业务在执行过程中所耗费的内存数量及处理使用量，获取资源调整系数，采用资源调整系数对内存数量及处理使用量进行整合，得到资源损耗指标。
[0012]其中，第一业务指标由资源损耗指标及执行时长指标组成；该装置还包括：
存储检测模块，用于获取资源损耗阈值及执行时长阈值，若资源损耗指标小于或等于资源损耗阈值，且执行时长指标小于或等于执行时长阈值，则执行将第二配置信息与第一业务指标关联存储至配置管理集群中的过程；配置删除模块，用于若资源损耗指标大于资源损耗阈值，或执行时长指标大于执行时长阈值，则删除第二配置信息。
[0013]其中，该装置还包括：集群获取模块，用于获取配置管理集群中所包括的配置信息及配置信息的业务指标；配置信息包括第一配置信息及第二配置信息；集群筛选模块，用于基于配置信息的业务指标，删除配置管理集群中业务指标不满足配置约束条件的配置信息，得到优化配置管理集群；执行调用模块，用于当接收到针对第二业务的执行请求时，将优化配置管理集群确定为配置管理集群，将第二业务确定为第一业务，返回执行响应针对第一业务的执行请求，从配置管理集群中获取第一配置信息的过程。
[0014]其中，该装置还包括：集群确定模块，用于若优化配置管理集群满足集群收敛条件，则将优化配置管理集群确定为目标配置管理集群；配置确定模块，用于将目标配置管理集群中业务指标最小的配置信息确定为目标配置信息，采用目标配置信息执行第二业务；该执行调用模块，还用于若优化配置管理集群不满足集群收敛条件，则执行将优化配置管理集群确定为配置管理集群，将第二业务确定为第一业务的过程。
[0015]其中，该装置还包括：重要确定模块，用于获取N个候选参数及N个候选参数分别对应的参数重要度；N为正整数；参数筛选模块，用于基于N个候选参数分别对应的参数重要度，对N个候选参数进行排序处理，将排序后的N个候选参数中的前K个候选参数确定为调优参数；K为小于或等于N的正整数；该配置调整模块，包括：取值调整单元，用于获取K个调优参数分别对应的参数范围，在K个调优参数分别对应的参数范围内，对第一配置信息中的K个调优参数分别对应的第一取值进行配置调整，得到K个调优参数分别对应的第二取值；配置生成单元，用于将K个调优参数分别对应的第二取值，组成第二配置信息。
[0016]其中，该重要确定模块，包括：参数检测单元，用于将N个候选参数分别对应的初始取值组成第一检测信息，采用第一检测信息执行检测业务，得到第一检测指标；调整检测单元，用于对第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应针对第一业务的执行请求，从配置管理集群中获取第一配置信息，对所述第一配置信息进行配置调整，生成第二配置信息；采用所述第二配置信息执行所述第一业务，获取所述第一业务在执行过程中所产生的第一业务指标；所述第一业务指标用于表示执行所述第一业务所耗费的资源；将所述第二配置信息与所述第一业务指标关联存储至所述配置管理集群中。2.如权利要求1所述的方法，其特征在于，所述响应针对第一业务的执行请求，从配置管理集群中获取第一配置信息，包括：响应针对第一业务的执行请求，生成用于获取配置信息的随机参数；若所述随机参数小于配置选取阈值，则从配置管理集群中随机获取配置信息作为第一配置信息；若所述随机参数大于或等于所述配置选取阈值，则获取所述配置管理集群所包括的配置信息及所述配置信息对应的业务指标，将业务指标最小的配置信息确定为第一配置信息。3.如权利要求1所述的方法，其特征在于，所述响应针对第一业务的执行请求，从配置管理集群中获取第一配置信息，包括：响应针对第一业务的执行请求，查找配置管理集群；若未查找到所述配置管理集群，则生成M个初始配置信息，基于所述M个初始配置信息初始化所述配置管理集群，基于初始化后的配置管理集群，获取第一配置信息；所述M个初始配置信息包括所述第一配置信息；M为正整数；若查找到所述配置管理集群，则从所述配置管理集群中获取第一配置信息。4.如权利要求3所述的方法，其特征在于，所述方法还包括：将所述M个初始配置信息添加至配置队列中；所述基于初始化后的配置管理集群，获取第一配置信息，包括：若所述配置队列不为空，则对所述配置队列中的初始配置信息进行出队处理，将出队的初始配置信息确定为第一配置信息；若所述配置队列为空，则从初始化后的配置管理集群中获取第一配置信息。5.如权利要求1所述的方法，其特征在于，所述方法还包括：查找配置队列，若所述配置队列为空或不存在所述配置队列，则执行所述从配置管理集群中获取第一配置信息的过程；若所述配置队列不为空，则对所述配置队列中的初始配置信息进行出队处理，将出队的初始配置信息确定为第三配置信息，采用所述第三配置信息执行所述第一业务，获取所述第一业务在执行过程中所产生的第二业务指标，将所述第二业务指标与所述配置管理集群中的所述第三配置信息进行关联存储。6.如权利要求1所述的方法，其特征在于，所述获取所述第一业务在执行过程中所产生的第一业务指标，包括：获取所述第一业务在执行过程中所产生的A个业务指标，获取配置约束条件；A为正整数；基于所述配置约束条件确定所述A个业务指标分别对应的指标系数，采用所述A个业务
指标分别对应的指标系数，对所述A个业务指标进行加权整合，得到第一业务指标。7.如权利要求6所述的方法，其特征在于，所述A个业务指标包括资源损耗指标及执行时长指标；所述获取所述第一业务在执行过程中所产生的A个业务指标，包括：将采用所述第二配置信息执行所述第一业务所耗费的时长，确定为所述执行时长指标；获取所述第一业务在执行过程中所耗费的内存数量及处理使用量，获取资源调整系数，采用所述资源调整系数对所述内存数量及所述处理使用量进行整合，得到所述资源损耗指标。8.如权利要求1所述的方法，其特征在于，所述第一业务指标由资源损耗指标及执行时长指标组成；所述方法还包括：获取资源损耗阈值及执行时长阈值，若所述资源损耗指标小于或等于所述资源损耗阈值，且所述执行时长指标小于或等于所述执行时长阈值，则执行所述将所述第二配置信息与所述第一业务指标关联存储至所述配置管理集群中的过程；若所述资源损耗指标大于所述资源损耗阈值，或所述执行时长指标大于所述执行时长阈值，则删除所述第二配置信息。9.如权利要求1所述的方法，其特征在于，所述方法还包括：获取所述配...

【专利技术属性】
技术研发人员：黎洋，方懿德，杨晓峰，陈鹏，蒋杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：