一种分布式计算框架参数优化方法、装置及系统制造方法及图纸

本发明专利技术适用于IT技术领域，提供了一种分布式计算框架参数优化方法、装置及系统。方法包括：获取当前提交的并行计算框架作业；在分布式计算框架历史运行数据库中，检索与分布式计算框架作业同类的历史分布式计算框架作业，分布式计算框架历史运行数据库包括历史分布式计算框架作业的执行信息及配置参数；在同类的分布式计算框架作业中，检索与分布式计算框架作业相似的历史分布式计算框架作业；根据相似的历史分布式计算框架作业的配置参数，对分布式计算框架作业的配置参数进行优化配置。本发明专利技术能够实现Mapreduce作业参数配置合理化、自动化以及自学习。

【技术实现步骤摘要】
一种分布式计算框架参数优化方法、装置及系统
本专利技术属于IT
，尤其涉及一种分布式计算框架参数优化方法、装置及系统。
技术介绍
随着全球信息产业在不断融合发展，网络资源与数据规模也在不断增长，尤其是在互联网应用、电子商务等领域，数据量呈现快速增长的趋势，为了解决这些数据密集型计算问题，云计算应运而生，而Map/Reduce编程模型作为一种简化大规模数据处理的重要手段得到越来越广泛的应用。MapReduce是Google提出的一种实现分布式并行计算任务的通用软件框架，它简化了由普通计算机组成的超大集群上的并行软件编程模式，可用于大规模数据集的并行计算。MapReduce分布式计算系统中，系统参数的参数优化策略直接关系到系统整体资源的利用率以及各用户间使用资源的公平性。因此，系统参数的参数优化算法成为MapReduce系统面临的一大挑战。然而，当前常见的MapReduce参数优化的方案有两种，详述如下：1、运行Mapreduce作业时，通过监控工具如nmon，监视集群系统的性能指标(如CPU使用率，内存使用率，磁盘和网络I/O等)，来快速检测性能瓶颈，协助工程师更有针对性的对性能瓶颈点进行参数改进和优化。2、通过在一个模拟集群上预先执行Mapreduce作业，同时监控该任务的运行特征(包括输出文件，各阶段运行时间，处理和传输的数据量，以及工作进程占用的各资源信息等等)，计算每个阶段消耗资源的代价，然后通过修改资源参数，预估实际Mapreduce作业的运行时间，直到运行时间达到可以接受范围，从而到MapReduce性能优化的目的。该技术方案1主要缺点是只是给出了性能瓶颈点检测方法，没有给出具体的性能改进方案，很多情况下即使知道性能瓶颈点，普通用户依然不知道如何修改参数。即便用户知道怎么修改MapReduce参数，但是这种方案实施效率也很低，需要人工反复尝试多次，才能使性能达到较优值，因此无法解决MapReduce参数配置合理化、自动化的问题。该技术方案2主要缺点是以增加程序的预执行和分析为代价，并且由于这种方案是针对单个任务进行的调优，当用户提交的任务类型复杂多变时，每次都要重新进行预执行，使得其通用性降低，因此无法解决MapReduce参数配置自学习的问题。
技术实现思路
本专利技术实施例的目的在于提供分布式计算框架参数优化方法，旨在解决MapReduce参数配置合理化、自动化以及自学习的问题。第一方面，一种分布式计算框架参数优化的方法，包括：获取当前提交的分布式计算框架作业；在预先建立的分布式计算框架历史运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业，所述分布式计算框架历史运行数据库包括历史分布式计算框架作业的执行信息及配置参数；在同类的分布式计算框架作业中，检索与所述分布式计算框架作业相似的历史分布式计算框架作业；根据相似的历史分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置。结合第一方面，所述在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业，包括：当所述分布式计算框架作业不存在指定的分布式计算框架运行参数时，在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业。结合第一方面，所述根据相似的历史分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置，包括：在相似的历史分布式计算框架作业中，获取评分最高的历史分布式计算框架作业，使用评分最高的历史分布式计算框架作业的配置参数作为所述分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置。结合第一方面，当所述分布式计算框架作业执行完毕时，收集所述分布式计算框架作业执行信息及配置参数；对所述分布式计算框架作业执行信息进行评分，并将所述分布式计算框架作业保存到所述分布式计算框架历史作业数据库中。结合第一方面，对所述分布式计算框架作业执行信息进行评分，具体为：获取所述分布式计算框架作业运行的时间消耗和空间消耗；根据所述分布式计算框架作业运行的时间消耗和空间消耗，生成所述分布式计算框架作业运行的时间消耗代价和空间消耗代价；根据预先建立的分布式计算框架作业的评分模型，以及所述分布式计算框架作业运行的时间消耗代价和空间消耗代价对分布式计算框架作业运行进行评分。结合第一方面，在所述根据预先建立的分布式计算框架作业的评分模型，以及所述分布式计算框架作业运行的时间消耗代价和空间消耗代价对分布式计算框架作业运行进行评分之前，包括：建立评分模型；所述评分模型为其中，FJob(τ,υ)表示一个作业运行时的评分，τ,υ分别表示对应的时间消耗代价、空间消耗代价，作业执行评分时τ,υ的函数。α，β是时间消耗代价评分和空间消耗代价评分的权重，i为时间消耗代价中属性值的序号，τi对应于时间消耗代价的第i个属性值，j为空间消耗代价中属性值的序号，υj表示对应于空间消耗代价的第j个属性值，则分别对应上述两个属性的权重，其中参数α，β用于可以调节设置时间消耗代价和空间消耗代价哪个更优先；的目的是为了消除各代价属性值量级不同的差异，通过设置来规范化的计算FJob(τ,υ)。结合第一方面，所述将所述分布式计算框架作业保存到所述分布式计算框架历史作业数据库中，具体为：采用树形存储方式，将所述分布式计算框架作业保存到所述分布式计算框架历史作业数据库中。结合第一方面，在预先建立的分布式计算框架历史运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业，包括：在预先建立的分布式计算框架历史运行数据库中，采用搜索树节点方式，检索与所述分布式计算框架作业同类的历史分布式计算框架作业。结合第一方面，所述检索与所述分布式计算框架作业相似的历史分布式计算框架作业，包括：检索所述分布式计算框架作业与历史分布式计算框架作业中的关键属性是否相等；当所述分布式计算框架作业中的关键属性与历史分布式计算框架作业中的关键属性相等时，表示所述历史分布式计算框架作业为与所述分布式计算框架作业相似的历史分布式计算框架作业。结合第一方面，所述检索与所述分布式计算框架作业相似的历史分布式计算框架作业，还包括：获取所述分布式计算框架作业和历史分布式计算框架作业的属性字段，所述属性字段包括关键属性集合和非关键属性集合；根据预先建立的分布式计算框架作业的相似度模型以及所述属性字段，分别生成作业的相似度和集群环境信息的相似度，所述作业的相似度为所述分布式计算框架作业与历史分布式计算框架作业的相似度，所述集群环境信息的相似度为所述分布式计算框架作业与历史分布式计算框架作业的相似度分别在所述集群环境信息的相似度；根据预先建立的分布式计算框架作业的综合相似度模型以及加权策略，生成所述分布式计算框架作业与历史分布式计算框架作业的综合相似度。结合第一方面，在所述根据预先建立的分布式计算框架作业的相似度模型以及所述属性字段，分别生成作业的相似度和集群环境信息的相似度之前，包括：建立分布式计算框架作业的相似度模型，所述相似度模型为：其中K为关键属性集合，k为关键属性集合中关键属性的序号，I为非关键属性集合，i为非关键属性集合中非关键属性的序号,pA,k表示本文档来自技高网...

【技术保护点】
一种分布式计算框架参数优化的方法，其特征在于，包括：获取当前提交的分布式计算框架作业；在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业，所述分布式计算框架历史作业运行数据库包括历史分布式计算框架作业的执行信息及配置参数；在同类的分布式计算框架作业中，检索与所述分布式计算框架作业相似的历史分布式计算框架作业；根据相似的历史分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置。

【技术特征摘要】
1.一种分布式计算框架参数优化的方法，其特征在于，包括：获取当前提交的分布式计算框架作业；在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业，所述分布式计算框架历史作业运行数据库包括历史分布式计算框架作业的执行信息及配置参数；在同类的分布式计算框架作业中，检索与所述分布式计算框架作业相似的历史分布式计算框架作业；根据相似的历史分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置。2.如权利要求1所述的方法，其特征在于，所述在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业之前，所述方法还包括：检查所述分布式计算框架作业是否存在指定的分布式计算框架运行参数；当所述分布式计算框架作业不存在指定的分布式计算框架运行参数时，执行所述在分布式计算框架历史作业运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业的步骤。3.如权利要求1所述的方法，其特征在于，所述根据相似的历史分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置，包括：在相似的历史分布式计算框架作业中，获取评分最高的历史分布式计算框架作业，使用评分最高的历史分布式计算框架作业的配置参数作为所述分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置；或在相似的历史分布式计算框架作业中，获取评分大于预设阀值的多个分布式计算框架作业，按照多个分布式计算框架作业的相似程度，加权计算多个分布式计算框架作业的配置参数，使用加权计算得到的配置参数作为所述分布式计算框架作业的配置参数，对所述分布式计算框架作业的配置参数进行优化配置。4.如权利要求1所述的方法，其特征在于，还包括：当所述分布式计算框架作业执行完毕时，收集所述分布式计算框架作业执行信息及配置参数；对所述分布式计算框架作业执行信息进行评分，并将所述分布式计算框架作业保存到所述分布式计算框架历史作业数据库中。5.如权利要求4所述的方法，其特征在于，对所述分布式计算框架作业执行信息进行评分，具体为：获取所述分布式计算框架作业运行的时间消耗和空间消耗；根据所述分布式计算框架作业运行的时间消耗和空间消耗，生成所述分布式计算框架作业运行的时间消耗代价和空间消耗代价；根据预先建立的分布式计算框架作业的评分模型，以及所述分布式计算框架作业运行的时间消耗代价和空间消耗代价对分布式计算框架作业运行进行评分。6.如权利要求4所述的方法，其特征在于，在所述根据预先建立的分布式计算框架作业的评分模型，以及所述分布式计算框架作业运行的时间消耗代价和空间消耗代价对分布式计算框架作业运行进行评分之前，包括：建立评分模型；所述评分模型为其中，FJob(τ,υ)表示一个作业运行时的评分，τ,υ分别表示时间消耗代价、空间消耗代价，FJob(τ,υ)为作业执行评分时τ,υ的函数，α，β是时间消耗代价评分和空间消耗代价评分的权重，i为时间消耗代价中属性值的序号，τi对应于时间消耗代价的第i个属性值，j为空间消耗代价中属性值的序号，υj表示对应于空间消耗代价的第j个属性值，则分别对应上述两个属性的权重，其中参数α，β用于可以调节设置时间消耗代价和空间消耗代价哪个更优先；的目的是为了消除各代价属性值量级不同的差异，通过设置来规范化的计算FJob(τ,υ)。7.如权利要求4所述的方法，其特征在于，所述将所述分布式计算框架作业保存到所述分布式计算框架历史作业数据库中，具体为：采用树形存储方式，将所述分布式计算框架作业保存到所述分布式计算框架历史作业数据库中。8.如权利要求1所述的方法，其特征在于，在预先建立的分布式计算框架历史运行数据库中，检索与所述分布式计算框架作业同类的历史分布式计算框架作业，包括：在预先建立的分布式计算框架历史运行数据库中，采用搜索树节点方式，检索与所述分布式计算框架作业同类的历史分布式计算框架作业。9.如权利要求1所述的方法，其特征在于，所述检索与所述分布式计算框架作业相似的历史分布式计算框架作业，包括：检索所述分布式计算框架作业与历史分布式计算框架作业中的关键属性是否相等；当所述分布式计算框架作业中的关键属性与历史分布式计算框架作业中的关键属性相等时，表示所述历史分布式计算框架作业为与所述分布式计算框架作业相似的历史分布式计算框架作业。10.如权利要求9所述的方法，其特征在于，所述检索与所述分布式计算框架作业相似的历史分布式计算框架作业，还包括：获取所述分布式计算框架作业和历史分布式计算框架作业的属性字段，所述属性字段包括关键属性集合和非关键属性集合；根据预先建立的分布式计算框架作业的相似度模型以及所述属性字段，分别生成作业的相似度和集群环境信息的相似度，所述作业的相似度为所述分布式计算框架作业与历史分布式计算框架作业的相似度，所述集群环境信息的相似度为所述分布式计算框架作业与历史分布式计算框架作业的相似度分别在所述集群环境信息的相似度；根据预先建立的分布式计算框架作业的综合相似度模型以及加权策略，生成所述分布式计算框架作业与历史分布式计算框架作业的综合相似度。11.如权利要求10所述的方法，其特征在于，在所述根据预先建立的分布式计算框架作业的相似度模型以及所述属性字段，分别生成作业的相似度和集群环境信息的相似度之前，包括：建立分布式计算框架作业的相似度模型，所述相似度模型为：其中K为关键属性集合，k为关键属性集合中关键属性的序号，I为非关键属性集合，i为非关键属性集合中非关键属性的序号,pA,k表示作业A的第k个关键属性，pA,i为标识作业A的第i个非关键属性，pB,k为标识作业B的第k个关键属性,pB,i为标识作业B的第i个非关键属性。12.如权利要求10所述的方法，其特征在于，在根据预先建立的分布式计算框架作业的综合相似度模型以及加权策略，生成所述分布式计算框架作业与历史分布式计算框架作业的综合相似度之前，包括：建立分布式计算框架作业的综合相似度模型，所述综合相似度模型为：sim(A,B)＝α×sim(JobA,JobB)+β×sim(ClusterA,ClusterB)其中，sim(JobA,JobB)表示作业A,B的相似度，sim(ClusterA,ClusterB)表示作业A,B分别在所述集群环境信息的相似度，sim(A,B)表示作业A,B之间参考了集群环境信息的相似度，α为加权策略中的第一权重参数，β...

【专利技术属性】
技术研发人员：方育柯，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：