一种基准测试方法、装置和基准测试系统。上述基准测试方法包括：获取测试指令，该测试指令用于指示对第一测试对象进行基准测试；根据该测试指令获取该第一测试对象的第一参数集合，该第一参数集合包括至少一个第一参数；根据调优策略确定第二参数集合，该第二参数集合为根据该调优策略获得的包括至少一个第二参数的集合，该调优策略用于指示在第二测试对象中运行该第一测试对象的负载获得该第二参数集合的方式，该第二测试对象为已调优的测试对象且与该第一测试对象的类型相同。该方法能够高效、准确的实现基准测试。准确的实现基准测试。准确的实现基准测试。
【技术实现步骤摘要】
基准测试方法、装置和基准测试系统
[0001]本申请涉及计算机
，尤其涉及一种基准测试方法、装置和基准测试系统。
技术介绍
[0002]基准测试(benchmarking)是一种测量和评估软硬件性能指标的活动，该测试基于基准测试框架完成。基准测试的做法是：通过在系统上运行一系列负载(即测试程序)并保存度量指标(例如，时间或吞吐量)，可以对系统建立一个已知的性能水平(称为基准线)。当用户(即系统开发者)执行基准测试之后，可以根据测试结果(正收益或负收益)调整测试影响因子，进而实现对系统进行性能调优。当确定调优措施对系统性能的影响达到预期效果时，可将使系统达到最优的测试结果的测试影响因子上传到公共平台供系统的消费者们参考。
[0003]在上述基准测试过程中，通常需要人为控制采集性能指标过程，且在成功采集到性能指标数据后需由用户根据自身的调优经验来分析这些数据，导致调优时间长且效果不稳定的问题。
[0004]因此，如何提供一种高效、准确的基准测试方法成为亟待解决的技术问题。
技术实现思路
[0005]本申请提供了一种基准测试方法、装置和基准测试系统，以此实现高效、准确的基准测试。
[0006]第一方面，提供了一种基准测试方法，该方法包括：获取测试指令，该测试指令用于指示对第一测试对象进行基准测试；根据该测试指令获取该第一测试对象的第一参数集合，该第一参数集合包括至少一个第一参数；根据调优策略确定第二参数集合，该第二参数集合为根据该调优策略获得的包括至少一个第二参数的集合，该调优策略用于指示在第二测试对象中运行该第一测试对象的负载获得该第二参数集合的方式，该第二测试对象为已调优的测试对象且与该第一测试对象的类型相同。
[0007]其中，第一测试对象，即当前待调优的测试对象。第一测试对象的负载是第一测试对象执行一个或多个任务时消耗的硬件资源，或者第一测试对象的负载是第一测试对象自身或所在系统消耗的计算资源、存储资源、或网络资源。第二参数集合包括的至少一个第二参数是对第一测试对象的性能产生重要影响的参数。下面举例说明第二测试对象为已调优的测试对象且与该第一测试对象的类型相同。例如，第一测试对象为中央处理器(central processing unit，CPU)，第二测试对象为CPU，这样，可以认为第一测试对象与第二测试对象的类型相同。在第二测试对象中运行该第一测试对象的负载，可以获得第二测试对象的基准测试结果。任意一个测试对象的基准测试结果包括：该任意一个测试对象调优前的参数集合、该任意一个测试对象执行调优前的参数集合的性能值、该任意一个测试对象已调优的参数集合、该任意一个测试对象执行已调优的参数集合的性能值。已调优的参数集合为调优前的一个或多个参数集合中的一个参数集合，且该任意一个测试对象执行已调优的
参数集合的性能，高于该任意一个测试对象执行调优前的一个或多个参数集合中其它任意一个参数集合的性能。可以理解的是，任意一个测试对象执行一个参数集合的性能值，即在配置该一个参数集合的该一个测试对象中运行第一测试对象的负载的性能值。
[0008]上述技术方案中，根据与第一测试对象类型相同的测试对象(即，第二测试对象)中运行第一测试对象的负载获取的基准测试结果，确定对第一测试对象的性能产生关键影响的第二参数集合，这种实现方式避免了传统技术中依赖用户的自身经验分析和确定对第一测试对象的性能产生关键影响的参数集合，该方法能够高效的实现基准测试。此外，第二测试对象是已调优的测试对象，即该第二测试对象的基准测试结果是可靠和可信任的，该方法还能够准确的实现基准测试。
[0009]在一种可能的设计中，该根据调优策略确定第二参数集合，包括：根据第四参数集合和该第一参数集合通过迭代处理，获得至少一个参数集合；将该至少一个参数集合中的第三参数集合确定为该第二参数集合，该第一测试对象执行该第三参数集合的性能值满足预设性能要求；其中，该第四参数集合为该第二测试对象已调优的参数集合，且该第二测试对象执行该第二测试对象调优前的一个参数集合的性能值和第一性能值的差值满足预设阈值，该第一性能值为该第一测试对象执行该第一参数集合的性能值。
[0010]上述迭代处理在满足预设迭代条件的情况下可以停止迭代处理。其中，预设迭代条件可以为以下任意一种条件：该迭代处理的时间超过预设时间要求；迭代处理的次数超过迭代阈值；或者该负载在执行该迭代处理中的最后一轮迭代获取的参数集合的该第一测试对象上运行时，该第一测试对象的性能值满足该预设性能值。可以理解的是，任意一个测试对象执行一个参数集合的性能值，即在配置该一个参数集合的该任意一个测试对象中运行负载时该任意一个测试对象的性能值。任意一个测试对象已调优的参数集合，可以为该任意一个测试对象调优前的一个或多个参数集合中的一个参数集合。
[0011]上述技术方案中，将迭代处理获得的至少一个参数集合中的第三参数集合确定为第二参数集合，该第一测试对象执行该第三参数集合的性能值满足预设性能要求，该方法能够准确的实现基准测试。
[0012]可选的，该迭代处理包括一轮迭代，该根据该第一参数集合通过迭代处理，获得至少一个参数集合，包括：将该第四参数集合和该第一参数集合确定为该第三参数集合。
[0013]可选的，该迭代处理包括上一轮迭代和本轮迭代，该根据该第一参数集合通过迭代处理，获得至少一个参数集合，包括：在该上一轮迭代执行以下操作：将该第四参数集合和该第一参数集合确定为第六参数集合；在该本轮迭代执行以下操作：将该第四参数集合和该第六参数集合确定为第七参数集合；其中，该至少一个参数集合包括该第六参数集合和该第七参数集合，且该第二测试对象执行该第二测试对象调优前的一个参数集合的性能值和第三性能值的差值满足该预设阈值，该第三性能值为该第一测试对象执行该第六参数集合的性能值。这种实现方式中，若第四性能值高于第五性能值，该第三参数集合为该第六参数集合；或者，若第四性能值低于第五性能值，该第三参数集合为该第七参数集合；其中，该第四性能值为该第一测试对象执行该第六参数集合的性能值，该第五性能值为该第一测试对象执行该第七参数集合的性能值。其中，一个性能值高于另一个性能值，即该一个性能值所指示的性能高于该另一个性能值所指示的性能。可选的，上述迭代处理还可以包括更多轮迭代，多轮迭代处理的原理与两轮迭代处理的原理相同，此处不再详细赘述。
[0014]在另一种可能的设计中，该方法还包括：根据该测试指令生成请求命令，该请求命令用于请求根据该测试指令获取与该第一测试对象的类型相同的测试对象已调优的参数集合，且第二性能值与该第一性能值的差值满足该预设阈值；该第二性能值为与该第一测试对象的类型相同的测试对象执行该与该第一测试对象的类型相同的测试对象调优前的第五参数集合的性能值；向云端服务器发送该请求命令；接收来自该云端服务器发送的该第四参数集合。
[0015]上述技术方案中，由测试设备和云端服务器协同获得第四参数集合。具体的，测试设备将获取的请求命令发送给云端服务器，云端服务器根据请求命本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基准测试方法，其特征在于，所述方法包括：获取测试指令，所述测试指令用于指示对第一测试对象进行基准测试；根据所述测试指令获取所述第一测试对象的第一参数集合，所述第一参数集合包括至少一个第一参数；根据调优策略确定第二参数集合，所述第二参数集合为根据所述调优策略获得的包括至少一个第二参数的集合，所述调优策略用于指示在第二测试对象中运行所述第一测试对象的负载获得所述第二参数集合的方式，所述第二测试对象为已调优的测试对象且与所述第一测试对象的类型相同。2.根据权利要求1所述的方法，其特征在于，所述根据调优策略确定第二参数集合，包括：根据第四参数集合和所述第一参数集合通过迭代处理，获得至少一个参数集合；将所述至少一个参数集合中的第三参数集合确定为所述第二参数集合，所述第一测试对象执行所述第三参数集合的性能值满足预设性能要求；其中，所述第四参数集合为所述第二测试对象已调优的参数集合，且所述第二测试对象执行所述第二测试对象调优前的一个参数集合的性能值和第一性能值的差值满足预设阈值，所述第一性能值为所述第一测试对象执行所述第一参数集合的性能值。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述测试指令生成请求命令，所述请求命令用于请求根据所述测试指令获取与所述第一测试对象的类型相同的测试对象已调优的参数集合，且第二性能值与所述第一性能值的差值满足所述预设阈值；所述第二性能值为与所述第一测试对象的类型相同的测试对象执行所述与所述第一测试对象的类型相同的测试对象调优前的第五参数集合的性能值；向云端服务器发送所述请求命令；接收来自所述云端服务器发送的所述第四参数集合。4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：根据采集时间标记确定预设时间段，所述采集时间标记与所述测试指令关联；在所述预设时间段内，采集所述第一测试对象执行所述第一参数集合的性能值。5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一参数集合是根据输入参数确定的。6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法由基准测试系统执行，所述基准测试系统包括测试设备和云端服务器，所述测试设备包括所述第一测试对象。7.一种基准测试装置，其特征在于，所述装置包括：收发单元，用于获取测试指令，所述测试指令用于指示对第一测试对象进行基准测试；处理单元，用于根据所述测试指令获取所述第一测试对象的第一参数集合，所述第一参数集合包括至少一个第一参数；所...
【专利技术属性】
技术研发人员：陈奕丞，陈仲煜，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。