数据仓库平台中工作负载仿真性能测试方法与装置制造方法及图纸

本公开涉及一种数据仓库平台中工作负载仿真性能测试方法与装置。该方法包括接收用户生成的模拟工作负载信息；根据接收的模拟工作负载信息生成工作负载任务执行队列；在工作负载任务执行完毕后发送已执行确认信息；记录工作负载任务的执行结果与执行时间。在本公开的一些实施例中，模拟工作负载信息包括负载类型、执行顺序、时间跨度与并发数目。本公开可以模拟比较真实环境下的工作负载的执行情况。

【技术实现步骤摘要】
数据仓库平台中工作负载仿真性能测试方法与装置
本公开涉及数据仓库领域，特别地，涉及一种数据仓库平台中工作负载仿真性能测试方法与装置。
技术介绍
目前业界数据仓库平台的基准测试指标主要是TPC-H (Transact1n ProcessingPerformance Council,事务处理性能委员会),其反映的是设备在商业智能计算中的性能表现，与中国电信典型数据仓库平台负载模型不同。 虽然现有的TPC-H基准测试指标具有一定的参考价值，但是，现有厂商的产品基本未参加TPC的基准测试，给设备选型参考造成了很大的困难。同时不同厂商的产品在物理设备架构、数据库软件架构上都有较大差异、各厂商采用的数据库软件不同，即使运行在相同的物理设备架构上，由于各厂家的软件性能差异也会导致处理能力存在差异；况且物理架构上各厂家的服务器、交换机、集群处理方法也不一定相同，因此，不能简单地根据物理设备的CPU、1 (Input Output,输入输出)等来估算数据仓库平台的整体性能。 当前的数据仓库平台性能评估方法往往是数据装载、计算、查询、导出等操作的处理过程的独立测试，各项指标也都是分离和孤立的。而真实环境中数据仓库平台的工作负载是各种数据处理的一个混合，在真实的生产环境中，数据处理过程包括:数据装载、计算、数据查询、导出，他们是一个或多个数据处理同时进行的，因此，现有的评估方法与真实环境的工作负载模型不符。
技术实现思路
本公开鉴于以上问题中的至少一个提出了新的技术方案。 本公开在其一个方面提供了一种数据仓库平台中工作负载仿真性能测试方法，其可以模拟比较真实环境下的工作负载的执行情况。 本公开在其另一方面提供了一种数据仓库平台中工作负载仿真性能测试装置，其可以模拟比较真实环境下的工作负载的执行情况。 根据本公开，提供一种数据仓库平台中工作负载仿真性能测试方法，包括: 接收用户生成的模拟工作负载信息； 根据接收的模拟工作负载信息生成工作负载任务执行队列； 在工作负载任务执行完毕后发送已执行确认信息； 记录工作负载任务的执行结果与执行时间。 在本公开的一些实施例中，模拟工作负载信息包括负载类型、执行顺序、时间跨度与并发数目。 在本公开的一些实施例中，负载类型包括对数据的装载、计算、查询与导出。 在本公开的一些实施例中，执行队列体现工作负载任务的执行顺序与执行优先级。 根据本公开，还提供了一种数据仓库平台中工作负载仿真性能测试装置，包括: 用户信息接收单元，用于接收用户生成的模拟工作负载信息； 执行队列生成单元，用于根据接收的模拟工作负载信息生成工作负载任务执行队列； 执行完毕反馈单元，用于在工作负载任务执行完毕后发送已执行确认信息； 执行结果记录单元，用于记录工作负载任务的执行结果与执行时间。 在本公开的一些实施例中，模拟工作负载信息包括负载类型、执行顺序、时间跨度与并发数目。 在本公开的一些实施例中，负载类型包括对数据的装载、计算、查询与导出。 在本公开的一些实施例中，执行队列体现工作负载任务的执行顺序与执行优先级。 在本公开的技术方案中，由于用户提交的模拟工作负载信息中充分考虑了任务在实际运行时的状态，基于用户提供的工作负载信息生成与实际任务运行顺序基本相同的任务执行队列，使得测试执行后的结果与真实任务的运行结果非常接近，因此，本公开实施例的测试结果与现有的测试方法相比，具有更高的可靠性与参考价值。 【附图说明】 此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分。在附图中: 图1是本公开一个实施例的数据仓库平台中工作负载仿真性能测试方法的流程示意图。 图2是本公开一个实施例的数据仓库平台中工作负载仿真性能测试装置的结构示意图。 【具体实施方式】 下面将参照附图描述本公开。要注意的是，以下的描述在本质上仅是解释性和示例性的，决不作为对本公开及其应用或使用的任何限制。除非另外特别说明，否则，在实施例中阐述的部件和步骤的相对布置以及数字表达式和数值并不限制本公开的范围。另外，本领域技术人员已知的技术、方法和装置可能不被详细讨论，但在适当的情况下意在成为说明书的一部分。 为了解决现有技术中的测试方法不能按照真实环境的工作负载模拟数据仓库平台产品的处理过程，本公开提供了一种数据仓库平台中工作负载仿真性能测试方法与装置，在该方法中:(1)用户生成需要测试的模拟工作负载信息，并传送到调度端；(2)调度端接收输入的信息，生成工作负载任务执行队列；(3)各工作负载执行任务完毕后，给调度端发送确认信息；(4)系统记录工作负载执行结果及执行时间，还可以生成相应的日志。本公开可以实现对不同数据仓库平台性能测试和整体评估，能够科学地反映不同产品的性能差巳 图1是本公开一个实施例的数据仓库平台中工作负载仿真性能测试方法的流程示意图。 如图1所示，该实施例可以包括以下步骤: S102，接收用户生成的模拟工作负载信息； 为了尽量模拟真实的运行环境，用户将与运行环境相关的各种信息尽量告知调度端，也即，测试装置。 其中，模拟工作负载信息可以包括但不限于负载类型、执行顺序、时间跨度与并发数目。 负载类型可以包括但不限于对数据的装载、计算、查询与导出。 S104，根据接收的模拟工作负载信息生成工作负载任务执行队列； 由于各种负载的执行顺序不同，时间跨度可能也不同，因此，可以针对不同的负载类型、基于各种的执行顺序、执行的时间跨度与可并发执行的数目一起来生成最终的工作负载任务执行队列。 其中，该执行队列体现了工作负载任务的执行顺序与执行优先级。具体的优先级可以由用户设定。 S106，在工作负载任务执行完毕后发送已执行确认信息，以便测试装置能够知道整个测试过程已结束，可以开始统计测试结果。 S108，记录工作负载任务的执行结果与执行时间。 在该实施例中，由于用户提交的模拟工作负载信息中充分考虑了任务在实际运行时的状态，基于用户提供的工作负载信息生成与实际任务运行顺序基本相同的任务执行队列，使得测试执行后的结果与真实任务的运行结果非常接近，因此，本公开实施例的测试结果与现有的测试方法相比，具有更高的可靠性与参考价值。 在本公开另一实施例的数据仓库平台中工作负载仿真性能测试方法的流程中，可以包括以下步骤: 步骤1，根据平台负载需求，用户生成需要测试的模拟工作负载信息，其中， 平台负载需求是指所建设的系统未来预计的负载情况，例如，每天装载、查询、导出的数据量，根据负载需求生成工作负载信息，这是一个数据采集的过程，包括采集已有系统的数据量及对未来数据量的估计。 工作负载信息可以包括负载类型、执行顺序、时间跨度、并发数目等，需要指出的是，工作负载有一定的执行顺序，时间跨度决定处理的数据量大小，并发数目决定性能测试的压力； 负载类型又可以包括装载、计算、查询、导出等数据处理过程。 步骤2，将生成的模拟工作负载信息传送到调度端。 步骤3，调度端接收输入的工作负载信息，生成工作负载任务执行队列； 以某公司的话单处理为例:(1)以文本方式输入工作负载信息；(2)调度端分析、处理该信息；(3)生成执行队列，例如，首先开始数据装载、在本文档来自技高网...

【技术保护点】
一种数据仓库平台中工作负载仿真性能测试方法，其特征在于，包括：接收用户生成的模拟工作负载信息；根据接收的模拟工作负载信息生成工作负载任务执行队列；在工作负载任务执行完毕后发送已执行确认信息；记录工作负载任务的执行结果与执行时间。

【技术特征摘要】
1.一种数据仓库平台中工作负载仿真性能测试方法，其特征在于，包括: 接收用户生成的模拟工作负载信息； 根据接收的模拟工作负载信息生成工作负载任务执行队列； 在工作负载任务执行完毕后发送已执行确认信息； 记录工作负载任务的执行结果与执行时间。2.根据权利要求1所述的数据仓库平台中工作负载仿真性能测试方法，其特征在于，所述模拟工作负载信息包括负载类型、执行顺序、时间跨度与并发数目。3.根据权利要求2所述的数据仓库平台中工作负载仿真性能测试方法，其特征在于，所述负载类型包括对数据的装载、计算、查询与导出。4.根据权利要求1所述的数据仓库平台中工作负载仿真性能测试方法，其特征在于，所述执行队列体现工作负载任务的执行顺序与执行优先级。5.一种数据仓库平台中工作负载仿真性能测试装...

【专利技术属性】
技术研发人员：邱红飞，李先绪，陈泳，黄植勤，黄春光，吴家隐，郑文武，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：北京;11