用于自适应地收集性能和事件信息的系统和方法技术方案

本发明专利技术提供一种将信息从第一计算节点传递到存储设备和第二计算节点中至少之一。第一计算节点被监视以收集可用资源的至少一个估计，并基于该估计，修改数据量。然后，修改的数据被发送到存储设备和第二计算节点中至少之一。本发明专利技术还提供确定用于聚集数据的最佳分批大小，其中，对于一些分批大小，为发送成批信息到永久性存储器以及为丢失成批数据估计成本。然后，基于这些成本的总和，从这些不同分批大小中选择最佳分批大小。本发明专利技术还提供数据的选择性压缩，其中确定一些压缩算法中哪些压缩算法不导致开销超过可用资源。然后，选择其中一个被确定的算法来最大化压缩。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及自适应地收集计算机系统中的信息的方法和装置。更具体而言，在本专利技术的一个方面中，数据可以在被存储在永久性存储器中之前被有效地聚集和压缩。
技术介绍
计算机系统经常需要收集性能和/或事件信息。性能信息可以包括但不限于CPU使用、响应时间、存储器使用、I/O带宽等的量度。系统可以监视各种事件。例如，网络服务器经常记录所接收的http请求。也可以登记(log)数据库事务。系统可以记录用于调试目的或用于评价程序运行的信息。信息登记产生开销。将信息存储在磁盘上则消耗I/O带宽并需要上下文切换。性能可能受到不利影响。此外，可能消耗大量磁盘空间。因为登记信息的重要性以及登记太多信息可能导致的高开销，所以需要更高效的方法来收集性能和事件信息。例如，几种工具可以用来获得有关计算机系统的性能信息。Unix操作系统(www.unix.org)具有诸如/proc这样的特征用于获得性能信息。Microsoft(www.microsoft.com)的Windows操作系统也具有一些特征用于提供性能信息。IBM提供了一些工具用于通过其Tivoli系列软件产品(www.tivoli.com)来收集有关计算机系统的性能信息。这些现有解决方案的关键问题在于，它们可能导致太多信息被收集。这可能导致(对于CPU和存储器二者来说)太多的开销用于收集性能信息。
技术实现思路
-->本专利技术的一个目的是自适应地收集事件信息以减小开销。更具体而言，在本专利技术的一个方面，提供方法以平衡CPU和空间开销。本专利技术的其他具体方面包括诸如将多个实体聚集为更少量的实体并压缩数据以减小被存储的信息量的技术。因此，在包括第一计算节点、和第二计算节点与存储设备中至少一个的系统中，本专利技术提供了一种用于将信息从第一计算节点传递到存储设备和第二计算节点中至少一个的方法。通过本专利技术，监视计算节点以收集可用资源的至少一个估计，并基于该估计修改数据量。然后，修改的数据被发送到存储设备和第二计算节点中至少一个。本专利技术还提供确定用于聚集数据的最佳分批大小，其中，对于一些分批大小，对发送成批信息到永久性存储器以及对丢失成批数据估计成本。然后，基于这些成本的总和，从这些不同的分批大小中选择最佳分批大小。本专利技术还提供数据的选择性压缩，其中确定一些压缩算法中哪些不导致超过可用资源的开销。然后，选择所确定的算法其中之一来最大化压缩。附图说明图1显示具有本专利技术特征的系统，其中一个或多个应用进程与单个信息登记器(information logger)通信。图2显示具有本专利技术特征的另一系统，其中不同的信息登记器与不同的应用进程相关联。图3显示根据本专利技术的具有相关性能监视器的处理器。图4显示根据本专利技术的用于自适应地收集性能和事件信息的方法。图5显示根据本专利技术的用于确定分批大小的方法。图6显示根据本专利技术的用于压缩信息的方法。图7是示出可以实现本专利技术的计算系统的硬件实现的框图。-->具体实施方式图1显示了具有本专利技术特征的系统。一个或多个应用进程11与信息登记器10通信，其中信息登记器10将信息记录在永久性存储器12中。磁盘、DASD和CD是永久性存储器的实例。应用进程例如可以包括正运行的程序，对该程序监视性能统计，诸如CPU使用、响应时间、I/O带宽、网络带宽等等。监视所得到的统计、诸如CPU使用然后被发送到信息登记器。例如可以利用各厂家所提供的标准编程语言(例如，Java、C、C++、汇编、机器语言等)以软件实现登记器。该实例中本专利技术的一个方面是确定多少信息被发送到信息登记器以记录在永久性存储器中或者信息以什么形式被发送到信息登记器以记录在永久性存储器中。图2显示了具有本专利技术特征的另一系统。不同的信息登记器21与不同的应用进程20相关联。这与图1中单个信息登记器与多个应用进程相关联的情况相反。可以由性能监视器31监视可能正运行应用进程的处理器30，如图3所示。除了CPU之外，性能监视器31可以可选地监视I/O、网络、和/或磁盘。例如可以利用各厂家所提供的标准编程语言(例如，Java、C、C++、汇编、机器语言等)，以软件实现性能监视器。在本专利技术的一个实例中，性能监视器可以将来自在处理器30上运行的应用进程(诸如正运行的计算机程序)的性能结果(诸如CPU使用)发送到信息登记器，信息登记器然后选择什么结果要被存储在永久性存储器中。图4显示了本专利技术的操作方法的流程图。在步骤40中，至少一个应用程序正运行在至少一个处理器30上，并且周期地发送信息到永久性存储器12。发送信息到永久性存储器的开销有时可能很大。图3的性能监视器31可以在步骤40中被用来确定用于存储信息的开销量。当确定用于存储信息的开销量很大时，处理可以前进到步骤43。-->在步骤43中，系统减小用于存储信息的开销。可以使用几种方法中至少一种来实现这个目的：周期地收集信息，其中可以通过以更不频繁的间隔收集信息来减小开销。当系统正收集可以表示例如系统的性能特性的数字序列时，在永久性存储器中维持几个值的平均数，而不是每次确定一个新值时就存储新的数字。有时，其将永久存储几个值的平均数。可以在步骤43中增加在存储到永久性存储器之前被平均的值的数量，以降低开销。存储自前一个平均数被存储在磁盘上以来的数字的移动平均数，而不是其平均数。例如，假设系统在将一个数字存储到磁盘上之前接收了5个新的数字。最后50个数字的移动平均数表示最后50个数字的平均数。存储该移动平均数，而不是存储自前一次写入磁盘以来所接收的5个数字的简单平均数。在将所有值存储到磁盘上之前在主存储器中保持几个值。与只要接收到就存储每个单独值相比，这种批处理对永久性存储器的更新可以大大降低开销。该方法的缺点在于没有立刻被存储在磁盘上的信息在机器故障的情况下可能被丢失。可以基于故障的可能性决定是否批处理对磁盘的更新。当步骤40确定系统具有足够的资源可用时，可以选择降低数据减少量并收集更多数据(步骤42)。这导致永久性存储器12中所保持的信息的更高精确度。本专利技术包括以下用于确定是否批处理对磁盘的更新，并且如果确定要批处理，确定批应当多大的方法。为故障情况下的信息丢失分配成本。例如，成本函数可以是：C1(s)＝a*p*s其中a是常数，p是故障概率，s是在整个批被写到磁盘之前积累的信息量(即，分批大小)。这是简单的成本函数，其中成本与分批大小成线性关系。也可以是更复杂的函数。例如，成本函数可以包括除了分批大小之外的其他参数，诸如丢失的具体信息。图5中的步-->骤51显示了为故障情况下的信息丢失确定成本函数。C1是一个这样的例子。步骤50和51的顺序可互换。步骤50和51也可以同步执行。也可以为用于发送信息到永久性存储器的开销分配成本。例如，成本函数可以是C2(s)＝b*r/s，其中b是某个常数，r是发送信息到磁盘的平均速率，s是分批大小。也可以是更复杂的函数。例如，成本函数可以是动态的并且依赖于系统上的负载。当I/O子系统被加载很重时，将更多信息发送到永久性存储器可能使系统过载。这会反映在成本函数中，其中当I/O系统过载时，成本函数将倾向于延迟对永久性存储器的更新。图5中的步骤50显示了为发送信息到永久性存储器确定成本函数。C2是图5中的步骤50的一个实例。总成本C3是C1本文档来自技高网...

【技术保护点】
一种在包括第一计算节点、和第二计算节点与存储设备中至少之一的系统中将信息从第一计算节点传递到所述第二计算节点与所述存储设备中至少之一的方法，所述方法包括以下步骤：监视所述第一计算节点，以收集可用资源的至少一个估计；基于所述可用资源的至少一个估计，修改所收集的数据量；和发送所述数据到所述存储设备和所述第二计算节点中至少之一。

【技术特征摘要】
【国外来华专利技术】US 2005-7-26 11/189,3911.一种在包括第一计算节点、和第二计算节点与存储设备中至少之一的系统中将信息从第一计算节点传递到所述第二计算节点与所述存储设备中至少之一的方法，所述方法包括以下步骤：监视所述第一计算节点，以收集可用资源的至少一个估计；基于所述可用资源的至少一个估计，修改所收集的数据量；和发送所述数据到所述存储设备和所述第二计算节点中至少之一。2.根据权利要求1的方法，其中所述可用资源的至少一个估计包括对处理能力、I/O带宽、和网络带宽中至少之一的估计。3.根据权利要求1的方法，其中所述修改所收集的数据量的步骤包括修改收集所述数据的部分的收集频率。4.根据权利要求1的方法，其中所述修改所收集的数据量的步骤包括将多个实体组合成更少数量的实体。5.根据权利要求1的方法，还包括以下步骤：响应于所述可用资源的至少一个估计的增大，增大所收集的数据量。6.根据权利要求4的方法，其中所述实体包括数字，并且所述将多个实体组合成更少数量的实体的步骤包括计算平均数和移动平均数中至少之一。7.一种确定用于聚集数据的分批大小的方法，包括以下步骤：根据不同大小，为发送数据到存储设备和计算节点其中之一估计第一成本；根据不同大小，为丢失所述数据估计第二成本；和基于所述估计的第一和第二成本，选择所述分批大小。8.根据权利要求7的方法，其中所述估计第一成本的步骤包括确定成本函数。9.根据权利要求7的方法，其中所述估计第二成本的步骤包括确定成本函数。10.根据权利要求7的方法，其中通过使所述估计成本中至少两个的聚合最小化而确定所述分批大小。11.根据权利要...

【专利技术属性】
技术研发人员：阿鲁恩K伊因加，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]