一种采集系统及采集点分配方法技术方案

本发明专利技术提供一种采集系统及采集点分配方法，其中，该方法包括：Ａ：以可并行采集的最小粒度为规则将采集点归类到多个采集点归类；Ｂ：计算采集点的采集耗时权重，然后根据各个采集点归类含有的采集点计算各个采集点归类的总采集耗时权重；Ｃ：以各个采集点归类的总采集耗时权重由大到小的排序，将各个采集点归类分配到采集系统中多个采集并发体中去执行采集。本发明专利技术能够通过采集点的合理分配提升采集的并行度，提升采集效率，缩短总采集时长。

【技术实现步骤摘要】

本专利技术涉及通信领域中设备管理系统的性能采集领域，特别涉及一种采集系统及采集点分配方法。
技术介绍
在管理简单网络管理协议(Simple Network Management Protocol，Snmp)设备的通信领域中，构建性能采集系统时，需要对设备采集点上支持的性能量通过Snmp的方式进行采集，通过观察采集性能量来了解设备的运行情况。性能采集系统，是指从设备上获取一些运行数据，进行相应计算，根据这些数据评判设备的运行状态和指标。采集点，是指设备上可以提供性能数据采集和统计的物理实体，设备上指定的获取性能数据的来源。采集时，为了提升采集效率，一般采集过程都是一定程度并行的，往往都是将每个采集点的采集动作尽量并行起来，也就是说，每个采集点的采集会被尽量分到不同的并发体中采集。目前的系统采用的这种采集处理使得发往不同设备的获取性能量的操作可以并行起来。但是，由于是以采集点为单位的并发，会使发往同一设备的获取性能量的操作也并行起来，由于Snmp协议的特性，同一设备上该协议的获取操作实质上往往都是串行的，因此，同一设备上采集点的并行操作并没有实际意义，反而会浪费系统的并发资源；其次，对于某些对并发支持的不是很理想的Snmp设备，同一时刻的多并发访问会导致一些获取失败，更为严重的情况下，会导致设备Snmp协议操作的失常。而且这种以采集点为单位的并行缺少采集点的归类分配逻辑，例如，有些采集点是归属于一个设备，就可以合并性能数据的获取请求；而目前这样的处理方式使得系统的可扩展性较弱。有些系统提供了采集点按照设备的分类，但是设备上的采集点个数往往不均匀，有些设备上有过多需要采集的采集点，有些设备上有较少需要的采集点，如果随机地分配这些采集分类，往往会导致总采集时间较长且不能充分利用并发资源。
技术实现思路
本专利技术的目的在于，提供一种采集系统，能够通过采集点的合理分配提升采集的并行度，提升采集效率，缩短总采集时长。本专利技术的另一目的在于，提供一种采集点分配方法，能够通过采集点的合理分配提升采集的并行度，提升采集效率，缩短总采集时长。本专利技术的采集点分配方法，包括：A：以可并行采集的最小粒度为规则将采集点归类到多个采集点归类；B：计算采集点的采集耗时权重，然后根据各个采集点归类含有的采集点计算各个采集点归类的总采集耗时权重；C：以各个采集点归类的总采集耗时权重由大到小的排序，将各个采集点归类分配到采集系统中多个采集并发体中去执行采集。其中，在步骤A中，以可并行采集的最小粒度为规则将采集点归类到多个采集点-->归类，包括采集点所属的设备的IP地址对采集点进行归类，以及对于设备群按照设备子网的ID对采集点进行归类。其中，在所述步骤B中，所述计算采集点的采集耗时权重，进一步包括针对不同的设备类型，计算在相应的设备类型下采集点的采集耗时权重。其中，在所述步骤C中，进一步包括下列步骤：预先根据采集系统所运行机器的实际处理能力创建多个用于采集的采集并发体。其中，所述用于采集的采集并发体，是操作系统中的进程或线程。本专利技术的采集系统，包括采集点归类单元、采集控制单元和多个采集并发单元，其中，所述采集点归类单元，用于以可并行采集的最小粒度为规则将采集点归类到多个采集点归类；所述采集控制单元，用于计算采集点的采集耗时权重，然后根据各个采集点归类含有的采集点计算各个采集点归类的总采集耗时权重；并以各个采集点归类的总采集耗时权重由大到小的排序，将各个采集点归类分配到多个采集并发单元中；所述采集并发单元，用于对所述采集控制单元分配来的相应采集点归类执行采集操作。其中，所述采集点归类单元，以可并行采集的最小粒度为规则将采集点归类到多个采集点归类，包括采集点所属的设备的IP地址对采集点进行归类，以及对于设备群按照设备子网的ID对采集点进行归类。其中，所述采集控制单元，进一步用于针对不同的设备类型，计算在相应的设备类型下采集点的采集耗时权重。其中，所述多个采集并发单元是预先根据采集系统所运行机器的实际处理能力创建的。其中，所述采集并发单元，是操作系统中的进程或线程。本专利技术的有益效果是：依照本专利技术的采集系统及采集点分配方法，能够通过采集点的合理分配提升采集的并行度，提升采集效率，缩短总采集时长。附图说明图1为本专利技术实施例的采集点分配方法的示意图；图2为估算采集点的采集耗时权重的示意图；图3为计算一个采集点归类的总采集耗时权重的示意图；图4为每个采集并发体执行流程的示意图；图5为本专利技术的采集系统的结构示意图。具体实施方式以下，参考附图1～5详细描述本专利技术的采集系统及采集点分配方法。本专利技术的核心思想是：预先根据采集系统所运行机器的实际处理能力创建出多个可以用于采集的采集并发体，这样让不同设备的采集可以并行进行，大大提升了采集效率；以可以并行采集的最小粒度为规则对采集点进行归类，综合每个采集点归类上的采集点个数以及每个采集点的采集耗时来考虑采集点归类的采集总耗时，并对总耗时排序，然后按照由大到小的顺序来将这些采集点归类分配到各个采集并发体中去执行采集，每个采集并发体执行采集完毕，会继续按照由大到小的顺序从剩余的采集点归类中选择。-->图1为本专利技术实施例的采集点分配方法的示意图，如图1所示，该方法包括下列步骤：步骤100：根据采集系统所运行机器的实际处理能力创建出多个可以用于采集的采集并发体。例如，对操作系统而言，该采集并发体指的是进程或线程。步骤200：以可并行采集的最小粒度为规则将采集点归类到多个采集点归类。例如，按照采集点所属的设备的IP地址对采集点进行归类，一个设备上的所有采集点被归到一起，称为设备归类；或者对于设备群而言，按照设备子网的ID对采集点进行归类，称为子网归类，总之，该原则是为了采集点归类相互之间能够并行起来，互不影响。步骤300：计算采集点的采集耗时权重；步骤400：根据每个采集点归类含有的采集点以及采集点的采集耗时权重来计算每个采集点归类的总采集耗时权重；步骤500：把采集点归类按照其总采集耗时权重进行由大到小的排序；步骤600：按照由大到小的顺序来将这些采集点归类分配到各个采集并发体中去执行采集。其中，在步骤300中，包括针对不同的设备类型，计算在相应的设备类型下采集点的采集耗时权重。另外，针对每种不同的设备类型来计算采集点的采集耗时权重，是因为采集点归属的设备类型不同，采集点的采集耗时也是不同的，要用采集权重明确出这种不同。如图2所示，包括下列步骤：301：确定系统中的设备类型；302：根据实际采集时长选择单位耗时权重，例如选择10S作为权重1，其中，单位耗时权重的选择是为了计算方便；303：确定不同设备类型采集点的耗时权重，例如，假设一个采集点性能数据采集的总耗时为60S，则该采集点的耗时权重就为6；304：在系统中保存不同的设备类型以及该设备类型上的采集点的采集耗时权重之间的映射关系。另外，在步骤400中，根据每个采集点归类含有的采集点以及采集点的采集耗时权重来计算每个采集点归类的总采集耗时权重，如图3所示，具体包括下列步骤：401：针对一个采集点归类中的每个采集点，按照采集点所属设备的设备类型从上述304的映射关系中获取采集点的采集耗时权重；402：对401中取出的采集耗时权重进行累加；403：将402得到的总和作为一个本文档来自技高网...

【技术保护点】
一种采集点分配方法，其特征在于，包括：Ａ：以可并行采集的最小粒度为规则将采集点归类到多个采集点归类；Ｂ：计算采集点的采集耗时权重，然后根据各个采集点归类含有的采集点计算各个采集点归类的总采集耗时权重；Ｃ：以各个采集点归类的总采集耗时权重由大到小的排序，将各个采集点归类分配到采集系统中多个采集并发体中去执行采集。

【技术特征摘要】
1.一种采集点分配方法，其特征在于，包括：A：以可并行采集的最小粒度为规则将采集点归类到多个采集点归类；B：计算采集点的采集耗时权重，然后根据各个采集点归类含有的采集点计算各个采集点归类的总采集耗时权重；C：以各个采集点归类的总采集耗时权重由大到小的排序，将各个采集点归类分配到采集系统中多个采集并发体中去执行采集。2.如权利要求1所述的采集点分配方法，其特征在于，在步骤A中，以可并行采集的最小粒度为规则将采集点归类到多个采集点归类，包括采集点所属的设备的IP地址对采集点进行归类，以及对于设备群按照设备子网的ID对采集点进行归类。3.如权利要求1所述的采集点分配方法，其特征在于，在所述步骤B中，所述计算采集点的采集耗时权重，进一步包括针对不同的设备类型，计算在相应的设备类型下采集点的采集耗时权重。4.如权利要求1所述的采集点分配方法，其特征在于，在所述步骤C中，进一步包括下列步骤：预先根据采集系统所运行机器的实际处理能力创建多个用于采集的采集并发体。5.如权利要求4所述的采集点分配方法，其特征在于，所述用于采集的采集并发体，是操作系统中的进程或线程。6.一种采集系统，包...

【专利技术属性】
技术研发人员：孙鸣，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：94[中国|深圳]