【技术实现步骤摘要】
本专利技术涉及IT
，特别涉及一种基于业务关联的数据采集方法及系统。
技术介绍
随着网络管理技术的发展，其管理范畴，除传统通信、计算和存储等网元的管理以夕卜，还包括设备上承载业务的管理。在网络管理系统中，业务分析是业务管理的主要功能之一，业务分析的数据来源于网络管理系统对各设备或系统数据的采集，而现在的业务分析越来越复杂。传统的网络管理系统数据采集方法对所有的数据进行轮询采集，同一业务分析所需要的数据采集时间跨度会比较大，使数据分析不能及时处理，导致数据分析实时性差；而且，先采集的数据还可能会失效，导致业务分析结果与实际有偏差。随着网络管理系统的发展，需要新的采集方法来满足更复杂的业务分析需求。中国第200410034524号专利公开了一种网络管理中配置数据的采集系统及其方法，在这种方法中，通过根据不同的网元配置不同的采集和设置不同的刷新模板和模板解析器，以解决网元信息采集的扩展性。中国第200910173983号专利公开了简单网络管理协议设备的数据并行采集归并方法及系统，此系统包括并行控制实体和一个或多个并行采集实体，并行控制实体完成对并行采集实体的管理与对各并行采集实体返回的性能数据进行统一归并处理，并行采集实体以并行方式从各采集点上采集数据，以提升了采集效率以及系统的可用性。中国第200810117931号专利公开了一种数据采集方法及数据采集设备，所述方法将所有被采集的网元的信息封装成采集任务放入一个任务队列中，并启动网元采集线程池，通过线程池的监听端口采集所述任务队列中每个网元的数据，以提高数据采集的效率。通过对现有技术和专利分析，现有公开...
【技术保护点】
一种基于业务关联的数据采集方法，该方法将数据采集过程与业务相关联用于为更复杂的网络管理业务分析提供数据支撑，所述方法为：步骤1，用于生成数据项队列的步骤，该步骤将属于同一业务的多个待采集的数据项连续放置，属于不同业务的共有的待采集数据项放置在两种业务分别对应的数据项之间；步骤2，用于采用若干采集线程组启动数据采集过程顺序调度数据项队列放置的各项，完成业务关联的数据采集的步骤；其中，所述数据项为被采集的最小独立单元。
【技术特征摘要】
1.一种基于业务关联的数据采集方法，该方法将数据采集过程与业务相关联用于为更复杂的网络管理业务分析提供数据支撑，所述方法为: 步骤1，用于生成数据项队列的步骤，该步骤将属于同一业务的多个待采集的数据项连续放置，属于不同业务的共有的待采集数据项放置在两种业务分别对应的数据项之间；步骤2，用于采用若干采集线程组启动数据采集过程顺序调度数据项队列放置的各项，完成业务关联的数据采集的步骤； 其中，所述数据项为被采集的最小独立单元。2.根据权利要求1所述的基于业务关联的数据采集方法，其特征在于，所述步骤I进一步包含如下步骤: 步骤1-1，将每个数据采集业务分别对应一个采集过程，且将采集周期相同的多个采集过程划分在同一采集过程队列； 步骤1-2，将每个采集过程队列包含的多个采集过程依据采集过程间的数据项共有关系进行采集过程排序； 步骤1-3，将每个采集过程依据该采集过程与相近采集过程间的数据项共有关系进行该采集过程内数据项排序，得到最终数据项队列； 其中，所述每个采集过程队列分别对应一个采集线程组。3.根据权利要求1或2所述的基于业务关联的数据采集方法，其特征在于，所述采集过程均采用如下四元组描述:DS = (S， T, Td, D)； 其中，S代表业务；T代表数据采集周期；Td代表能接受的数据采集时间延迟，且T STd ;D代表业务包含的数据项集合，D不能为空，S卩，一个业务所关联的数据项不能为空，D中不同业务共有的数据项的属性标记为“被复用”； 所述步骤1-1判断采集过程对应的四元组中的T是否相同，如果相同将两个业务对应的采集过程划分在同一采集过程队列中； 所述步骤1-2，将每个采集过程队列清空；在采集过程队列中插入两个采集过程DSpDS2,满足采集过程DS1和DS2共有的数据项与该采集过程队列对应的任意两个采集过程共有的数据项相比最多；插入下一个采集过程DSi,满足当前采集过程队列置顶处，窗口长度为Wi = qXTdi的数据项集合与采集过程DSi共有的数据项最多，其中，q表示采集能力的期望；重复插入采集过程，直到所有的采集过程都插入到对应的采集过程队列中； 所述步骤1-3，将每个采集过程对应的每个“被复用”数据项，在前后窗口宽度都为Wi =qXTdi范围内，判断与该采集过程共有该数据项的采集过程的位置，如果在前则在该采集过程内向前调动该数据项的位置，如果在后则在该采集过程内向后调动该数据项的位置，如果在前在后同时存在则向中间调动该数据项的位置。4.根据权利要求3所述的基于业务关联的数据采集方法，其特征在于，所述采集线程组包含的线程数目采用下式确定:M= YjXlTdJT ；i=\ 其中，M为一组采集线程的线程数，j为采集过程队列所包含的业务数目，λ i为可设置的时效性参数，值越小，采集的时间越短，通常:0 < Xi < I ;T代表数据采集周期。5.根据权利要求3所述的基于业务关联的数据采集方法，其特征在于，所述步骤2进一步包含如下步骤: 步骤2-1，当启动的数据采集过程执行数据采集时，首先，查看该数据项属性是否为“被复用”，如果是“被复用”，进入下一步骤；否则进行数据采集； 步骤2-2，将进一步验证该数据项的数据更新时间，以确定是否重新采集该数据项；如果系统时间与该数据项的数据更新时间差大于该数据项所属采集过...
【专利技术属性】
技术研发人员：刘学，盖炳帅，王劲林，程钢，徐开诚，
申请(专利权)人：中国科学院声学研究所，上海尚恩华科网络科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。