一种系统测试的方法和装置制造方法及图纸

本发明专利技术提供了一种系统测试的方法和装置，针对包含两个以上模块的流式系统，其中方法包括：S1、提取所述流式系统中各模块自身的策略效果作为单效果以及两个以上模块相互配合的策略效果作为组合效果；S2、将各单效果和组合效果的效果特征构成效果特征集合，以及提取各效果特征之间的相互关系构成特征关系集合；S3、对各模块对应的效果特征进行监控并收集效果特征值；S4、利用收集的效果特征值对特征关系集合进行逐条验证，并相应输出验证结果。通过本发明专利技术能够实现流式系统的效果测试，并方便快速地实现问题定位。

【技术实现步骤摘要】
一种系统测试的方法和装置【
】本专利技术涉及计算机测试
，特别涉及一种系统测试的方法和装置。【
技术介绍
】系统效果测试是系统测试中的一种，主要对系统运行中产生的日志或者模块状态参数进行监控，依据监控数据，判断系统是否达到预期效果。对于多模块组成的流式系统，现有的测试方式主要是结果导向的测试方法。结果导向的测试方法只关注系统或者模块运行的最终结果。虽然能够检测出系统的输出结果是否在一个合理的范围内，但是不能检测出系统的运行是否合理。这种方式在系统较为简单，策略单一时，可以很好的达到测试目的；但如果系统较为复杂，存在多个策略分支产生同一个结果时，测试不能完整覆盖，同时在系统测试结果出现问题时，问题定位困难，耗时漫长。【
技术实现思路
】有鉴于此，本专利技术提供了一种系统测试的方法和装置，以便于在实现流式系统的效果测试时，便于问题定位。具体技术方案如下:一种系统 测试的方法，针对包含两个以上模块的流式系统，该方法包括:S1、提取所述流式系统中各模块自身的策略效果作为单效果以及两个以上模块相互配合的策略效果作为组合效果；S2、将各单效果和组合效果的效果特征构成效果特征集合，以及提取各效果特征之间的相互关系构成特征关系集合；S3、对效果特征集合中各模块对应的效果特征进行监控并收集效果特征值；S4、利用收集的效果特征值对特征关系集合进行逐条验证，并相应输出验证结果。根据本专利技术一优选实施例，所述步骤SI具体包括:基于流式系统的功能列表提取各功能点以及功能点之间的依赖关系；以功能点为节点，对所有功能点建立数据结构有向图；提取所述数据结构有向图中入度为O且出度为O的节点作为单效果，提取所述数据结构有向图中入度为O但出度不为O的节点及其关联节点作为组合效果。根据本专利技术一优选实施例，在所述步骤S2中通过运行日志、模块状态或者命令响应端口获取各模块的参数作为对应单效果和组合效果的效果特征。根据本专利技术一优选实施例，所述步骤S4具体包括:S41、从特征关系集合中读取未被验证的特征关系；S43、判断收集到的当前特征关系涉及的效果特征值是否满足当前特征关系，如果是，标注当前特征关系验证通过，执行步骤S44 ;否则，标注当前特征关系验证失败，执行步骤 S44 ；S44、判断特征关系集合中所有特征关系是否验证完毕，如果是，执行步骤S45 ;否则转至步骤S41 ；S45、输出特征关系集合中标注验证失败的特征关系所对应的策略效果或者标注验证通过的特征关系所对应的策略效果。根据本专利技术一优选实施例，在所述步骤S41和步骤S43之间还包括:S42、判断当前特征关系涉及的效果特征值是否被收集到，如果是，执行步骤S43 ；否则，标注当前特征关系验证失败，执行步骤S44。一种系统测试的装置，针对包含两个以上模块的流式系统，该装置包括:效果提取单元，用于提取所述流式系统中各模块自身的策略效果作为单效果以及两个以上模块相互配合的策略效果作为组合效果；特征提取单元，用于将各单效果和组合效果的效果特征构成效果特征集合；关系提取单元，用于提取各效果特征之间的相互关系构成特征关系集合；特征确定单元，用于确定效果特征集合中各模块对应的效果特征；数据监控单元，用于对各模块对应的效果特征进行监控并收集效果特征值；关系验证单元，用于利用收集的效果特征值对特征关系集合进行逐条验证，并相应输出验证结果。根据本专利技术一优选实施例，所述效果提取单元具体基于所述流式系统的功能列表提取各功能点以及功能点之间的依赖关系，以功能点为节点，对所有功能点建立数据结构有向图，提取所述数据结构有向图中入度为O且出度为O的节点作为单效果，提取所述数据结构有向图中入度为O但出度不为O的节点及其关联节点作为组合效果。根据本专利技术一优选实施例，所述特征提取单元通过运行日志、模块状态或者命令响应端口获取各模块的参数作为对应单效果和组合效果的效果特征。根据本专利技术一优选实施例，所述关系验证单元具体包括:读取子单元，用于从特征关系集合中读取未被验证的特征关系提供给第一判断子单元；第一判断子单元，用于判断收集到的当前特征关系涉及的效果特征值是否满足当前特征关系，如果是，标注当前特征关系验证通过，触发第二判断子单元；否则，标注当前特征关系验证失败，触发第二判断子单元；第二判断子单元，用于判断特征关系集合中所有特征关系是否验证完毕，如果是，触发输出子单元；否则，触发所述读取子单元；输出子单元，用于输出特征关系集合中标注验证失败的特征关系所对应的策略效果或者标注验证通过的特征关系所对应的策略效果。根据本专利技术一优选实施例，所述关系验证单元还包括:第三判断子单元，用于在所述第一判断子单元执行判断操作之前，首先判断当前特征关系涉及到的效果特征值是否被收集到，如果是，触发所述第一判断子单元执行所述判断操作；否则，标注当前特征关系验证失败，禁止所述第一判断子单元执行所述判断操作，触发所述第二判断子单元。由以上技术方案可以看出，本专利技术通过提取模块的单效果和组合效果的效果特征，以及各效果特征之间的相互关系，将系统效果分解为一系列可衡量的效果特征和特征关系，通过对各模块的效果特征进行监控和基于特征关系的验证来实现流式系统的效果测试，能够及时获知验证失败的特征关系，从而方便快速地实现问题定位。【【附图说明】】图1为本专利技术实施例一提供的系统测试方法流程图；图2为本专利技术实施例一提供的对特征关系集合进行逐条验证的流程图；图3为本专利技术实施例二提供的系统测试装置结构图；图4为本专利技术实施例二提供的关系验证单元的结构图。【【具体实施方式】】为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。本专利技术提供的针对流式系统的检测方法主要包括系统效果建模、模块化的监控部署以及特征关系化的效果测试三个阶段，下面通过实施例一对具体的检测方法进行描述。实施例一、图1为本专利技术实施例一提供的主要方法流程图，如图1所示，该方法包括:步骤101:提取流式系统中各模块自身实现的策略效果作为单效果，以及提取两个以上模块相互配合的策略效果作为组合效果，将提取的单效果和组合效果构成策略集合。在一个多模块组成的流式系统中，如果某个策略效果的合理性通过一个效果特征的数值或者该效果特征的历史数值来判断，那么称该策略效果为单效果。例如，模块A需要均速处理数据，那么模块A对应一个单效果，即“数据匀速处理，P+-10%”，其中P表示模块A单位时间内日志滚动条目的波动在10%以内。在一个多模块组成的流式系统中，如果某个策略效果的合理性需要通过两个以上的效果特征的数值或者两个以上效果特征的相互关系来判断，那么称该策略效果为组合效果。例如，模块AO将数据分发给下游模块A1，A2，A3，那么存在一个组合效果，即“传输数据无丢失，P0=P1+P2+P3 “ ；其中PO表示AO发送的数据条目，P1、P2和P3分别表示Al、A2和A3接收到的数据条目。本步骤中单效果和组合效果的提取通常可以基于流式系统已有的功能列表实现，这些功能列表可以通常由流失系统的详细设计、使用说明、功能说明等生成，功能列表为现有的内容，本专利技术基于该功能列表实现上述单效果和组合效果的提取。其中，单效果的提取方式具体包括:基于流式系统的功能列表提取各功能点以及功能点之间的依赖关系本文档来自技高网...

【技术保护点】
一种系统测试的方法，针对包含两个以上模块的流式系统，其特征在于，该方法包括：S1、提取所述流式系统中各模块自身的策略效果作为单效果以及两个以上模块相互配合的策略效果作为组合效果；S2、将各单效果和组合效果的效果特征构成效果特征集合，以及提取各效果特征之间的相互关系构成特征关系集合；S3、对效果特征集合中各模块对应的效果特征进行监控并收集效果特征值；S4、利用收集的效果特征值对特征关系集合进行逐条验证，并相应输出验证结果。

【技术特征摘要】
1.一种系统测试的方法，针对包含两个以上模块的流式系统，其特征在于，该方法包括:51、提取所述流式系统中各模块自身的策略效果作为单效果以及两个以上模块相互配合的策略效果作为组合效果；52、将各单效果和组合效果的效果特征构成效果特征集合，以及提取各效果特征之间的相互关系构成特征关系集合；53、对效果特征集合中各模块对应的效果特征进行监控并收集效果特征值；54、利用收集的效果特征值对特征关系集合进行逐条验证，并相应输出验证结果。2.根据权利要求1所述的方法，其特征在于，所述步骤SI具体包括:基于流式系统的功能列表提取各功能点以及功能点之间的依赖关系；以功能点为节点，对 所有功能点建立数据结构有向图；提取所述数据结构有向图中入度为O且出度为O的节点作为单效果，提取所述数据结构有向图中入度为O但出度不为O的节点及其关联节点作为组合效果。3.根据权利要求1所述的方法，其特征在于，在所述步骤S2中通过运行日志、模块状态或者命令响应端口获取各模块的参数作为对应单效果和组合效果的效果特征。4.根据权利要求1所述的方法，其特征在于，所述步骤S4具体包括:541、从特征关系集合中读取未被验证的特征关系；543、判断收集到的当前特征关系涉及的效果特征值是否满足当前特征关系，如果是，标注当前特征关系验证通过，执行步骤S44;否则，标注当前特征关系验证失败，执行步骤S44 ；544、判断特征关系集合中所有特征关系是否验证完毕，如果是，执行步骤S45;否则转至步骤S41 ；545、输出特征关系集合中标注验证失败的特征关系所对应的策略效果或者标注验证通过的特征关系所对应的策略效果。5.根据权利要求4所述的方法，其特征在于，在所述步骤S41和步骤S43之间还包括:542、判断当前特征关系涉及的效果特征值是否被收集到，如果是，执行步骤S43;否则，标注当前特征关系验证失败，执行步骤S44。6.一种系统测试的装置，针对包含两个以上模块的流式系统，其特征在于，该装置包括:效果提取单元，用于提取所述流式系统中各模块自身的策略效果作为单效果...

【专利技术属性】
技术研发人员：赵辉，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：