本发明专利技术公开了一种基于事件优先级调度的复杂事件检测方法。根据不同的应用事件具有不同的重要程度和响应时间需求原则,设计了基于事件优先级调度的快速检测与响应策略,优先选择优先级指数高的事件进行检测,以保证海量数据检测和系统响应的执行以满足约束时间的目的。改进了常规事件序列扫描和序列过程,扩展了现有复杂事件检测技术,大大提高了海量数据流中复杂事件检测能力。本发明专利技术针对当前复杂事件检测方法在检测海量数据流上重要事件时出现检测时间长,响应速度慢,检测效率低的问题,改进了当前复杂事件模式检测方法,对现有的复杂事件检测技术进行扩展,使其能够比较高效地在海量数据上完成复杂事件的检测。
【技术实现步骤摘要】
本专利技术涉及海量数据流处理
,更具体地涉及到海量数据流处理中一种基于事件优先级调度的复杂事件检测方法。
技术介绍
物联网技术将网络、嵌入式、RFID、传感器及执行器等电子信息技术与传统生产技术相融合,实现涵盖生产全流程的数据感知、传输、处理、控制和服务等,提高传统产品技术附加值,增强生产与服务过程的管控能力,催生现代生产模式的一种信息服务手段。在现代生产环境中,由于生产规模的大型化,生产过程时空分布化,生产流程的日益复杂性和生产环境的多源干忧性,大量的感知设备,如RFID标签,传感器节点等被部署到生产现场去监测现场的人,物料,设备,生产过程,产品,服务,环境变化等各种对象。这些设备以自动快捷方式快速采集并形成各种海量生产数据流.由于这些海量生产数据流存在:1)数据量十分巨大,呈海量性,每秒可以达到TB级甚至PB级规模;2)数据内容多源,存在人,物料,设备,工艺过程,产品,服务等多种数据内容;3)数据结构复杂,结构化数据,半结构化数据和非结构化数据共存;4)数据更新速度快,数据每分每秒钟都在产生和更新;5)数据响应要求高,数据需要实时处理快速响应等数据特征,导致了生产过程中海量生产数据流处理面临着:海量生产数据流难以及时处理问题。而现有的数据处理方法难于直接支撑上述海量生产数据的完全处理,导致企业直接从上述产生各种海量数据流中直接获取自己所需信息变得十分困难,因而影响生产企业对生产进程实时掌控作用。由于复杂事件检测技术能够利用事件属性之间的关联,通过匹配规则或代数操作不断过滤连续到达的海量生产数据流,找出需要的符合某种关联约束的事件序列,因而近年在生产企业中来得到日益广泛的关注。当前,关于复杂事件检测方法的研究,主要开展有基于自动机,基于Petri网,基于匹配树和基于有向图等方面的检测方法。但由于它们在设计过程中存在面向对象限制的缺点,存在应用范围小,语义描述不足,实现代价高等问题,导致它们无法直接有效应用于海量数据流上的检测。针对上述问题,他们的一些改
进方法,如基于时间Petri网复杂事件检测方法、基于压缩组合物的树复杂事件检测方法、基于改进图的复杂事件检测方法、基于下推自动机结构的复杂事件检测方法、基于匹配树模型的匹配结果共享的复杂事件检测方法等被提出检测海量数据流。但由于上述方法只适用于按照数据到达时间先后顺序对事件进行处理,导致紧急重要事件的检测时间过长,响应速度慢,总体检测效率低的问题,从而影响了整个数据流检测效率。
技术实现思路
本专利技术为克服上述现有复杂事件检测方法在检测海量生产数据流上重要事件时出现检测时间长,响应速度慢,检测效率低的问题,提出了一种基于事件优先级调度的复杂事件检测方法。为解决上述技术问题,本专利技术的技术方案如下:一种基于事件优先级调度的复杂事件检测方法,所述方法包括以下步骤:S1:根据不同的应用事件具有不同的重要程度和响应时间需求,给各类事件赋予不同的优先级;S2:从事件流中读取各类事件操作;S3:根据读到的各类事件信息,计算各类事件的优先级指数;S4:依据各类事件的优先级指数大小,优先选择优先级指数高的事件进行检测;S5:输出检测结果事件。在一种优选的方案中,在事件检测过程中,事件与事件之间是存在先后顺序的,不存在两个事件同时到来的竞争关系,且接收事件的内存始终存在且能够满足检测要求。在一种优选的方案中,在事件检测中,当单个模式事件对应有多个直接子事件时,将允许优先级高的子事件优先执行匹配。在一种优选的方案中,在匹配过程中,在允许优先级高的事件模式的响应优先得到执行情况下,也需要保证在给定定时约束内匹配能力较低的事件模式也能得到及时的匹配和响应。与现有技术相比,本专利技术技术方案的有益效果是:本专利技术公开了一种基于事件优先级调度的复杂事件检测方法。根据不同的应用事件具有不同的重要程度和响应时间需求原则,设计了基于事件优先级调度的快速检测与响应策略,优先选
择优先级指数高的事件进行检测,以保证海量数据检测和系统响应的执行以满足约束时间的目的。改进了常规事件序列扫描和序列过程,扩展了现有复杂事件检测技术,大大提高了海量数据流中复杂事件检测能力。本专利技术针对当前复杂事件检测方法在检测海量数据流上重要事件时出现检测时间长,响应速度慢,检测效率低的问题,改进了当前复杂事件模式检测方法,对现有的复杂事件检测技术进行扩展,使其能够比较高效地在海量数据上完成复杂事件的检测。附图说明图1是本专利技术基于事件优先级调度的复杂事件检测方法的原理图。图2是本专利技术与基于事件到达时间的复杂事件检测方法在检测时间方面比较示意图。图3是本专利技术与基于事件到达时间的复杂事件检测方法在事件吞吐量方面比较示意图。具体实施方式附图仅用于示例性说明,不能理解为对本专利的限制;下面结合附图和实施例对本专利技术的技术方案做进一步的说明。实施例1一种基于事件优先级调度的复杂事件检测方法,包括以下步骤:S1:根据不同的应用事件具有不同的重要程度和响应时间需求,给各类事件赋予不同的优先级;S2:从事件流中读取各类事件操作;S3:根据读到的各类事件信息,计算各类事件的优先级指数;S4:依据各类事件的优先级指数大小,优先选择优先级指数高的事件进行检测;S5:输出检测结果事件。在事件检测过程中,事件与事件之间是存在先后顺序的,不存在两个事件同时到来的竞争关系,且接收事件的内存始终存在且能够满足检测要求。本专利技术方法实施优先级调度条件为:(1)在事件模式匹配模型的搭建与执行匹配过程中,当存在单个事件模式有多个直接子事件模式时,将允许优先级高的直接子事件模式匹配,优先执行优先级高子事件模式即组成事件模式的优先级高子事件;(2)在多个事件模式响应并行执行时,能够允许优先级高的事件模式的响应优先执行,并保证在给定定时约束内完成匹配的能力较低的事件模式得到及时的匹配和响应,实现事件模式匹配基于优先级的调度。在条件(1)中,当满足单个事件模式对应有多个直接子事件模式时,将允许优先级高的直接子事件模式优先执行匹配。在条件(2)中,当在多个事件模式响应并行执行时,在允许优先级高的事件模式的响应优先得到执行情况下,也需要保证在给定定时约束内完成匹配的能力较低的事件模式得到及时的匹配和响应。条件(1)和条件(2)实现实施优先级调度策略实现目的主要为了提高海量数据事件模式匹配处理的实时性,实现低时延快响应检测目的。下面对具体匹配过程进行详细的说明。在本实例中,利用数据发生器模块去模拟产生海量生产事件流,通过控制数据发生器模块参数生成事件类型的规格,事件流的概率分布等,以实现实验需求的需要。本专利技术的实验开发工具为:Visual C++6.0,测试指标为:检测时间和吞吐量二方面,实验比较方法为:基于数据到达时间检测方法。实验中使用的检测模式表达式为SEQ(A,B,C,D)。表1是实验中用到的其它一些主要参数。表1设置参数参数值事件类型个数10每个事件属性个数3数据流规格2-8(105)事件检测模式长度4滑动窗口大小4000事件检测模式SEQ(A,B,C,D)图1是本专利技术方法所提基于优先级调度的事件快速检测与响应策略图。它主要内容包括有:优先级具体调度,业务到事件模式的映射,事件模式匹配的描述,事件模式的复杂度量化等。在设计中,为保证海量本文档来自技高网...
【技术保护点】
一种基于事件优先级调度的复杂事件检测方法,其特征在于,所述方法包括以下步骤:S1:根据不同的应用事件具有不同的重要程度和响应时间需求,给各类事件赋予不同的优先级;S2:从事件流中读取各类事件操作;S3:根据读到的各类事件信息,计算各类事件的优先级指数;S4:依据各类事件的优先级指数大小,优先选择优先级指数高的事件进行检测;S5:输出检测结果事件。
【技术特征摘要】
1.一种基于事件优先级调度的复杂事件检测方法,其特征在于,所述方法包括以下步骤:S1:根据不同的应用事件具有不同的重要程度和响应时间需求,给各类事件赋予不同的优先级;S2:从事件流中读取各类事件操作;S3:根据读到的各类事件信息,计算各类事件的优先级指数;S4:依据各类事件的优先级指数大小,优先选择优先级指数高的事件进行检测;S5:输出检测结果事件。2.一种基于事件优先级调度的复杂事件检测方法,其特征在于,在事件检测过程中,事件与事件之...
【专利技术属性】
技术研发人员:王建华,王涛,程良伦,彭孝东,
申请(专利权)人:华南农业大学,广东工业大学,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。