System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于数据分析的复杂事件检测方法及系统技术方案_技高网

基于数据分析的复杂事件检测方法及系统技术方案

技术编号:43029256 阅读:9 留言:0更新日期:2024-10-18 17:29
本发明专利技术涉及复杂事件查询优化技术领域,具体涉及基于数据分析的复杂事件检测方法及系统。该方法根据每个基本时间所属类型的基本事件的持续时间与知情人的空间分布变化获取综合辐射指标,并利用其调整匹配窗口获取调节匹配窗口;根基基本时间的综合辐射指标与其调节匹配窗口中基本时间之间关联程度获获取事件源;根据任意两个基本事件分别与同一事件源之间关联程度的差异调整基本事件与事件源的原始距离度量,进而对总体事件流中基本事件进行复杂事件检测。本发明专利技术基本事件的知情人空间分布变化与持续时间调整匹配窗口并筛选事件源,提高复杂事件检测时的匹配精度。

【技术实现步骤摘要】

本专利技术涉及复杂事件查询优化,具体涉及基于数据分析的复杂事件检测方法及系统


技术介绍

1、复杂事件检测方法是一种涉及事件的自动化检测和分析方法,主要应用于从大规模数据流中识别出具有特定语义和语境的复杂事件;该方法将系统数据看做不同类型的事件,通过分析事件间的关系,建立不同事件的关系序列库,利用过滤、关联与聚合等技术,最终由简单事件产生高级事件或商业流程,通常用于实时风险管理、实时交易分析、网络诈骗、网络攻击、市场趋势分析等领域。

2、基于非确定性有限状态自动机(nondeterministic finite automaton,nfa)的处理模型是最流行的复杂事件处理(complex event processing,cep)技术实现方式,在复杂事件处理中,nfa处理模型会定义一种匹配机制:在对事件流上每个具体事件进行匹配时,生成一个临时匹配事件,用以保证临时匹配事件可以被后续的新事件所使用进行匹配,从而产生新的临时匹配事件以及最终完整的匹配结果。当事件复杂度较大且事件流时间尺度跨较大时,该匹配机制过程中会产生大量且重叠的临时匹配事件,由于nfa在处理过程中需要维护大量的临时匹配状态和复杂的状态转移,容易出现大量的重复操作与冗余计算,造成传统方法对具体事件流复杂性的误判断,将简单事件归为复杂事件,导致整体系统在处理复杂事件检测时的匹配精度较低,从而影响最终复杂事件检测结果。


技术实现思路

1、为了解决事件流复杂度与时间尺度跨较大导致复杂事件检测时的匹配精度较低的技术问题,本专利技术的目的在于提供基于数据分析的复杂事件检测方法及系统,所采用的技术方案具体如下:

2、第一方面,本专利技术一个实施例提供了一种基于数据分析的复杂事件检测方法,该方法包括:

3、获取基本事件数据库的总体事件流中每个基本事件的持续时间,总体事件流包含不同类型的基本事件;

4、从总体事件流中任选一个基本事件记为目标事件;根据目标事件所属类型的基本事件的持续时间,以及所述基本事件的知情人的空间分布变化,获取目标事件的综合辐射指标;基于所述综合辐射指标对目标事件进行模式匹配过程中的匹配窗口进行调整,得到目标事件的调节匹配窗口;

5、根据总体事件流中每个基本事件的所述综合辐射指标,以及所述基本事件与其所述调节匹配窗口中的基本事件之间关联程度,筛选总体事件流中的事件源;

6、根据总体事件流中任意两个基本事件分别与同一事件源之间关联程度的差异,调整所述基本事件与每个事件源在模式匹配过程中的原始距离度量,利用调整后的原始距离度量对总体事件流中基本事件进行复杂事件检测。

7、进一步地,所述获取目标事件的综合辐射指标的方法,包括:

8、根据目标事件的预设发酵时间段的开始时刻与结束时刻下知情人的位置的空间变化,获取目标事件的空间变化指标;

9、根据目标事件的持续时间与所述空间变化指标,获取目标事件的局部辐射指标;对目标事件所属类型的除目标事件外的其余基本事件的所述局部辐射指标的均值进行归一化处理,得到目标事件的综合辐射指标。

10、进一步地,所述获取目标事件的空间变化指标的方法,包括:

11、将目标事件的预设发酵时间段的开始时刻与结束时刻记为分析时刻,对于每个分析时刻,基于目标事件在分析时刻下每个知情人的位置与目标事件的发生位置之间的距离,对目标事件在分析时刻下所有知情人的位置顺序排列,得到目标事件在分析时刻的分析序列;

12、以目标事件在分析时刻下知情人的位置的经度为横轴,分析时刻下知情人的位置的纬度为纵轴,时间为竖轴建立三维坐标系;将目标事件在所述开始时刻的分析序列中元素在三维坐标系中进行标注得到对应元素的开始坐标点,将所述结束时刻的分析序列中元素在三维坐标系中进行标注得到对应元素的结束坐标点;对三维坐标系中所述开始坐标点与所述结束坐标点进行不同次随机相连,得到每次相连下每个开始坐标点的分析线段;将每次相邻下所有开始坐标点的所述分析线段的长度的累加和,作为每次相连的判断基准;

13、将最小的所述判断基准对应的分析线段记为目标线段;将每条所述目标线段与基准平面之间夹角进行负相关映射,得到每条目标线段的基准值;所述基准平面与所述三维坐标系的横轴和纵轴构成的平面平行,且经过所述三维坐标系的竖轴上结束时刻;

14、将所有目标线段的所述基准值的均值记为目标事件的空间变化指标。

15、进一步地,所述目标事件的调节匹配窗口的方法,包括:

16、利用事件模式检测方法,对目标事件与总体事件流中其余基本事件进行事件模式匹配,获取匹配过程中目标事件的匹配窗口;利用目标事件的所述综合辐射指标与常数1的和值,对目标事件的所述匹配窗口的尺寸进行加权,得到目标事件的调节匹配窗口。

17、进一步地,所述筛选总体事件流中的事件源的方法,包括:

18、将每个基本事件所属类型的基准事件在总体事件流的基本事件所出现的概率,记为每个基本事件的出现概率;在对目标事件进行模式匹配过程中,从目标事件的所述调节匹配窗口任选一个基本事件记为分析事件,将目标事件与分析事件的所述出现概率代入联合熵公式中,得到目标事件与分析事件之间局部关联指标;

19、将目标事件与目标事件的所述调节匹配窗口的所有基本事件之间所述局部关联指标的均值进行负相关映射,得到目标事件的综合关联指标;

20、根据目标事件的所述综合关联指标与所述综合辐射指标,获取目标事件的网络中心性指标;在总体事件流的基本事件中,将大于预设判断阈值的基本事件作为总体事件流中的事件源。

21、进一步地,所述利用调整后的原始距离度量对总体事件流中基本事件进行复杂事件检测的方法,包括:

22、从总体事件流中任选两个基本事件记为待测事件,任选一个事件源记为目标源;

23、将两个待测事件分别与目标源之间的所述局部关联指标的差值绝对值,记为两个待测事件与目标源的关联差异系数;

24、利用事件模式检测方法,对每个待测事件与目标源进行事件模式匹配,得到每个待测事件与目标源之间的原始距离度量;利用所述关联差异系数调整所述原始距离度量,得到每个待测事件与目标源之间的修正距离度量;

25、对于每个事件源,根据总体事件流中每个基本事件与事件源之间的所述修正距离度量,利用事件模式检测方法对总体事件流中基本事件进行复杂事件检测。

26、进一步地,所述预设发酵时间段为3天。

27、进一步地,所述预设判断阈值取经验值0.6。

28、进一步地,所述事件模式检测方法为非确定性有限状态自动机方法。

29、第二方面,本专利技术另一个实施例提供了一种基于数据分析的复杂事件检测系统,该系统包括:

30、数据采集模块,用于获取基本事件数据库的总体事件流中每个基本事件的持续时间,总体事件流包含不同类型的基本事件;

31、匹配窗口调节模块,用于从总体事本文档来自技高网...

【技术保护点】

1.一种基于数据分析的复杂事件检测方法,其特征在于,该方法包括:

2.根据权利要求1所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述获取目标事件的综合辐射指标的方法,包括:

3.根据权利要求1所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述获取目标事件的空间变化指标的方法,包括:

4.根据权利要求3所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述目标事件的调节匹配窗口的方法,包括:

5.根据权利要求1所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述筛选总体事件流中的事件源的方法,包括:

6.根据权利要求5所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述利用调整后的原始距离度量对总体事件流中基本事件进行复杂事件检测的方法,包括:

7.根据权利要求3所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述预设发酵时间段为3天。

8.根据权利要求5所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述预设判断阈值取经验值0.6。

9.根据权利要求4所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述事件模式检测方法为非确定性有限状态自动机方法。

10.一种基于数据分析的复杂事件检测系统,其特征在于,该系统包括:

...

【技术特征摘要】

1.一种基于数据分析的复杂事件检测方法,其特征在于,该方法包括:

2.根据权利要求1所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述获取目标事件的综合辐射指标的方法,包括:

3.根据权利要求1所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述获取目标事件的空间变化指标的方法,包括:

4.根据权利要求3所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述目标事件的调节匹配窗口的方法,包括:

5.根据权利要求1所述的一种基于数据分析的复杂事件检测方法,其特征在于,所述筛选总体事件流中的事件源的方法,包括:

6....

【专利技术属性】
技术研发人员:朱新为朱正浩朱操梁友红罗景文
申请(专利权)人:中科迈航信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1