监测系统的数据处理方法和装置制造方法及图纸

本发明专利技术提供一种监测系统的数据处理方法和装置，通过对实时获取的当前时间间隔的状态监测时序数据的处理，可以先忽略当前时间间隔内数据的完整性，从而实现在最快时间内获取设备发生状态翻转的大致信息。随着后续传输过程中不断补充当前时间间隔内缺失的部分时序数据，结合已经获取到的设备状态翻转的大致信息，再进一步补全以及精确设备的翻转状态信息。这样大大提高了设备翻转状态信息获取的实时性，而且可以节约等待数据段传输完整的时间开销以及检查该段数据是否传输完整并保证时间顺序的功能开销。

【技术实现步骤摘要】

本专利技术涉及数据检测技术，尤其涉及一种监测系统的数据处理方法和装置，属于数据处理

技术介绍
随着工业化和信息化的发展以及互联网的兴起，信息的生成、采集以及挖掘应用到各个行业当中。例如，通过采集一些日志信息的实时状态记录以及包含时间信息的网络记录等数据生成一系列时序数据，并通过对这些时序数据的处理实现告警检测、舆情监控等。所谓时序数据是指时间序列数据，即同一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的，具有可比性。时间序列数据分析的目的是通过找出样本内时间序列的统计特性和发展规律性，构建时间序列模型，进行样本外预测。其中，对时序数据中相邻时间点待监测对象的状态变化的获取和处理，即检测时序数据的状态翻转信息，对于告警检测、舆情监控等有着重要的意义。现有的数据检测中，主要采用在每个数据源处理本地时序数据，再将各个数据源处理结果整体汇总的方式进行时序数据处理，进而获取待监测对象的状态变化及发生状态变化的时间。然而网络传输过程中存在不确定性，不能保证每一条数据能够在规定时间内到达，在数据接收端获取的时序数据可能存在时间乱序和临时缺失的情况。为此，现有的检测时序数据的状态翻转信息的方法是：将接收到的数据先存储在缓冲区中进行排序，并确保一定时间间隔内数据完整后，再捕捉时序数据中状态翻转瞬间的数据。大数据时代的来临，迫使我们必须更高效更快捷的进行时序数据处理。然而现有方法检测时序数据状态翻转时，需要花费等待数据段传输完整的时间开销以及检查该段数据是否传输完整并保证时间顺序的功能开销，尤其是在处理不同种类海量时序数据的情况下，花费的时间更将以倍数增加，大大降低时序数据状态翻转信息检测的实时性。
技术实现思路
本专利技术实施例提供一种监测系统的数据处理方法和装置，可以在基于数据处理的过程中，应对数据传输过程中数据乱序和临时缺失的情况，实现海量数据分布式准实时的并行处理。本专利技术实施例提供一种监测系统的数据处理方法，包括：在初始时间间隔接收每个数据源的第一状态监测时序数据，所述第一状态监测时序数据中包括多个数据收集时刻信息；根据第一状态监测时序数据的数据收集时刻信息，获得该数据源的初始数据翻转状态信息；对于每个数据源，在至少一个后续时间间隔接收该数据源的第二状态监测时序数据，所述第二状态监测时序数据中包括多个数据收集时刻信息，所述第一状态监测时序数据和所述第二状态监测时序数据中的数据收集时刻均为乱序；根据第二状态监测时序数据的数据收集时刻信息，更新所述初始翻转状态信息。本专利技术实施例还提供一种监测系统的数据处理装置，包括：第一接收模块，用于在初始时间间隔接收每个数据源的第一状态监测时序数据，所述第一状态监测时序数据中包括多个数据收集时刻信息；第一检测模块，用于根据第一状态监测时序数据的数据收集时刻信息，获得该数据源的初始数据翻转状态信息；第二接收模块，用于对于每个数据源，在至少一个后续时间间隔接收该数据源的第二状态监测时序数据，所述第二状态监测时序数据中包括多个数据收集时刻信息，所述第一状态监测时序数据和所述第二状态监测时序数据中的数据收集时刻均为乱序；第二检测模块，用于根据第二状态监测时序数据的数据收集时刻信息，更新所述初始翻转状态信息。基于上述，本专利技术实施例提供的监测系统的数据处理方法及装置，通过对实时获取的当前时间间隔的状态监测时序数据的处理，可以先忽略当前时间间隔内数据的完整性，从而实现在最快时间内获取设备发生状态翻转的大致信息。随着后续传输过程中不断补充该时间段(当前时间间隔)内缺失的部分时序数据，结合已经获取到的设备状态翻转的大致信息，再进一步补全以及精确设备的翻转状态信息。这样大大提高了设备翻转状态信息获取的实时性，而且可以节约等待数据段传输完整的时间开销以及检查该段数据是否传输完整并保证时间顺序的功能开销。附图说明为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的监测系统示意图；图2为本专利技术实施例提供的一种监测系统的数据处理方法流程图；图3为本专利技术实施例提供的另一种监测系统的数据处理方法流程图；图4为本专利技术实施例中创建的一种数据块示意图；图5为本专利技术实施例中创建的另一种数据块示意图；图6为本专利技术实施例提供一种监测系统的数据处理装置示意图；图7为本专利技术实施例提供另一种监测系统的数据处理装置示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的实施例可以用于各个行业当中的告警检测、舆情监控等过程中的告警信息分析提取。举例来说，在地铁日志分析系统中就需要实现同时对多个地铁子系统各个设备的监测分析。地铁运行系统涉及多类子系统(如控制子系统、通信子系统、车辆子系统和轨道信号子系统等)，每类子系统中又包含多个子系统，而每个子系统中又可包含多个设备。地铁日志分析系统需要同时处理针对不同设备的海量时序数据，获取各个设备的状态变化及发生状态变化的时间，从而可以通过分析各个设备的状态翻转信息找出设备存在的安全隐患及其可能的原因等系列问题。其中，设备的状态例如故障、正常、空闲、运行等等。而对于监测设备的时序数据应该是具有可比性的状态记录数据。例如某一时间段内某一监测设备的状态监测数据为(t1，T)(t2，T)(t3，F)(t4，T)(t5，T)，其中，t1，t2，t3，t4，t5代表数据收集时刻，“T”代表正常状态，“F”代表故障状态。那么就可以分析该数据得出该设备的状态翻转信息为：“翻转时间t3，状态值F”和“翻转时间t4，状态值T”，或者“t3时刻发生故障，t4时刻恢复正常”。并行处理(ParallelProcessing)是计算机系统中能同时执行两个或更多个处理的一种计算方法，可以节省大型和复杂问题的解决时间。在谷歌(Google)提出云计算模型后，就不断有开源的云计算架构被开发出来，Hadoop就是其中最常用的一个，依托于Apache开源组织。Hadoop屏蔽了大量的云计算细节问题，用户可以很方便的利用Hadoop开发出海量数据存储和处理系统。Hadoop主要由两部分组成：分布式文件系统(HadoopDistributedFileSystem，简称HDFS)和分布式并行计算框架(MapReduce)，其中HDFS提供大文件的存储能力，而MapReduce提供海量数据并行处理的编程接口。目前Hadoop己经深入大数据处理的各个领域，实现了一个不规则数据的存储和分析的高效平台。图1为本专利技术提供的监测系统示意图，如图1所示，可以通多无线传感器网络(WirelessSensorNetworks，简称WSN)监测各个设备的状态数据，则WSN采集的状态监测数据形成设备的日志数据。并将多个设备的状态监本文档来自技高网...

【技术保护点】
一种监测系统的数据处理方法，其特征在于，包括：在当前时间间隔接收每个数据源的第一状态监测时序数据，所述第一状态监测时序数据中包括多个数据收集时刻信息；根据所述第一状态监测时序数据的数据收集时刻信息，获得该数据源在当前时间间隔的初始翻转状态信息；对于每个数据源，在至少一个后续时间间隔接收该数据源的第二状态监测时序数据，所述第二状态监测时序数据中包括多个数据收集时刻信息，所述第一状态监测时序数据和所述第二状态监测时序数据中的数据收集时刻均属于当前时间间隔；根据所述第二状态监测时序数据的数据收集时刻信息，更新所述初始翻转状态信息。

【技术特征摘要】
1.一种监测系统的数据处理方法，其特征在于，包括：在当前时间间隔接收每个数据源的第一状态监测时序数据，所述第一状态监测时序数据中包括多个数据收集时刻信息；根据所述第一状态监测时序数据的数据收集时刻信息，获得该数据源在当前时间间隔的初始翻转状态信息；对于每个数据源，在至少一个后续时间间隔接收该数据源的第二状态监测时序数据，所述第二状态监测时序数据中包括多个数据收集时刻信息，所述第一状态监测时序数据和所述第二状态监测时序数据中的数据收集时刻均属于当前时间间隔；根据所述第二状态监测时序数据的数据收集时刻信息，更新所述初始翻转状态信息。2.根据权利要求1所述的方法，其特征在于，所述在当前时间间隔接收每个数据源的第一状态监测时序数据之后，还包括：根据数据分块规则创建数据块，所述数据块中包括多个按照数据收集时刻信息顺序排列的存储单元，所述数据分块规则根据所述第一状态监测时序数据中的数据收集时刻信息确定；根据所述第一状态监测时序数据中的数据收集时刻信息，将所述第一状态监测时序数据中的数据存储到所述数据块的对应存储单元中。3.根据权利要求2所述的方法，其特征在于，所述在至少一个后续时间间隔接收该数据源的第二状态监测时序数据之后，还包括：根据所述第二状态监测时序数据中的数据收集时刻信息，将所述第二状态监测时序数据中的数据存储到所述数据块的对应存储单元中。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一状态监测时序数据的数据收集时刻信息，获得该数据源在当前时间间隔的初始翻转状态信息，具体包括：将所述第一状态监测时序数据中的数据存储到所述数据块的对应存储单元后，依次判断所述数据块中存储入数据的相邻存储单元的数据翻转状态，获得所述初始状态翻转信息。5.根据权利要求4所述的方法，其特征在于，所述根据所述第二状态监
\t测时序数据的数据收集时刻信息，更新所述初始翻转状态信息，具体包括：将所述第二状态监测时序数据中的数据存储到所述数据块的对应存储单元后，依次判断所述...

【专利技术属性】
技术研发人员：崔毅东，雷友珣，杨谈，陈泰至，李媛，肖楚天，周卓茹，孙瑶，金跃辉，陈丽萍，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11