System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据传输,具体而言,涉及基于滑动窗口排序的供电调度日志管理方法及系统。
技术介绍
1、智能供电调度系统部署运行时,在同一个节点上会同时运行多个子系统、多个进程,每个进程在运行时又有多个线程同时运行,在持续不断的长时间运行期间,这些进程、线程会产生大量的日志信息,相关的日志信息包括了平台系统运行时产生的日志信息、应用软件运行时产生的日志数据、相关操作产生的日志数据、实时事件及故障产生的日志信息、以及其他的日志信息等,智能供电调度系统需要对这些日志信息进行集中存储,便于调试、查错及出现事故时进行关联分析
2、同一个节点上同时运行的子系统、进程、线程多,各个子系统、线程产生的日志信息格式差异较大,如不集中存储,在对各自的日志信息进行分析调阅时非常不方便。
3、在同一个节点上,对所有子系统、进程、线程所产生的日志信息,进行集中存储时,因传输、接收日志数据信息所必须消耗的时间有差异,同时在接收日志时,由于负责接收的多个线程基于cpu时间片进行线程切换的原因,也会导致从多个进程接收到的日志数据其对应的顺序错乱;这些原因都会导致集中存储的日志信息,其先后顺序可能是错误的,不便于子系统、多进程关联相关的日志信息,进行关联查询分析。
技术实现思路
1、本专利技术的目的是提供基于滑动窗口排序的供电调度日志管理方法及系统,来解决现有技术中的上述问题。
2、本专利技术的实施例通过以下技术方案实现:
3、第一方面,本专利技术提供了基于滑动窗口排序
4、通过若干个日志采集端采集供电调度系统的日志信息,并将单个日志信息按日志发生的线性顺序和时间戳进行排序;
5、设置滑动窗口,每隔t0时间,将前一个滑动窗口内收集的日志信息上传至日志收集端;
6、所述日志收集端通过滑动窗口排序将所收集的日志信息进行排序储存至日志数据系统文件中。
7、优选的,所述通过滑动窗口排序包括:
8、获取每个不同日志采集端上传的日志信息,按线性顺序或者时间戳进行排序;
9、判断需要排序的日志信息是否来自同一个日志采集端,若是,则按照接收顺序进行排序,若不是,则按照时间戳进行排序;
10、排序完成后,输出排序后的日志队列。
11、优选的,所述排序储存包括日志数据排序线程和储存线程,所述日志数据排序线程包括:
12、获取一个采集窗口的待插入日志信息,从已排序的日志队列里获取排序最后且来自于相同日志采集端的第一日志信息;
13、若获取成功,则从获取的第一日志信息位置起,按待插入日志信息的时间进行排序,将相应的待插入日志信息按时间及发生先后顺序插入到已排序的日志队列中;
14、若未获取成功,则从待插入日志信息里读取第一条第二日志信息,从已排序的日志队列获取第一条第三日志信息,所述第三日志信息的被上传时间大于等于第二日志信息的被上传时间;
15、优选的,还包括:
16、若成功获取到第三日志信息,则从第三日志信息开始,按待插入日志信息的被上传时间进行排序,将相应的待插入日志信息按时间及日志发生先后顺序插入到已排序队列中;
17、若未成功获取到第三日志信息,则从已排序的日志队列最后开始待插入日志信息插入。
18、优选的,所述储存线程包括:
19、设置检查时间间隔,当达到检查时间间隔时,从已排序日志队列中,获取一个待储存的滑动窗口的第四日志信息,所述第四日志信息的被上传时间与当前的时间差小于等于检查时间间隔;
20、将第四日志信息从已排序日志队列中移除,并形成待储存日志信息队列,将待储存日志信息队列的日志信息进行储存,等待下一轮的储存;
21、若未达到检查时间间隔时,则等待到达检查时间间隔。
22、第二方面,本专利技术还提供了基于滑动窗口排序的供电调度日志管理系统,包括:
23、获取模块,被配置为通过若干个日志采集端采集供电调度系统的日志信息,并将单个日志信息按日志发生的线性顺序和时间戳进行排序;
24、上传模块,被配置为设置滑动窗口,每隔t0时间,将前一个滑动窗口内收集的日志信息上传至日志收集端;
25、储存模块,被配置为所述日志收集端通过滑动窗口排序将所收集的日志信息进行排序储存至日志数据系统文件中。
26、第三方面,本专利技术还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述的基于滑动窗口排序的供电调度日志管理方法。
27、第四方面,本专利技术还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述的基于滑动窗口排序的供电调度日志管理方法。
28、本专利技术实施例的技术方案至少具有如下优点和有益效果:
29、采用本专利技术所提供的方法,主要包括了通过若干个日志采集端采集供电调度系统的日志信息,并将单个日志信息按日志发生的线性顺序和时间戳进行排序,所述日志收集端通过滑动窗口排序将所收集的日志信息进行排序储存至日志数据系统文件中。在单个节点上运行的智能供电调度系统,对多个子系统、多个进程、线程所产生日志信息按标准格式进行集中存储。
30、通过上述方法,解决日志信息集中存储时,相关日志信息可能出现时间错乱的问题,导致问题分析困难。解决日志信息集中存储时,相同时间戳有先后顺序的日志信息,按时间排序查询时,可能会导致线性顺序被破坏,不便于日志分析。在对日志信息分析时,已经按时间及发生的先后顺序进行了存储,查询时不需再将日志信息进行排序,提高了查询效率。
本文档来自技高网...【技术保护点】
1.基于滑动窗口排序的供电调度日志管理方法,其特征在于,包括:
2.根据权利要求1所述的基于滑动窗口排序的供电调度日志管理方法,其特征在于,所述通过滑动窗口排序包括:
3.根据权利要求2所述的基于滑动窗口排序的供电调度日志管理方法,其特征在于,所述排序储存包括日志数据排序线程和储存线程,所述日志数据排序线程包括:
4.根据权利要求3所述的基于滑动窗口排序的供电调度日志管理方法,其特征在于,还包括:
5.根据权利要求4所述的基于滑动窗口排序的供电调度日志管理方法,其特征在于,所述储存线程包括:
6.基于滑动窗口排序的供电调度日志管理系统,其特征在于,包括:
7.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的基于滑动窗口排序的供电调度日志管理方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述
...【技术特征摘要】
1.基于滑动窗口排序的供电调度日志管理方法,其特征在于,包括:
2.根据权利要求1所述的基于滑动窗口排序的供电调度日志管理方法,其特征在于,所述通过滑动窗口排序包括:
3.根据权利要求2所述的基于滑动窗口排序的供电调度日志管理方法,其特征在于,所述排序储存包括日志数据排序线程和储存线程,所述日志数据排序线程包括:
4.根据权利要求3所述的基于滑动窗口排序的供电调度日志管理方法,其特征在于,还包括:
5.根据权利要求4所述的基于滑动窗口排序的供电调度日志管理方法,其特...
【专利技术属性】
技术研发人员:李存昌,侯兵,张高洪,李翠波,
申请(专利权)人:成都交大光芒科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。