基于大数据挖掘的雷电预警方法及系统技术方案

本发明专利技术公开了基于大数据挖掘的雷电预警方法及系统，涉及雷电预警领域，解决了多处基站在处理数据任务积压时损害的数据实时性，影响处理数据的效率的问题。本发明专利技术三级计算设备选择并调度建模任务至所述计算机设备，所述三级计算设备还用于监测建模任务执行情况，所述三级计算设备还用于任务执行情况反馈再次选择建模任务执行的计算机设备并协助转移所述建模任务的相关数据；所述建模任务为依据实时的大气电场强度和雷达回波数据结合卫星云图数据，分析后进一步判断得到雷暴团的大小、位置和运动路径的建模任务。本发明专利技术调整为分布式架构，降低计算负荷，减缓在建模和分析过程中对网络带宽的压力，能够较早的获得雷电预警。

【技术实现步骤摘要】
基于大数据挖掘的雷电预警方法及系统
本专利技术涉及雷电预警领域，具体涉及基于大数据挖掘的雷电预警方法及系统。
技术介绍
现有的多任务处理平台，在处理物联网收集的多种天气信息的同时，还用于数据建模，为了有效检测电网气象灾害，保障线路安全，线路状态监测系统获得大量应用，积累了海量的监测数据。这些数据一方面可用于实时诊断，掌握输电线路的当前状态，另一方面可以用来评估历史，对区域的气象灾害风险进行概率估算。但是过多的数据积累对系统运载负荷和单位时间内的计算量造成了减益效果，对城市的雷电预警系统监测数据的同时，还在处理关于其他类型天气现象数据，为了及时处理和提高效率，开发一种基于大数据挖掘的雷电预警系统，避免多处基站在处理数据任务积压时损害的数据实时性，为预警系统提供高效的数据处理。
技术实现思路
本专利技术所要解决的技术问题是：多处基站在处理数据任务积压时损害的数据实时性，影响处理数据的效率，本专利技术提供了解决上述问题的基于大数据挖掘的雷电预警方法及系统。本专利技术结合边缘计算概念与雷电预警系统，将大数据挖掘的架构调整为分布式架构，降低计算负荷，减缓在建模和分析过程中对网络带宽的压力，能够较早的获得雷电预警，方便随后应对雷电预警信息的进一步调度，同时也大大减少了存储、计算和通讯资源成本。本专利技术通过下述技术方案实现：基于大数据挖掘的雷电预警系统，包括预警区域内的多处计算机设备，所述计算机设备包括逐级递升的一级计算设备、二级计算设备和三级计算设备；所述一级计算设备用于收集、整合实时大气电场强度和雷达回波数据并发送至三级计算设备；所述二级计算设备用于结合卫星云图数据，初步判断雷暴团位置信息，并发送至三级计算设备；所述三级计算设备用于选择接收多处一级计算设备、二级计算设备数据，所述三级计算设备选择并调度建模任务至所述计算机设备，所述三级计算设备还用于监测建模任务执行情况，所述三级计算设备还用于任务执行情况反馈再次选择建模任务执行的计算机设备并协助转移所述建模任务的相关数据；所述建模任务为依据实时的大气电场强度和雷达回波数据结合卫星云图数据，分析后进一步判断得到雷暴团的大小、位置和运动路径的建模任务。所述一级计算设备、二级计算设备分别与三级计算设备数据通信，所述三级计算设备监测所述数据通信所用链路的冗杂度，所述三级计算设备将冗杂度信息载入所述建模任务的相关数据，冗杂度为链路的实时宽带占用数据流量占所在链路宽带上载/下载的上限的比例值，所述冗杂度为上载和下载占比值的权重均值。所述一级计算设备、二级计算设备分别向三级计算设备单向传输数据，且传输数据的任务单独计入数据链路并计算占用带宽值，所述传输数据的任务计入冗杂度计算，且所述三级计算设备还包括结合所述占用带宽值计算所述建模任务的相关数据。还包括所述三级计算设备用于选择部分数据传输至多处一级计算设备、二级计算设备数据；所述三级计算设备还用于依据接收到的一级计算设备和二级计算设备实时传输的数据的宽带占用率转换的冗杂度，调度任务至空闲计算设备，受调度任务为繁忙计算设备，所述繁忙计算设备为实时通信链路冗杂度高于冗杂度均值的计算设备，所述空闲计算设备为实时通信链路冗杂度低于冗杂度均值的计算设备，所述冗杂度均值为所述三级计算设备依据接收到的计算设备中上载/下载权重占比计算后的冗杂度属性的均值。包括多出三级计算设备，每处三级计算设备直辖多处二级计算设备，一处二级计算设备管理多处一级计算设备，多处一级计算设备还用于接收二级计算设备授权许可直接传输数据至对应的三级计算设备。优选的，三级计算设备用于创建建模任务，三级计算设备还用于将建模任务划分为多个分布式进程子模块，并对应多个子模块的相应数据调度数据来源的计算设备；三级计算设备用于将多个分布式进程子模块分配至多处空闲计算设备，并对应所述子模块的相应数据来源路径，计算并优化数据来源路径，建立与子模块对应的数据传输任务发送至来源计算设备，所述来源计算设备将子模块所需数据传输至对应空闲计算设备；来源计算设备为二级计算设备或一级计算设备。优选的，一级计算设备包括传感器、PLC终端、单片机和雷达接收机。基于大数据挖掘的雷电预警方法，基于上述的系统，应用于雷电预警的方法，包括如下步骤：S1、一级计算设备收集、整合实时大气电场强度和雷达回波数据并发送至二级计算设备；S2、二级计算设备收集卫星云图数据，二级计算设备接收一级计算设备的数据，二级计算设备结合一级计算设备的数据和卫星云图数据基于内置计算引擎初步判断雷暴团的位置信息并发送至三级计算设备；S3、三级计算设备结合多处二级计算设备得到的雷暴团的位置信息，判断雷暴团的模糊分布信息，进行初步预警；S4、三级计算设备创建建模任务，并按计算设备所处区域划分为多个子模块任务，三级计算设备下发子模块任务至一级计算设备或二级计算设备，同时对应创建子模块任务所需数据的传输任务至对应数据来源计算设备，所述所需数据为子模块任务的输入数据，所述数据来源计算设备为子模块任务计算的输入数据的来源计算设备；S5、多个子模块计算完成后返回结果数据和子模块任务编号至三级计算设备，三级计算设备整合子模块任务得到建模任务结果，包括雷暴团的大小、位置和运动路径。还包括S4中，多个有交叠计算子设备的三级计算设备建立相同的建模任务和等同创建子模块任务，在S5中，多个有交叠计算子设备的三级计算设备互相验证建模任务结果，依据数据计算反馈情况选择其中的建模任务结果为最终的建模任务结果，并依据建模任务结果进行雷电预警；所述有交叠计算子设备的三级计算设备为两个或多个三级计算设备的下属等级计算设备相同，下属等级计算设备包括一级计算设备或二级计算设备。二级计算设备记录一级计算设备的数据对应的来源计算设备编号与数据传输路径，在S4中，创建子模块任务所需数据的传输任务，所述传输任务引用二级计算设备的数据传输路径，并进一步优化数据传输路径，绕开繁忙计算设备，将多处传输路径节点规划在空闲计算设备节点上。当进行数据通信任务信息时，一级计算设备产生超过数据通信上限的宽带通量任务，不足以传输至二级计算设备，即此时，一级计算设备与二级计算设备之间的上载/下载带宽处于饱和状态，一级计算设备暂停数据通信任务，并发送授权许可和数据通信任务信息至二级计算设备，二级计算设备判断数据通信任务信息是否正确，如正确，回传许可回执，一级计算设备继续数据通信任务并建立许可回执的任务前置于数据通信任务，许可回执的任务接收端为三级计算设备，发送端为一级计算设备，所述三级计算设备接收许可回执的任务，通过所述许可回执的任务并接收所述许可回执的任务的顺序任务，即数据通信任务，此时，三级计算设备直接接收来自一级计算设备的任务；对于此处超过阈值的数据通信任务，三级计算设备主动标注并记入数据异常情况，方便后续管理。关于所述冗杂度均值为所述三级计算设备依据接收到的计算设备中上载/下载权重占比计算后的冗杂度属性的均值；三级计算本文档来自技高网...

【技术保护点】
1.基于大数据挖掘的雷电预警系统，其特征在于，包括预警区域内的多处计算机设备，所述计算机设备包括逐级递升的一级计算设备、二级计算设备和三级计算设备；/n所述一级计算设备用于收集、整合实时大气电场强度和雷达回波数据并发送至三级计算设备；/n所述二级计算设备用于结合卫星云图数据，初步判断雷暴团位置信息，并发送至三级计算设备；/n所述三级计算设备用于选择接收多处一级计算设备、二级计算设备数据，所述三级计算设备选择并调度建模任务至所述计算机设备，所述三级计算设备还用于监测建模任务执行情况，所述三级计算设备还用于任务执行情况反馈再次选择建模任务执行的计算机设备并协助转移所述建模任务的相关数据；/n所述建模任务为依据实时的大气电场强度和雷达回波数据结合卫星云图数据，分析后进一步判断得到雷暴团的大小、位置和运动路径的建模任务。/n

【技术特征摘要】
1.基于大数据挖掘的雷电预警系统，其特征在于，包括预警区域内的多处计算机设备，所述计算机设备包括逐级递升的一级计算设备、二级计算设备和三级计算设备；
所述一级计算设备用于收集、整合实时大气电场强度和雷达回波数据并发送至三级计算设备；
所述二级计算设备用于结合卫星云图数据，初步判断雷暴团位置信息，并发送至三级计算设备；
所述三级计算设备用于选择接收多处一级计算设备、二级计算设备数据，所述三级计算设备选择并调度建模任务至所述计算机设备，所述三级计算设备还用于监测建模任务执行情况，所述三级计算设备还用于任务执行情况反馈再次选择建模任务执行的计算机设备并协助转移所述建模任务的相关数据；
所述建模任务为依据实时的大气电场强度和雷达回波数据结合卫星云图数据，分析后进一步判断得到雷暴团的大小、位置和运动路径的建模任务。


2.根据权利要求1所述的基于大数据挖掘的雷电预警系统，其特征在于，所述一级计算设备、二级计算设备分别与三级计算设备数据通信，所述三级计算设备监测所述数据通信所用链路的冗杂度，所述三级计算设备将冗杂度信息载入所述建模任务的相关数据，冗杂度为链路的实时宽带占用数据流量占所在链路宽带上载/下载的上限的比例值，所述冗杂度为上载和下载占比值的权重均值。


3.根据权利要求2所述的基于大数据挖掘的雷电预警系统，其特征在于，所述一级计算设备、二级计算设备分别向三级计算设备单向传输数据，且传输数据的任务单独计入数据链路并计算占用带宽值，所述传输数据的任务计入冗杂度计算，且所述三级计算设备还包括结合所述占用带宽值计算所述建模任务的相关数据。


4.根据权利要求3所述的基于大数据挖掘的雷电预警系统，其特征在于，还包括所述三级计算设备用于选择部分数据传输至多处一级计算设备、二级计算设备数据；
所述三级计算设备还用于依据接收到的一级计算设备和二级计算设备实时传输的数据的宽带占用率转换的冗杂度，调度任务至空闲计算设备，受调度任务为繁忙计算设备，所述繁忙计算设备为实时通信链路冗杂度高于冗杂度均值的计算设备，所述空闲计算设备为实时通信链路冗杂度低于冗杂度均值的计算设备，所述冗杂度均值为所述三级计算设备依据接收到的计算设备中上载/下载权重占比计算后的冗杂度属性的均值。


5.根据权利要求4所述的基于大数据挖掘的雷电预警系统，其特征在于，包括多出三级计算设备，每处三级计算设备直辖多处二级计算设备，一处二级计算设备管理多处一级计算设备，多处一级计算设备还用于接收二级计算设备授权许可直接传输数据至对应的三级计算设备。


6.根据权利要求1-5任意一条所述的基于大数据挖掘的雷电预警系统，其特征在于，三级计算设备用于创建建模任务，三级计算...

【专利技术属性】
技术研发人员：高攀亮，董娜，苏玉宗，马磊，张兵兵，
申请(专利权)人：宁夏中科天际防雷股份有限公司，
类型：发明
国别省市：宁夏;64