【技术实现步骤摘要】
本专利技术涉及数据分析，尤其涉及一种煤矿大数据平台监控方法、装置、设备和介质。
技术介绍
1、随着煤矿综采工作面智能化开采的不断发展，煤矿信息化、智能化程度的不断提高，智能化煤矿在开采时会产生大量的实时数据，而对不同的数据类型，平台的处理方式又各不相同。当前大数据分析逐渐以非结构化为主，现有的煤矿数据平台存储空间和运算能力已经不能满足当下高度智能化的需求，故引入一种分布式环境中可以实现对大量实时数据进行计算的系统。而目前符合这一需求并能适用于煤矿的系统是apache hadoop系统，虽然并未在智能化煤矿领域普及，但也逐渐成为大数据平台监控的主流系统。
2、目前智能化煤矿使用最多的hadoop集群数目日益增长，使得管理规模和数据管控的难度越来越大，在管控过程中，对集群中节点资源配置、实时资源占用情况等数据获取困难，导致在数据的采集、分析和传输等过程需要加大维护成本。例如，各个集群的配置、集群主控节点位置、数据包的配置等过程中，无法快速准确的提取监控到有价值的数据，增加了管理的难度。煤矿数据平台的管理是智能化煤矿数据安全、高效开采的重要部分。现有技术中公开了一些hadoop集群的分布式监测系统，但在煤矿的应用程度仍然较低。依照目前煤矿的使用现状，分析其技术细节可知，煤矿大数据平台的监控系统还有待解决的问题，主要体现在以下几个方面：
3、对传输状态数据的监控不足，目前煤矿对于数据的监控主要集中于大量的传感器数据，并不能监控到传输到服务器的数据是否完整，无法确定井下开采过程中传感器收集到的数据是否有丢失。>
4、对数据集群的计算节点监控不足，对整个数据链路的工作流程难以把控。
5、数据批量处理效率低，目前煤矿使用的数据平台大多适用于单一数据来源的处理，而对于不同数据来源的批量化处理能力不足。
技术实现思路
1、本专利技术提供一种煤矿大数据平台监控方法、装置、设备和介质，旨在监控数据集群的计算节点，实现数据的批量化处理并实现可视化展示，减少数据平台的操作难度，提供更加直观的监控。
2、为此，本专利技术的目的在于提出一种煤矿大数据平台监控方法，包括：
3、实时获取并存储煤矿大数据平台中运行环境的监控数据和数据传输过程的监控指标，并开放数据查询接口；
4、通过开放的监控数据查询接口，对大数据计算平台的运行环境进行实时监控，获取大数据计算平台的运行环境的监控数据；
5、通过开放的监控指标查询接口，对煤矿大数据计算平台的数据传输过程进行实时监控，获取煤矿大数据计算平台的数据传输过程的监控指标。
6、其中，对大数据计算平台的运行环境进行实时监控，获取大数据计算平台的运行环境的监控数据中，运行环境的监控数据的数据类型至少包括：温度监控、湿度监控、电压电流监控、硬件监控及功能监控；其中，
7、湿度监控，用于对煤矿大数据平台硬件存放环境的湿度进行监控；
8、温度监控，用于对煤矿大数据平台硬件存放环境的温度进行监控；
9、电压电流监控，用于监控煤矿大数据平台硬件运行时的电压和电流；
10、硬件监控，用于通过高清摄像头对煤矿大数据平台硬件进行实时监控，确保无损坏；
11、功能监控，用于监控煤矿大数据平台涉及的节点列表；配置每个节点路径，并可实现对各项服务功能的开启、关闭和重启。
12、其中，对煤矿大数据计算平台的数据传输过程进行实时监控，获取煤矿大数据计算平台的数据传输过程的监控指标，包括：
13、在煤矿大数据平台中，设置对不同数据计算运行环节的监控节点；
14、设置与每一监控节点对应进行通信连接的网关节点，用于对对应的监控节点进行管控、汇总由监控节点上传的数据并对汇总的数据进行协议转换以供上传、以及向对应的监控节点发送控制指令；
15、设置与至少一个网关节点进行通信连接的服务平台，用于对网关节点进行管控、汇总由网关节点上传的数据、对汇总的数据进行存储、分析、统计及处理、以及通过网关节点向对应的监控节点发送管控指令；
16、网关节点与服务平台建立通信连接，用于访问服务平台并通过服务平台对相应的网关节点和/或监控节点进行操控的访问终端。
17、其中，网关节点与监控节点通过zigbee无线网络建立通信连接，网关节点与服务平台基于tcp/ip协议的虚拟专用网络vpn建立通信连接。
18、其中，监控节点包括用于监测煤矿大数据平台服务器通电运行时的设备电压的压传感器，和监测设备电流的电流传感器，由监控节点将电压传感器传感得到的电压数据和电流传感器传感得到的电流数据上传至服务器平台；当服务器平台发出控制指令时，由监控节点控制相应的煤矿大数据平台的开关。
19、其中，数据传输过程的监控指标包括数据传输速度，丢包率以及传输延迟数据。
20、其中，基于煤矿大数据平台的数据进行环境监控的步骤包括：
21、将煤矿大数据平台中环境监控相关的环境监控节点进行注册；其中，注册的注册信息内容包括：节点名称，ip地址，节点传感器类型；
22、环境监控节点中包含监测温度和湿度的温敏电阻和湿敏电容，连接振荡电路将温度和湿度监测回路的电阻值和电容值转化为频率信号；
23、将频率信号进行数字化信号处理，转化数字信号，得到环境指标数值并进行储存；
24、将环境指标数值以及摄像头采集到的硬件监控视频进行可视化显示，并上传至服务器，并进行计算分析。
25、本专利技术的另一目的是提供一种煤矿大数据平台监控装置，包括：
26、数据采集模块，用于实时获取并存储煤矿大数据平台中运行环境的监控数据和数据传输过程的监控指标，并开放数据查询接口；
27、运行环境监控模块，用于通过开放的监控数据查询接口，对大数据计算平台的运行环境进行实时监控，获取大数据计算平台的运行环境的监控数据；
28、数据传输监控模块，用于通过开放的监控指标查询接口，对煤矿大数据计算平台的数据传输过程进行实时监控，获取煤矿大数据计算平台的数据传输过程的监控指标。
29、本专利技术的目的还在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案任一的方法。
30、本专利技术的目的还在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述技术方案的方法。
31、区别于现有技术，本专利技术提供的煤矿大数据平台监控方法，通过实时获取并存储煤矿大数据平台中运行环境的监控数据和数据传输过程的监控指标，并开放数据查询接口；通过开放的监控数据查询接口，对大数据计算平台的运行环境进行实时监控，获取大数据计算平台的运行环境的监控数据；通过开放的监控指标查询接口，对煤矿大数据计算平台的数据传输过程进行实时监控，获取煤矿大数据计算平台的数据传输过程的监控指标。通过本文档来自技高网...
【技术保护点】
1.一种煤矿大数据平台监控方法，其特征在于，包括：
2.根据权利要求1所述的煤矿大数据平台监控方法，其特征在于，所述对大数据计算平台的运行环境进行实时监控，获取大数据计算平台的运行环境的监控数据中，所述运行环境的监控数据的数据类型至少包括：温度监控、湿度监控、电压电流监控、硬件监控及功能监控；其中，
3.根据权利要求1所述的煤矿大数据平台监控方法，其特征在于，所述对煤矿大数据计算平台的数据传输过程进行实时监控，获取煤矿大数据计算平台的数据传输过程的监控指标，包括：
4.根据权利要求3所述的煤矿大数据平台监控方法，其特征在于，所述网关节点与所述监控节点通过Zigbee无线网络建立通信连接，所述网关节点与所述服务平台基于TCP/IP协议的虚拟专用网络VPN建立通信连接。
5.根据权利要求3的煤矿大数据平台监控方法，其特征在于，所述监控节点包括用于监测煤矿大数据平台服务器通电运行时的设备电压的压传感器，和监测设备电流的电流传感器，由所述监控节点将所述电压传感器传感得到的电压数据和所述电流传感器传感得到的电流数据上传至所述服务器平台；当所述
6.根据权利要求3的煤矿大数据平台监控方法，其特征在于，所述数据传输过程的监控指标包括数据传输速度，丢包率以及传输延迟数据。
7.根据权利要求3的煤矿大数据平台监控方法，其特征在于，基于煤矿大数据平台的数据进行环境监控的步骤包括：
8.一种煤矿大数据平台监控装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。
...【技术特征摘要】
1.一种煤矿大数据平台监控方法，其特征在于，包括：
2.根据权利要求1所述的煤矿大数据平台监控方法，其特征在于，所述对大数据计算平台的运行环境进行实时监控，获取大数据计算平台的运行环境的监控数据中，所述运行环境的监控数据的数据类型至少包括：温度监控、湿度监控、电压电流监控、硬件监控及功能监控；其中，
3.根据权利要求1所述的煤矿大数据平台监控方法，其特征在于，所述对煤矿大数据计算平台的数据传输过程进行实时监控，获取煤矿大数据计算平台的数据传输过程的监控指标，包括：
4.根据权利要求3所述的煤矿大数据平台监控方法，其特征在于，所述网关节点与所述监控节点通过zigbee无线网络建立通信连接，所述网关节点与所述服务平台基于tcp/ip协议的虚拟专用网络vpn建立通信连接。
5.根据权利要求3的煤矿大数据平台监控方法，其特征在于，所述监控节点包括用于监测煤矿大数据平台服务器通电运行时的设备电压的压传感器，和监测设备...
【专利技术属性】
技术研发人员：胡俭，袁超宇，王海，韩哲，毛小娃，巩师鑫，操康波，
申请(专利权)人：中煤科工开采研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。