一种应用于物联网的日志采集方法技术

本发明专利技术公开了一种应用于物联网的日志采集方法

【技术实现步骤摘要】
一种应用于物联网的日志采集方法、设备及介质


[0001]本专利技术涉及物联网
，尤其涉及一种应用于物联网的日志采集方法
、
设备及介质
。

技术介绍

[0002]日志采集在互联网领域已经有很成熟的解决方案，比如通过
Flume
等分布式来采集日志，通过聚合和传输系统，可以采集
socket
数据包
、
文件等各种形式的源数据，并输出到外部存储系统
。
[0003]但在物联网领域，特别是工业物联网领域，由于设备边缘端的网络能力
、
存储能力
、
运算能力等各方面的不足，使用复杂的组件会对设备原有功能产生负面影响，而不采用复杂组件，则会导致日志采集和管理的效率较低
。
在日志运维管理阶段，由于一般的物联网设备端没有可视化界面以及外设设备，且环境复杂，在定位日志时需要把物联网设备拆解下来到连接到电脑主机进行日志运维，无法做到远程运维，对物联网设备的日志管理和查询工作造成了不便
。

技术实现思路

[0004]本专利技术实施例提供了一种应用于物联网的日志采集方法
、
设备及介质，用于解决如下技术问题：物联网领域缺少轻量级且对网络存储和算力要求低的日志采集和管理方案
。
[0005]本专利技术实施例采用下述技术方案：
[0006]一方面，本专利技术实施例提供了一种应用于物联网的日志采集方法，方法包括：根据设备三元组信息，对物联网设备进行安全认证；其中，所述三元组信息包括客户端
ID、
用户名以及密码；
[0007]将运维人员配置的日志采集配置信息下发到
MQTT
服务器；
[0008]根据所述三元组信息，将所述物联网设备与所述
MQTT
服务器进行连接；
[0009]通过日志采集接口，并根据所述日志采集配置信息，在所述物联网设备中周期性采集日志信息；
[0010]将采集的日志信息更新到
MYSQL
数据库以及文件服务器中，以对所述日志信息进行日志管理
。
[0011]在一种可行的实施方式中，根据设备三元组信息，对物联网设备进行安全认证，具体包括：
[0012]通过设备管理平台，生成物联网设备的设备三元组信息，并将所述三元组信息导出到配置文件中；
[0013]在物联网设备出厂时，将所述设备三元组信息同步到所述
MQTT
服务器；并通过所述
MQTT
服务器，对所述设备三元组信息进行验证；
[0014]对所述物联网设备与所述
MQTT
服务器的通信进行基于
SSL
证书的双向安全认证，
以保证配置下发通信过程的安全性
。
[0015]在一种可行的实施方式中，在物联网设备出厂时，将所述设备三元组信息同步到所述
MQTT
服务器；并通过所述
MQTT
服务器，对所述设备三元组信息进行验证，具体包括：
[0016]在
MQTT
服务端启动客户端认证插件，并将所述设备三元组信息保存在
MQTT
服务器的内置数据库中；
[0017]在物联网设备与所述
MQTT
服务器创建连接时，校验所述设备三元组信息；
[0018]若校验失败，则返回认证失败的错误码
。
[0019]在一种可行的实施方式中，将运维人员配置的日志采集配置信息下发到
MQTT
服务器，具体包括：
[0020]通过设备管理平台，接收并保存运维人员配置的日志采集配置信息；其中，所述日志采集配置信息至少包括日志采集开关
、
日志采集有效周期；
[0021]在所述设备管理平台的统一认证服务中，同步追加当次配置关联的日志上传
HTTP
接口路径，以及当次有效的
JWT token
；
[0022]通过所述设备管理平台，将所述采集配置信息下发到
MQTT
服务器的对应日志采集配置主题
。
[0023]在一种可行的实施方式中，根据所述三元组信息，将所述物联网设备与所述
MQTT
服务器进行连接，具体包括：
[0024]在物联网设备启动时，根据所述设备三元组信息，与所述
MQTT
服务器创建连接；
[0025]若连接成功，则监听
MQTT
服务器中对应所述物联网设备的日志采集配置主题，接收并解析所述日志采集配置信息
。
[0026]在一种可行的实施方式中，通过日志采集接口，并根据所述日志采集配置信息，在所述物联网设备中周期性采集日志信息，具体包括：
[0027]若所述日志采集配置信息中的日志采集开关为开启状态，则在日志采集有效周期内，定时将日志信息统一上传到日志采集接口；
[0028]若所述日志采集开关为关闭状态，则停止上传日志任务
。
[0029]在一种可行的实施方式中，所述日志信息至少包括设备运行日志以及设备异常日志；
[0030]所述日志采集接口为
HTTP/HTTPS
接口，所述日志采集接口中附带所述日志采集配置信息中的
token
字段
。
[0031]在一种可行的实施方式中，将采集的日志信息更新到
MYSQL
数据库以及文件服务器中，以对所述日志信息进行日志管理，具体包括：
[0032]通过设备管理平台的统一认证服务，校验上传日志请求的
token
有效性以及上传日志周期的时效性；
[0033]若任一校验结果为无效，则过滤所述上传日志请求，不做处理；
[0034]若校验结果均为有效，则将最新的日志信息更新到
MYSQL
数据库的设备新增日志记录表中；
[0035]同时，按照设备维度以及日期维度，将最新的日志信息追加到文件服务器中进行存储；
[0036]根据
MQTT
服务器提供的日志管理服务，对所述日志信息进行管理；其中，所述日志
管理服务至少包括离线下载日志服务
、
定时删除日志服务
、
查看最新日志信息服务，以及下载历史日志服务
。
[0037]第二方面，本专利技术实施例还提供了一种应用于物联网的日志采集设备，其特征在于，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行根据上述任一实施方式所述的一种应用于物联网的日志采集方法
。
[0038]第三方面，本专利技术实施例还提供了一种存储介质，其特征在于，所述存储介质为非易失性计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种应用于物联网的日志采集方法，其特征在于，所述方法包括：根据设备三元组信息，对物联网设备进行安全认证；其中，所述三元组信息包括客户端
ID、
用户名以及密码；将运维人员配置的日志采集配置信息下发到
MQTT
服务器；根据所述三元组信息，将所述物联网设备与所述
MQTT
服务器进行连接；通过日志采集接口，并根据所述日志采集配置信息，在所述物联网设备中周期性采集日志信息；将采集的日志信息更新到
MYSQL
数据库以及文件服务器中，以对所述日志信息进行日志管理
。2.
根据权利要求1所述的一种应用于物联网的日志采集方法，其特征在于，根据设备三元组信息，对物联网设备进行安全认证，具体包括：通过设备管理平台，生成物联网设备的设备三元组信息，并将所述三元组信息导出到配置文件中；在物联网设备出厂时，将所述设备三元组信息同步到所述
MQTT
服务器；并通过所述
MQTT
服务器，对所述设备三元组信息进行验证；对所述物联网设备与所述
MQTT
服务器的通信进行基于
SSL
证书的双向安全认证，以保证配置下发通信过程的安全性
。3.
根据权利要求2所述的一种应用于物联网的日志采集方法，其特征在于，在物联网设备出厂时，将所述设备三元组信息同步到所述
MQTT
服务器；并通过所述
MQTT
服务器，对所述设备三元组信息进行验证，具体包括：在
MQTT
服务端启动客户端认证插件，并将所述设备三元组信息保存在
MQTT
服务器的内置数据库中；在物联网设备与所述
MQTT
服务器创建连接时，校验所述设备三元组信息；若校验失败，则返回认证失败的错误码
。4.
根据权利要求1所述的一种应用于物联网的日志采集方法，其特征在于，将运维人员配置的日志采集配置信息下发到
MQTT
服务器，具体包括：通过设备管理平台，接收并保存运维人员配置的日志采集配置信息；其中，所述日志采集配置信息至少包括日志采集开关
、
日志采集有效周期；在所述设备管理平台的统一认证服务中，同步追加当次配置关联的日志上传
HTTP
接口路径，以及当次有效的
JWT token
；通过所述设备管理平台，将所述采集配置信息下发到
MQTT
服务器的对应日志采集配置主题
。5.
根据权利要求1所述的一种应用于物联网的日志采集方法，其特征在于，根据...

【专利技术属性】
技术研发人员：高大伟，肖雪，于静，赵金涛，商广勇，
申请(专利权)人：浪潮云洲工业互联网有限公司，
类型：发明
国别省市：