基于云端协同的日志分析方法及系统技术方案

本发明专利技术公开了基于云端协同的日志分析方法及系统，属于Docker应用技术技术领域，要解决的技术问题为如何在节省建设成本和提高资源利用率的前提下实现日志分析。云端边缘管理平台将用户上传的大日志文件分片，将日志文件分片存储到文件服务器中，基于日志文件、日志分析方法以及应用配置参数形成日志分析应用，并将日志分析应用生成日志分析应用镜像，根据日志分析所需的算力以及每个边缘端设备的在线状态、闲置状态以及算力指标匹配至少一个适配的边缘端设备，并批量向适配的边缘端设备下发日志分析指令，基于日志分析指令，边缘端设备从镜像仓库中下载日志分析应用镜像，运行日志分析应用并将日志分析结果返回云端边缘管理平台。理平台。理平台。

【技术实现步骤摘要】
基于云端协同的日志分析方法及系统


[0001]本专利技术涉及Docker应用技术
，具体地说是基于云端协同的日志分析方法及系统。

技术介绍

[0002]随着云计算技术的发展，大大降低了IT基础设施的使用成本。但是，云数据中心带来的资源集中化也存在一些不足。资源集中化后，终端用户到数据中心相距较远，长距离的网络传输不仅占用大量网络资源，而且其带来的高时延减慢用户请求的相应速度，影响用户体验。边缘计算将原先集中在数据中心的计算能力，分发到网络边缘，在网络边缘进行数据处理。
[0003]目前常用的日志分析方法为：用户将待分析的日志大文件上传到日志分析系统或者应用服务自动推送日志文件到日志分析系统，日志分析系统根据用户配置的日志分析规则或者采用智能算法进行分析，进而形成分析结果。上述方法可能会存在如下缺陷：需要搭建日志大文件分析系统，该系统通常需要算力较高的一台或者多台专业服务器，甚至数据中心作为支撑，建造成本和能耗均较大，且空闲期会造成一定的资源浪费。
[0004]如何在节省建设成本和提高资源利用率的前提下实现日志分析，是需要解决的技术问题。

技术实现思路

[0005]本专利技术的技术任务是针对以上不足，提供基于云端协同的日志分析方法及系统，来解决如何在节省建设成本和提高资源利用率的前提下实现日志分析的技术问题。
[0006]第一方面，本方面一种基于云端协同的日志分析方法，应用于云端边缘管理平台、边缘端设备、文件服务器以及镜像仓库，所述方法包括如下步骤：
[0007]通过云端边缘管理平台将用户上传的日志文件拆分为多个日志文件分片，并将日志文件分片存储在文件服务器中；
[0008]对于要分析的日志文件，通过云端边缘管理平台编排日志分析方法和应用配置参数，基于日志文件以及对应的日志分析方法和应用配置参数形成日志分析应用，将日志分析应用生成日志分析应用镜像，并将日志分析应用镜像上传至镜像仓库；
[0009]对于要分析的日志文件，基于每个边缘端设备上报的在线状态、闲置状态以及算力指标，通过云端边缘管理平台匹配至少一个适配的边缘端设备，并将日志分析指令批量下发至适配的边缘端设备；
[0010]边缘端设备接受到日志分析指令后，从镜像仓库中下载日志分析指令指定的日志分析应用镜像，根据应用配置参数安装、启动和运行日志分析应用，日志分析应用运行后，将得到的日志分析结果上传云端边缘管理平台，并停止和卸载日志分析应用；
[0011]云端边缘管理平台收集和汇总目标设备上传的日志分析结果，并对日志分析结果进行展示。
[0012]作为优选，边缘端设备为机顶盒、边缘网关、闲置电脑的一种或多种组合；
[0013]每个边缘端设备定时通过MQTT消息向云端边缘管理平台上报其在线状态、闲置状态和算力指标；
[0014]边缘端设备通过MQTT消息将日志分析结果上报至云端边缘管理平台。
[0015]作为优选，日志分析方法用于进行关键字、关键词或者关键句提取与统计，还用于进行词频统计。
[0016]作为优选，应用配置参数包括容器规格、启动命令、选项配置、环境变量配置、卷配置、Host配置和健康检查配置。
[0017]作为优选，文件服务器中通过分布式文件管理系统存储和管理日志文件分片，分布式文件管理系统包括ElasticSearch和FastDFS。
[0018]第二方面，本专利技术一种基于云端协同的日志分析系统，包括云端边缘管理平台、边缘端设备、文件服务器和镜像仓库，用于通过如第一方面任一项所述的一种基于云端协同的日志分析方法进行日志分析；
[0019]云端边缘管理平台用于执行如下：
[0020]将用户上传的日志文件拆分为多个日志文件分片，并将日志文件分片存储在文件服务器中；
[0021]对于要分析的日志文件，编排日志分析方法和应用配置参数，基于日志文件以及对应的日志分析方法和应用配置参数形成日志分析应用，将日志分析应用生成日志分析应用镜像，并将日志分析应用镜像上传至镜像仓库；
[0022]对于要分析的日志文件，基于每个边缘端设备上报的在线状态、闲置状态以及算力指标，匹配至少一个适配的边缘端设备，并将日志分析指令批量下发至适配的边缘端设备；
[0023]对应的，边缘端设备用于执行如下：
[0024]接受到日志分析指令后，从镜像仓库中下载日志分析指令指定的日志分析应用镜像，根据应用配置参数安装、启动和运行日志分析应用，日志分析应用在目标设备运行后，将得到的日志分析结果上传云端边缘管理平台，并停止和卸载日志分析应用；
[0025]对应的，云端边缘管理平台用于收集和汇总目标设备上传的日志分析结果，并对日志分析结果进行展示。
[0026]作为优选，边缘端设备为机顶盒、边缘网关、闲置电脑的一种或多种组合；
[0027]每个边缘端设备用于定时通过MQTT消息向云端边缘管理平台上报其在线状态、闲置状态和算力指标；
[0028]边缘端设备用于通过MQTT消息将日志分析结果上报至云端边缘管理平台。
[0029]作为优选，日志分析方法用于进行关键字、关键词或者关键句提取与统计，还用于进行词频统计。
[0030]作为优选，应用配置参数包括容器规格、启动命令、选项配置、环境变量配置、卷配置、Host配置和健康检查配置。
[0031]作为优选，文件服务器中通过分布式文件管理系统存储和管理日志文件分片，分布式文件管理系统包括ElasticSearch和FastDFS。
[0032]本专利技术的基于云端协同的日志分析方法及系统具有以下优点：云端边缘管理平台
将用户上传的大日志文件分片，将日志文件分片存储到文件服务器中，对于要分析的日志文件，编排日志分析方法和应用配置参数，基于日志文件、日志分析方法以及应用配置参数形成日志分析应用，并将日志分析应用生成日志分析应用镜像，根据日志分析所需的算力以及每个边缘端设备的在线状态、闲置状态以及算力指标匹配至少一个适配的边缘端设备，并批量向适配的边缘端设备下发日志分析指令，基于日志分析指令，边缘端设备从镜像仓库中下载日志分析应用镜像，运行日志分析应用并将日志分析结果返回云端边缘管理平台，通过实现了日志分析应用生命周期管理、快速下发给边缘设备和日志分析等操作，提高了边缘设备算力利用效率。
附图说明
[0033]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]下面结合附图对本专利技术进一步说明。
[0035]图1为实施例1基于云端协同的日志分析方法的流程框图。
具体实施方式
[0036]下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云端协同的日志分析方法，其特征在于，应用于云端边缘管理平台、边缘端设备、文件服务器以及镜像仓库，所述方法包括如下步骤：通过云端边缘管理平台将用户上传的日志文件拆分为多个日志文件分片，并将日志文件分片存储在文件服务器中；对于要分析的日志文件，通过云端边缘管理平台编排日志分析方法和应用配置参数，基于日志文件以及对应的日志分析方法和应用配置参数形成日志分析应用，将日志分析应用生成日志分析应用镜像，并将日志分析应用镜像上传至镜像仓库；对于要分析的日志文件，基于每个边缘端设备上报的在线状态、闲置状态以及算力指标，通过云端边缘管理平台匹配至少一个适配的边缘端设备，并将日志分析指令批量下发至适配的边缘端设备；边缘端设备接受到日志分析指令后，从镜像仓库中下载日志分析指令指定的日志分析应用镜像，根据应用配置参数安装、启动和运行日志分析应用，日志分析应用运行后，将得到的日志分析结果上传云端边缘管理平台，并停止和卸载日志分析应用；云端边缘管理平台收集和汇总目标设备上传的日志分析结果，并对日志分析结果进行展示。2.根据权利要求1所述的基于云端协同的日志分析方法，其特征在于，边缘端设备为机顶盒、边缘网关、闲置电脑的一种或多种组合；每个边缘端设备定时通过MQTT消息向云端边缘管理平台上报其在线状态、闲置状态和算力指标；边缘端设备通过MQTT消息将日志分析结果上报至云端边缘管理平台。3.根据权利要求1所述的基于云端协同的日志分析方法，其特征在于，日志分析方法用于进行关键字、关键词或者关键句提取与统计，还用于进行词频统计。4.根据权利要求1所述的基于云端协同的日志分析方法，其特征在于，应用配置参数包括容器规格、启动命令、选项配置、环境变量配置、卷配置、Host配置和健康检查配置。5.根据权利要求1所述的基于云端协同的日志分析方法，其特征在于，文件服务器中通过分布式文件管理系统存储和管理日志文件分片，分布式文件管理系统包括ElasticSearch和FastDFS。6.一种基于云端协同的日志分析系统，其特征在于，包括云端边缘管理平...

【专利技术属性】
技术研发人员：耿飞，
申请(专利权)人：浪潮通信技术有限公司，
类型：发明
国别省市：