国网云中应用的一种基于大数据的日志管理系统技术方案

技术编号:16550330 阅读:45 留言:0更新日期:2017-11-11 13:50
本发明专利技术公开了国网云中应用的一种基于大数据的日志管理系统,包括日志收集模块,日志存储模块、日志分析模块和应用交互模块,其中日志收集模块:收集、传输和聚合日志信息;日志存储模块:将收集的日志信息存储于分布式服务器的存储节点;日志分析模块:采用分布式计算的方法对日志信息进行数据挖掘分析;应用交互模块:用于给用户提供查询输入、日志查询和日志导出的界面。本发明专利技术实现了应用的弹性部署,为应用提供按需服务和资源的动态分配,即根据应用负载的变化来弹性的调整资源的配置,采用分布式日志收集、海量异构日志信息的存储、海量日志的分析满足海量异构日志数据存储和数据挖掘分析,并通过用户交互模块将查询日志输出和展示。

A log management system based on big data in the application of State Grid cloud

The invention discloses a cloud application in Web log management system based on big data, including the log collection module, storage module, log log analysis module and application interface module, the log collection module: collection, transmission and aggregation of the log information; log storage module: storing log information collected on distributed storage nodes server; log analysis module: distributed computing and data mining analysis of the log information; application interface module: input, query and query log log derived interface to provide to the user. The invention realizes the application of flexible deployment, as provided by the application of dynamic allocation of services and resources, according to the change of load applied to the elastic adjustment of resource allocation, the distributed log collection, heterogeneous log information storage, log analysis to meet the massive heterogeneous log data storage and data mining analysis, and through the user interaction module will query the log output and display.

【技术实现步骤摘要】
国网云中应用的一种基于大数据的日志管理系统
本专利技术涉及计算机
,具体的说,是国网云中应用的一种基于大数据的日志管理系统。
技术介绍
“国网云”包括生产控制云、企业管理云和公共服务云,分别为国家电网公司的生产控制、企业管理及对外服务提供相应的技术支撑,而“国网云”平台则是管理、调控、支撑这三朵云的核心。大数据时代的来临,许多公司的平台每天都会产生大量的日志数据,处理这些日志需要特定的数据系统,很多公司也已经将他们的日志系统开源。在国网云应用中,随着部署在云计算环境的应用规模的扩大和用户访问数量的增加,每天都会产生海量的异构日志数据,在传统的数据处理方式上使用传统的单台主机模式针对海量数据文件进行存储和计算,它的计算能力显得十分有限,并且由于日志数据结构不统一、数据量大,传统的关系型数据库在水平扩展能力上的不足和严格的模式化存储方式的约束,使得传统的日志存储和分析方法已经不能满足存储海量的异构日志数据的需求,并且应用日志存储在数量动态变化的主机资源之上,若没有及时将日志统一收集存储到日志服务器,就会造成日志随着主机的撤除而丢失。另外,日志的分布式存储不利于应用维护人员查看和分析,不利于应用系统的维护和优化。
技术实现思路
本专利技术的目的在于提供国网云中应用的一种基于大数据的日志管理系统,用于解决现有技术中关系型数据库不能满足海量异构日志数据存储的问题。为了达到上述目的,本专利技术通过下述技术方案实现:国网云中应用的一种基于大数据的日志管理系统,包括日志收集模块,日志存储模块、日志分析模块和应用交互模块,其中:日志收集模块:收集、传输和聚合日志信息;日志存储模块:将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点;日志分析模块:采用分布式计算的方法对日志信息进行数据挖掘分析;应用交互模块:用于给用户提供查询输入、日志查询和日志导出的界面。分布式日志收集模块负责将海量的分布式异构日志信息收集、传输和聚合,然后将日志信息存储至日志存储模块,日志存储模块将日志信息存储在分布式服务器上,并且设置了冗余备份机制,当被使用的那台服务器岩机时,备份服务器就会接管工作。为了保证备份服务器之间的数据一致性,各服务器之间需定时进行数据同步。日志分析模块利用分布式计算的方法对海量日志数据进行挖掘分析,解决传统单机分析日志的局限性。应用交互模块使用给用户提供交互界面,接收用户输入的操作,返回操作结果。进一步的优选,所述日志收集模块包括日志收集进程、转发进程和storage层,其中:日志收集进程:用于监听和收集部署在每台主机上的应用产生的日志;转发进程:运行在服务器上,用于接收日志收集进程发送的日志,并将日志写到storage层中;storage层:用于提供永久的日志信息存储服务。在每台部署应用的主机上都有一个日志收集进程,对应用产生的日志进行收集。日志收集进程作为一个后台运行的进程,只负责监听应用日志的产生并收集日志,对应用本身不产生任何影响,它们是相互独立的,日志转发进程运行在分布式服务器上,负责接收日志收集进程发送过来的日志,并且将日志根据路由规则写到相应的store层中。storage层是存储系统,负责提供永久的日志存储服务。它可以是一个普通文件file,也可以是分布式文件系统HDFS,HIVE,HBase等。进一步的优选,所述日志存储模块采用无模式且具备水平扩展能力的数据库系统,用于海量异构日志存储。日志存储模块在水平方向上进行扩展,采用多个分片服务器,通过增加分片服务器来提高存储能力,存储海量日志数据。进一步的优选,所述数据库系统的水平扩展采用多个分片服务器,将日志数据分布式存储在多个分片服务器上。日志存储模块将海量日志数据分布式存储在多个分片服务器之上,数据的分片情况对用户是透明的,提供路由服务器作为访问的接口。当路由服务器接收到数据访问请求时,先查询配置服务器,配置服务器中记录了数据分布在哪些分片之上,路由服务器根据配置服务器返回的结果查询分片服务器,将结果整合之后返回给用户。进一步的优选,所述无模式且具备水平扩展能力的数据库系统为NoSQL数据库MongoDB。日志存储模块使用NoSQL数据库MongoDB存储海量日志信息。MongoDB是一款高性能、无模式的文档型数据库,文档作为数据结构,没有模式,适用于新型应用的要求;易于扩展,可将文档数据自动地分割给不同的服务器节点,并且保证每台服务器的负载均衡;提供索引,采用和SQL—样的索引创建方式,提供各种查询;采用Map或Reduce方式来处理海量数据;采用GFS系统存储大文件。进一步的优选,所述NoSQL数据库MongoDB用于:a.根据需求编写javascript脚本,完成并行计算模型MapReduce的分布式计算;b.对访问日志进行分析,统计PV值,经过map函数的处理之后,发送给reduce函数,进行日志分析;c.将javascript程序写在单独的文件中,通过crontab命令定时执行javascript代码,执行完毕后,统计结果便被存储在MongoDB中的Res集合中,最后将根据统计结果绘制的分析图表,以邮件的形式发送给运维人员。基于并行计算的日志分析模块利用MongoDB的并行计算模型MapReduce进行日志分析,MongoDB中的MapReduce程序使用javascript编写,易于使用和调试。本专利技术与现有技术相比,具有以下优点及有益效果:本专利技术实现了应用的弹性部署,为应用提供按需服务和资源的动态分配,即根据应用负载的变化来弹性的调整资源的配置,采用分布式日志收集、海量异构日志信息的存储和海量日志的分析来满足海量异构日志数据存储和数据挖掘分析,并通过用户交互模块将查询日志输出和展示。附图说明图1为本专利技术的系统原理框图;图2为日志收集模块的原理框图;图3为日志存储模块的原理框图;图4为应用交互模块的原理框图。具体实施方式首先在对本专利技术的具体实施例进行详细说明之前,对本文涉及的专有名词给予解释:NoSQL数据库:泛指非关系型数据库;MongoDB:分布式文档存储数据库;crontab命令常见于Unix和类Unix的操作系统之中,用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供后续的读取和执行;Res集合:Res文件在Windows编程中被称为资源文件,用于存放字符串、程序图标、其他引用图片,Res集合即这些资源文件的集合;HDFS:为Hadoop分布式文件系统;HIVE:HIVE是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行;Hbase:HBase是一个分布式的、面向列的开源数据库;GFS:GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用;MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。运用“Map(映射)”和“Reduce(归约)”,方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上;PV值:PV(pageview)即页面浏览量,通常是衡量一个网络新闻频道或网站甚至一条网络新闻的本文档来自技高网...
国网云中应用的一种基于大数据的日志管理系统

【技术保护点】
国网云中应用的一种基于大数据的日志管理系统,包括日志收集模块,日志存储模块、日志分析模块和应用交互模块,其特征在于,其中:日志收集模块:收集、传输和聚合日志信息;日志存储模块:将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点;日志分析模块:采用分布式计算的方法对日志信息进行数据挖掘分析;应用交互模块:用于给用户提供查询输入、日志查询和日志导出的界面。

【技术特征摘要】
1.国网云中应用的一种基于大数据的日志管理系统,包括日志收集模块,日志存储模块、日志分析模块和应用交互模块,其特征在于,其中:日志收集模块:收集、传输和聚合日志信息;日志存储模块:将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点;日志分析模块:采用分布式计算的方法对日志信息进行数据挖掘分析;应用交互模块:用于给用户提供查询输入、日志查询和日志导出的界面。2.根据权利要求1所述的国网云中应用的一种基于大数据的日志管理系统,其特征在于,所述日志收集模块包括日志收集进程、转发进程和storage层,其中:日志收集进程:用于监听和收集部署在每台主机上的应用产生的日志;转发进程:运行在服务器上,用于接收日志收集进程发送的日志,并将日志写到storage层中;storage层:用于提供永久的日志信息存储服务。3.根据权利要求1所述的国网云中应用的一种基于大数据的日志管理系统,其特征在于,所述日志存储模块采用无模式且具备水平扩展能力的数据库系统,用于海量...

【专利技术属性】
技术研发人员:王萍胡聪吴斌徐敏蔡梦臣吴尚方圆张禾良马永倪平波喻梅胡州明欧渊张强杨渝李明洪
申请(专利权)人:国网安徽省电力公司信息通信分公司四川中电启明星信息技术有限公司
类型:发明
国别省市:安徽,34

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1