The invention discloses a cloud application in Web log management system based on big data, including the log collection module, storage module, log log analysis module and application interface module, the log collection module: collection, transmission and aggregation of the log information; log storage module: storing log information collected on distributed storage nodes server; log analysis module: distributed computing and data mining analysis of the log information; application interface module: input, query and query log log derived interface to provide to the user. The invention realizes the application of flexible deployment, as provided by the application of dynamic allocation of services and resources, according to the change of load applied to the elastic adjustment of resource allocation, the distributed log collection, heterogeneous log information storage, log analysis to meet the massive heterogeneous log data storage and data mining analysis, and through the user interaction module will query the log output and display.
【技术实现步骤摘要】
国网云中应用的一种基于大数据的日志管理系统
本专利技术涉及计算机
,具体的说,是国网云中应用的一种基于大数据的日志管理系统。
技术介绍
“国网云”包括生产控制云、企业管理云和公共服务云,分别为国家电网公司的生产控制、企业管理及对外服务提供相应的技术支撑,而“国网云”平台则是管理、调控、支撑这三朵云的核心。大数据时代的来临,许多公司的平台每天都会产生大量的日志数据,处理这些日志需要特定的数据系统,很多公司也已经将他们的日志系统开源。在国网云应用中,随着部署在云计算环境的应用规模的扩大和用户访问数量的增加,每天都会产生海量的异构日志数据,在传统的数据处理方式上使用传统的单台主机模式针对海量数据文件进行存储和计算,它的计算能力显得十分有限,并且由于日志数据结构不统一、数据量大,传统的关系型数据库在水平扩展能力上的不足和严格的模式化存储方式的约束,使得传统的日志存储和分析方法已经不能满足存储海量的异构日志数据的需求,并且应用日志存储在数量动态变化的主机资源之上,若没有及时将日志统一收集存储到日志服务器,就会造成日志随着主机的撤除而丢失。另外,日志的分布式存储不利于应用维护人员查看和分析,不利于应用系统的维护和优化。
技术实现思路
本专利技术的目的在于提供国网云中应用的一种基于大数据的日志管理系统,用于解决现有技术中关系型数据库不能满足海量异构日志数据存储的问题。为了达到上述目的,本专利技术通过下述技术方案实现:国网云中应用的一种基于大数据的日志管理系统,包括日志收集模块,日志存储模块、日志分析模块和应用交互模块,其中:日志收集模块:收集、传输和聚合日志信息;日志 ...
【技术保护点】
国网云中应用的一种基于大数据的日志管理系统,包括日志收集模块,日志存储模块、日志分析模块和应用交互模块,其特征在于,其中:日志收集模块:收集、传输和聚合日志信息;日志存储模块:将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点;日志分析模块:采用分布式计算的方法对日志信息进行数据挖掘分析;应用交互模块:用于给用户提供查询输入、日志查询和日志导出的界面。
【技术特征摘要】
1.国网云中应用的一种基于大数据的日志管理系统,包括日志收集模块,日志存储模块、日志分析模块和应用交互模块,其特征在于,其中:日志收集模块:收集、传输和聚合日志信息;日志存储模块:将所述日志收集模块收集的日志信息存储于分布式服务器的存储节点;日志分析模块:采用分布式计算的方法对日志信息进行数据挖掘分析;应用交互模块:用于给用户提供查询输入、日志查询和日志导出的界面。2.根据权利要求1所述的国网云中应用的一种基于大数据的日志管理系统,其特征在于,所述日志收集模块包括日志收集进程、转发进程和storage层,其中:日志收集进程:用于监听和收集部署在每台主机上的应用产生的日志;转发进程:运行在服务器上,用于接收日志收集进程发送的日志,并将日志写到storage层中;storage层:用于提供永久的日志信息存储服务。3.根据权利要求1所述的国网云中应用的一种基于大数据的日志管理系统,其特征在于,所述日志存储模块采用无模式且具备水平扩展能力的数据库系统,用于海量...
【专利技术属性】
技术研发人员:王萍,胡聪,吴斌,徐敏,蔡梦臣,吴尚,方圆,张禾良,马永,倪平波,喻梅,胡州明,欧渊,张强,杨渝,李明洪,
申请(专利权)人:国网安徽省电力公司信息通信分公司,四川中电启明星信息技术有限公司,
类型:发明
国别省市:安徽,34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。