日志服务器及其管理方法技术

本发明专利技术涉及日志管理服务领域，尤其涉及一种日志服务器及其管理方法。本发明专利技术日志服务器包括消息订阅发布模块和转换系统，所述消息订阅发布模块接收、存储、管理来自应用服务器的第一日志文件，所述转换系统将存储在所述消息订阅发布模块中的第一日志文件转换为第二日志文件；所述消息订阅发布模块包括与所述应用服务器一一对应的会话队列；所述会话队列包括与其对应的应用服务器的第一日志文件一一对应的会话区。其设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自动平衡消费者；它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。

Log server and management method thereof

The invention relates to the log management service field, in particular to a log server and a management method thereof. The invention includes a message log server subscription release module and conversion system, the news release module receiving, storage, subscription management application server from the first log file, the system will be stored in the subscription news released the first log file in the module is converted to second log files; the message publish subscribe module includes one by one corresponding to the application server session queue; the first log file the application server session queue includes the corresponding one-to-one conversation area. The design of a distributed system, easy to expand outward; it also provides high throughput publish and subscribe; it supports multiple subscribers, when failure can automatically balance the consumers; it will be a message persisted to disk, it can be used for mass consumption, such as ETL, and real-time applications.

【技术实现步骤摘要】
日志服务器及其管理方法
本专利技术涉及日志管理服务
，尤其涉及一种日志服务器及其管理方法。
技术介绍
在通信和计算机信息处理相关产品中，系统运行过程中记录的日志对于用户系统故障、及早发现警告和跟踪关键操作有着重要作用。现有技术中基于activeMQ实现的日志管理系统是基于JMS(JavaMessageService)实现的。通过Log4j控制日志信息输送的目的地、每一条日志的输出格式等对日志的生成过程进行控制，进一步的将服务器的日志信息写入队列。日志管理系统可能对应管理多个应用服务器产生的日志消息，例如：Web服务器有两台，每台服务器上分别有4个tomcat，通过Log4j输出到tomcat下。当输出至tomcat的日志过大(超过2g)时就会影响到tomcat的正常运行，也不利于开发人员查看日志，分析问题。传统的消息系统具有下述缺陷：1.日志文件在被消费以后立即被删除，需要频繁的对磁盘进行操作，增加了磁盘的IO开销；2.无法将消息持久化到磁盘；3.集中式的日志处理系统，不易于向外扩展；4.不支持多订阅者，当消费失败时无法自动平衡消费者；5.JMS系统所需的消息头较大，再加上维护各种索引结构的开销，导致ActiveMQ的每条消息有144个字节。导致ActiveMQ一个最忙的线程大部分时间都在存取B-Tree以维护消息元数据和状态。6.当客户端多个端口同时访问一个端口时会有并发的冲突产生。授权公告号CN102158349B，授权公告日2016年3月30日的专利技术专利公开了一种日志管理装置及方法。该装置包括日志记录模块，用于将日志原文，根据转换规则转换为日志记录，调用日志管理模块；根据日志管理模块湖区的日志记录写入地址，将日志记录写入存储介质；日志管理模块，用于根据存储介质保存的日志全局信息以及日志记录的地址范围，获取日志记录写入地址，返回给日志记录模块。同时还公开了一种日志管理的方法，采用该专利技术所述的装置及方法，能够提高存储介质保存日志的容量，以及读写日志的处理速度，且避免重要日志丢失。但是，其无法实现分布式的处理系统，扩展性不高。
技术实现思路
为解决现有技术存在的上述问题，本专利技术公开了一种日志服务器及其管理方法。本专利技术采取如下技术方案：一种日志服务器，包括消息订阅发布模块和转换系统，所述消息订阅发布模块接收、存储、管理来自应用服务器的第一日志文件，所述转换系统将存储在所述消息订阅发布模块中的第一日志文件转换为第二日志文件；所述消息订阅发布模块包括与所述应用服务器一一对应的会话队列；所述会话队列包括与其对应的应用服务器的第一日志文件一一对应的会话区。作为优选，所述会话区包括用于存储所述第一日志文件的第一存储单元以及用于存储所述第一存储单元的索引文件的第二存储单元，所述第一日志文件顺序存储在所述第一存储单元中，所述索引文件用于索引存储在所述第一存储单元中的第一日志文件数据。作为优选，所述转换系统包括多个数据转换单元，所述日志数据转换单元从所述消息订阅发布模块获取的二进制的所述第一日志文件转换为文本形式的第二日志文件并输出至目标目录。作为优选，所述转换系统定期转换存储在所述会话队列中的第一日志文件。作为优选，所述转换系统包括与所述会话队列一一对应的转换单元，所述转换单元定期将与其对应的会话队列中的第一日志文件转换为第二日志文件，并输出至目标目录。作为优选，存储在所述会话队列中的第一日志文件，在超过预设的存储期限以后被删除。作为优选，所述转换系统包括日志删除单元，所述日志删除单元定期判断存储在所述会话队列中的第一日志文件是否已超过预设的存储期限，并且将超过存储期限的第一日志文件从所述会话队列中删除。本专利技术还提供了一种日志服务器的管理方法，其特征在于包括步骤：步骤S1：消息订阅发布模块接收来自应用服务器的第一日志文件，并将其存储至与对应的会话队列的会话区中；步骤S2：转换系统定期转换存储在所述会话队列中的第一日志文件为对应的第二日志文件；步骤S3：转换系统定期判断存储在所述会话队列中的第一日志文件是否已超过预设的存储期限，并将超过预设的存储期限的第一日志文件从所述会话队列中删除。作为优选，步骤S1中，所述消息订阅发布模块将所述第一日志文件顺序存储至所述会话区的第一存储单元中，并更新所述第一存储单元的索引文件；步骤S2中，所述转换系统根据所述索引文件索引需要处理的第一日志文件。作为优选，步骤S2中，所述转换系统通过与所述会话队列一一对应的转换单元分别将与其对应的会话队列中的第一日志文件转换成第二日志文件。本专利技术提供的日志服务器及其管理方法与传统的消息系统相比：它被设计为一个分布式系统，易于向外扩展；它同时为发布和订阅提供高吞吐量；它支持多订阅者，当失败时能自动平衡消费者；它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。附图说明附图1本专利技术实施例的日志服务器的应用系统图。附图2本专利技术实施例的应用服务器和消息订阅发布模块之间的通讯示意图。附图3本专利技术实施例的消息订阅发布模块和转换系统之间的通讯示意图。具体实施方式以下具体实施例仅仅是对本专利技术的解释，其并不是对本专利技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本专利技术的权利要求范围内都受到专利法的保护。虽然附图中显示了本公开的示例性实施例，然而当然可以理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开并且能够将本公开的范围完整的传达给本领域的技术人员。实施例一本专利技术目的是能实时的将web服务器产生的日志实时的传送到日志服务器中，并按服务器tomcat端口和日期，文件的不同进行分类存储，便于开发人员进行查看日志。图1为本实施例的一种日志服务器的系统架构图，其包括kafka消息订阅发布模块和转换系统。消息订阅发布模块接收、存储、管理来自应用服务器的第一日志文件。转换系统作为kafka的消费群组(consumercroup)，用于将存储在消息订阅发布模块中的第一日志文件转换为第二日志文件。作为producer的应用服务器和kafka消息订阅发布模块之间的通讯关系如图2。Web服务器A上有tomcat1(T1)，这里我们简称A-T1；Web服务器A上有tomcat2(T2)，这里我们简称A-T2；Web服务器A上有tomcat3(T3)，这里我们简称A-T3；Web服务器A上有tomcat4(T4)，这里我们简称A-T4；B上有tomcat1(T1)，这里我们简称B-T1；Web服务器B上有tomcat2(T2)，这里我们简称B-T2；Web服务器B上有tomcat3(T3)，这里我们简称B-T3；Web服务器B上有tomcat4(T4)，这里我们简称B-T4。Kafka消息订阅发布模块具有分别与Web服务器A和Web服务器B上的tomcat一一对应的会话队列topicAT1、topicAT2、topicAT3、topicAT4、topicBT1、topicBT2、topicBT3、topicBT4。会话队列topicAT1与应用服务器A-T1对应，其进一步包括与应用服务器A-T1的catalina.log文件对应的会话区(partit本文档来自技高网...

【技术保护点】
一种日志服务器，包括消息订阅发布模块和转换系统，所述消息订阅发布模块接收、存储、管理来自应用服务器的第一日志文件，所述转换系统将存储在所述消息订阅发布模块中的第一日志文件转换为第二日志文件；其特征在于：所述消息订阅发布模块包括与所述应用服务器一一对应的会话队列；所述会话队列包括与其对应的应用服务器的第一日志文件一一对应的会话区。

【技术特征摘要】
1.一种日志服务器，包括消息订阅发布模块和转换系统，所述消息订阅发布模块接收、存储、管理来自应用服务器的第一日志文件，所述转换系统将存储在所述消息订阅发布模块中的第一日志文件转换为第二日志文件；其特征在于：所述消息订阅发布模块包括与所述应用服务器一一对应的会话队列；所述会话队列包括与其对应的应用服务器的第一日志文件一一对应的会话区。2.根据权利要求1所述的一种日志服务器，其特征在于：所述会话区包括用于存储所述第一日志文件的第一存储单元以及用于存储所述第一存储单元的索引文件的第二存储单元，所述第一日志文件顺序存储在所述第一存储单元中，所述索引文件用于索引存储在所述第一存储单元中的第一日志文件数据。3.根据权利要求1所述的一种日志服务器，其特征在于：所述转换系统包括多个数据转换单元，所述日志数据转换单元从所述消息订阅发布模块获取的二进制的所述第一日志文件转换为文本形式的第二日志文件并输出至目标目录。4.根据权利要求3所述的一种日志服务器，其特征在于：所述转换系统定期转换存储在所述会话队列中的第一日志文件。5.根据权利要求4所述的一种日志服务器，其特征在于：所述转换系统包括与所述会话队列一一对应的转换单元，所述转换单元定期将与其对应的会话队列中的第一日志文件转换为第二日志文件，并输出至目标目录。6.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：接凤华，
申请(专利权)人：上海斐讯数据通信技术有限公司，
类型：发明
国别省市：上海,31