基于数据分发服务的分布式日志网关制造技术

本发明专利技术公开了一种基于数据分发服务的分布式日志网关，包括日志服务和日志网关，日志服务以独立的进程运行在设备上，系统和应用程序将日志信息发送到日志服务中；日志服务通过DDS发布本设备的日志消息，由运行在本地或者其他设备上一个或多个日志网关通过DDS订阅来自日志服务的日志消息；其中，日志服务根据配置的过滤规则对日志消息进行过滤或分类处理，然后发布日志消息到DDS Topic上；日志网关则订阅来自日志服务的DDS Topic；日志网关可以配置本地的过滤规则，将过滤之后的日志消息发送到日志存储服务器保存或日志分析系统。本发明专利技术设计为用户提供了便利的日志管理、收集、传输方式，以及高可用性的实施方式。以及高可用性的实施方式。以及高可用性的实施方式。

【技术实现步骤摘要】
基于数据分发服务的分布式日志网关


[0001]本专利技术涉及嵌入式系统日志存储领域和数据分发服务技术，尤其涉及一种基于数据分发服务的分布式日志网关。

技术介绍

[0002]数据分发服务(Data Distribution Service，DDS)，是新一代分布式实时通信中间件协议，采用发布/订阅体系架构，强调以数据为中心，提供丰富的QoS服务质量策略，以保障数据进行实时、高效、灵活地分发，可满足各种分布式实时通信应用需求。
[0003]DDS是一个以数据为中心的中间件协议和API标准，意为用户只关心自己想要的数据，数据通过Topic进行标识，这样发布者根据主题发布数据，订阅者根据自己感兴趣的主题订阅数据。这便是DDS的核心，以数据为中心的发布
‑
订阅模型DCPS(Data
‑
Centric Publish
‑
Subscribe)。目前主流的DDS产品(或开源项目)包括RTI DDS，OpenDDS，CycloneDDS等。
[0004]日志分析是运维和开发工程师发现问题，解决系统故障的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息，检查系统运行过程中的错误及错误发生的原因。通过分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施进行干预。
[0005]通常，日志被分散的储存在不同的设备上。在一个复杂的系统中，通常会有数十个，甚至上百个不同的设备，如果还在使用依次登录每台设备的传统方法查阅日志，既繁琐又效率低下。为此，我们可以使用集中化的日志管理，将所有服务器上的日志收集汇总，例如，开源的syslog和ELK等方案，将所有服务器上的日志收集汇总。
[0006]在将不同设备的系统和应用程序产生的日志进行收集汇总的过程中，现有的技术大多是将设备产生的日志，发送到单一的日志服务器进行存储和汇总分析。在日志传输和汇总的过程中，存在以下几个弊端：(1)日志收集的过滤规则，以及日志收集的开启和关闭不够灵活；(2)日志服务器容易成为瓶颈，当整个网络内产生大量的日志信息需要传输时，日志服务器的负荷容易被占满；(3)从产生日志的设备，到日志服务器之间，通常会经过多个网络设备，如交换机和路由器，设置是公网网络。在传输过程中，对于重要的日志信息，缺少高可靠性的措施。

技术实现思路

[0007]为解决现有技术中存在的不足，本专利技术的目的在于，提供一种基于数据分发服务的分布式日志网关。
[0008]为实现本专利技术的目的，本专利技术所采用的技术方案是：
[0009]一种基于数据分发服务的分布式日志网关，包括日志服务和日志网关，日志服务上设置DDS模块，日志网关上设置DDS模块；
[0010]日志服务以独立的进程运行在设备上，系统和应用程序将日志信息发送到日志服
务中；日志服务通过DDS发布本设备的日志消息，由运行在本地或者其他设备上一个或多个日志网关通过DDS订阅来自日志服务的日志消息；日志网关将日志信息发送到日志存储服务器或日志分析系统。
[0011]进一步地，日志服务发布日志消息到DDS Topic上；日志网关则订阅来自日志服务的DDS Topic。
[0012]进一步地，日志服务将本设备上所有日志消息发送到同一个DDS Topic。
[0013]进一步地，日志服务将本设备上的日志消息经过过滤规则筛选后发送到同一个DDS Topic。
[0014]进一步地，日志服务根据过滤规则对日志数据进行分类，将不同种类的日志消息分别发送到不同的DDS Topic。
[0015]进一步地，日志网关配置订阅单个或者多个日志服务的DDS Topic，可随时增加订阅和取消订阅。
[0016]进一步地，日志网关设置灵活的日志过滤规则，将收集到的日志消息经过过滤后发送给日志存储服务器或日志分析系统。
[0017]进一步地，日志服务和日志网关之间可以是点对点，点对多，或多对多的关系。
[0018]一种基于数据分发服务的分布式日志网关工作流程，包括步骤：
[0019](1)系统和应用程序通过进程间通信的方式，将产生的日志信息发送到日志服务；
[0020](2)日志服务根据配置的过滤规则，对日志消息进行过滤或分类处理，再通过DDS模块发送到指定的DDS Topic上；
[0021](3)日志网关通过配置订阅指定的DDS Topic，接收来自日志服务的日志消息；
[0022](4)日志网关可以配置本地的过滤规则，将过滤之后的日志消息发送到日志存储服务器保存或日志分析系统。
[0023]本专利技术的有益效果在于，与现有技术相比，本专利技术基于数据分发服务的分布式日志网关设计，解决了日志管理收集过程中的灵活性问题、资源瓶颈问题和高可靠问题，为用户提供了便利的日志管理、收集、传输方式，以及高可用性的实施方式。
[0024]本专利技术基于数据分发服务的分布式日志网关，可以达到下列技术效果：
[0025](1)灵活性：日志服务可以配置灵活的规则，将不同的日志发送到相同或者不同的日志网关；日志网关也可以设置过滤规则，将过滤后的日志发送到日志存储服务器或者日志分析系统；
[0026](2)高可靠性：日志服务可以将重要日志或者用户指定的日志信息，发送到特定的DDS Topic，由多个日志网关订阅接收，做到重要日志的高可靠传输；
[0027](3)节约网络带宽资源：通过在日志服务和日志网关上配置过滤规则，可以有效减少无效日志的传输，节约大量的网络带宽。
附图说明
[0028]图1是本专利技术所述的基于数据分发服务的分布式日志网关示意图；
[0029]图2是日志服务Agent和日志网关之间配置关系示意图。
具体实施方式
[0030]下面结合附图和实施例对本专利技术的技术方案作进一步的说明。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本申请的保护范围。
[0031]本专利技术所述的基于数据分发服务的分布式日志网关，利用DDS强大的特性，解决传统日志收集方式的弊端。如图1所示，主要涉及日志服务Agent和日志网关两个模块。
[0032]日志服务Agent以独立的进程运行在设备上，系统和应用程序通过高效的IPC机制，与日志服务Agent进行通信，将日志信息发送到日志服务Agent中。日志服务Agent通过DDS发布本设备的日志消息，由运行在本地或者其他设备上一个或多个日志网关通过DDS订阅接收来自日志服务Agent的日志消息。日志网关再将日志信息发送到日志存储服务器或日志分析系统。
[0033]如图1所示，本专利技术主要涉及日志服务Agent，日志网关，以及在日志服务Agent和日志网关之间发布日志数据的DDS模块。日志服务Agent以进程方式运行在设备上，借助DDS模块，和环境中的日志网关进行通信。日志服务Agent负责发布日志消息到DDS Topic上；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据分发服务的分布式日志网关，其特征在于，包括日志服务和日志网关，日志服务上设置DDS模块，日志网关上设置DDS模块；日志服务以独立的进程运行在设备上，系统和应用程序将日志信息发送到日志服务中；日志服务通过DDS发布本设备的日志消息，由运行在本地或者其他设备上一个或多个日志网关通过DDS订阅来自日志服务的日志消息；日志网关将日志信息发送到日志存储服务器或日志分析系统。2.根据权利要求1所述的基于数据分发服务的分布式日志网关，其特征在于，日志服务发布日志消息到DDS Topic上；日志网关则订阅来自日志服务的DDS Topic。3.根据权利要求2所述的基于数据分发服务的分布式日志网关，其特征在于，日志服务将本设备上所有日志消息发送到同一个DDS Topic。4.根据权利要求2所述的基于数据分发服务的分布式日志网关，其特征在于，日志服务将本设备上的日志消息经过过滤规则筛选后发送到同一个DDS Topic。5.根据权利要求2所述的基于数据分发服务的分布式日志网关，其特征在于，日志服务根据过滤规则对日志数据进行分类，将不同种类的日志消息分别发送到不同的DDS Topic。...

【专利技术属性】
技术研发人员：蔡月祥，陈诚，张旸，
申请(专利权)人：奥特酷智能科技南京有限公司，
类型：发明
国别省市：