一种日志收集方法及系统技术方案

本发明专利技术公开了一种日志收集方法及系统，用以提高日志收集效率。本发明专利技术提供的日志上传方法，包括：上传服务器接收中央控制器发送的携带至少一个节点收集服务器的地址信息的日志上传通知消息，并保存接收到的每个节点收集服务器的地址信息；上传服务器从保存的节点收集服务器的地址信息中选定一个待接收日志的节点收集服务器的地址信息；上传服务器根据所述选定的地址信息，将本地磁盘存储的日志发送给节点收集服务器；节点收集服务器将来自上传服务器的日志汇总到中央收集服务器。

【技术实现步骤摘要】

本专利技术涉及互联网及内容分发网络(Contect Delivery Network,Q)N)领域,尤其涉及ー种日志收集方法及系统。
技术介绍
Web2. 0是ー个架构在知识上的网络环境，人与人之间交互而产生出的内容，经由在后台Web服务器(上传服务器)产生，在Web2. 0环境中发布，并且被管理和使用。目前Web2. 0具有代表性的服务如下博客、维客(wiki)、社区化网络服务(Social NetworkingServices, SNS，)、微博等。为了满足上述大容量数据的高效分发，⑶N网络随之产生。⑶N为Internet中增加的ー层新网络架构，⑶N网络将网站的内容发布到最接近用户的网络〃 边缘〃，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户网站的响应速度。Web2. 0更注重用户之间的交互和体验。例如一条微博发表后，通过被不断地转发、评论，有可能会产生千兆字节(Gigabyte，GB)的日志数据，这无疑给⑶N架构中日志收集系统带来新的挑战。现有⑶N架构中的日志收集方法如图I所示，Web服务器在响应客户端(网民)的服务请求并产生海量日志数据之后，根据就近原则或者相同因特网服务供应商(InternetService Provider, ISP)原则，选择一个待上传日志的节点收集服务器,并将产生的所述日志数据汇总到所选择的节点收集服务器，该节点收集服务器通过某种传输协议，如文件传输协议(File Transfer Protocol, FTP)、超文本传送协议(HyperText TransportProtocol, HTTP)等，将来自Web服务器的日志数据汇总到中央收集服务器。现有⑶N架构中的日志收集方法存在以下问题Web服务器选择节点收集服务器的方式没有考虑节点收集服务器的日志传输链路情况(负载使用率或磁盘空间使用率等情况)，日志在上传过程中，有可能待上传日志的节点收集服务器的负载太重或者磁盘空间占用量太大，而未上传日志的某些节点收集服务器的负载太轻或者磁盘空间占用量较小，形成多个节点收集服务器的负载分部不均匀，或者磁盘空间分部不均匀。即使日志成功上传到中央收集服务器，日志传输过程中使用的链路质量较差，节点收集服务器的响应速度较慢，丢包率高，日志收集效率较低。另外，现有技术当Web服务器选择的节点收集服务器已经接收到该Web服务器汇总上来的日志，但由于硬件故障，如自身CPU跑满或者没有足够的磁盘空间、机房网络中断，或者电源断电等情况，出现死机现象，日志无法顺利上传到中央收集服务器。但是Web服务器不知道日志未上传成功，不再上传已经上传过的日志。中央收集服务器无法接收到该部分日志，无法保障日志收集的完整性。
技术实现思路
本专利技术实施例提供ー种日志收集方法及系统，用以提高日志收集效率。本专利技术实施例提供的ー种日志收集方法，包括上传服务器接收中央控制器发送的携帯至少ー个节点收集服务器的地址信息的日志上传通知消息，并保存接收到的每个节点收集服务器的地址信息；上传服务器从保存的节点收集服务器的地址信息中选定ー个待接收日志的节点收集服务器的地址信息；上传服务器根据所述选定的地址信息，将本地磁盘存储的日志发送给节点收集服务器；节点收集服务器将来自上传服务器的日志汇总到中央收集服务器。本专利技术实施例提供的一种日志收集控制方法，包括中央控制器接收上传服务器发送的日志上传请求消息，该日志上传请求消息携帯 发送该日志上传请求消息的上传服务器的地址信息以及待上传日志的信息；中央控制器根据所述上传服务器的地址信息、待上传日志的信息，以及预先存储的节点收集服务器对应的链路质量信息，从预先存储的多个节点收集服务器的地址信息中，选定至少ー个接收所述待上传日志的节点收集服务器的地址信息；中央控制器根据所述上传服务器的地址信息，将所述选定的待上传日志的节点收 集服务器的地址信息发送给所述上传服务器。本专利技术实施例提供的ー种日志收集系统，包括上传服务器、中央控制器、节点收集服务器，以及中央收集服务器；所述上传服务器，用于接收中央控制器发送的携帯至少ー个节点收集服务器的地址信息的日志上传通知消息，并保存接收到的每个节点收集服务器的地址信息；以及从保存的节点收集服务器的地址信息中选定ー个待接收日志的节点收集服务器的地址信息；以及根据所述选定的地址信息，将本地磁盘存储的日志发送给节点收集服务器；所述中央控制器，用于接收上传服务器发送的日志上传请求消息，该日志上传请求消息携帯发送该日志上传请求消息的上传服务器的地址信息以及待上传日志的信息；根据所述上传服务器的地址信息、待上传日志的信息，以及节点收集服务器上传的自身的服务质量、自身到其它节点收集服务器的链路质量，以及自身到中央收集服务器的链路质量，从预先存储的多个节点收集服务器的地址信息中，选定至少ー个接收所述待上传日志的节点收集服务器的地址信息；根据所述上传服务器的地址信息，将所述选定的待上传日志的节点收集服务器的地址信息发送给所述上传服务器；所述节点收集服务器，用于探测自身的服务质量、自身到其它节点收集服务器的链路质量，以及自身到中央收集服务器的链路质量，并将所述自身的服务质量、自身到其它节点收集服务器的链路质量，以及自身到中央收集服务器的链路质量上报给中央控制器；接收所述上传服务器发送的待上传日志，将所述待上传日志汇总到中央收集服务器；所述中央收集服务器，用于接收所述节点收集服务器发送的待上传日志，并存储和管理收集到的日志。本专利技术实施例，上传服务器通过接收中央控制器发送的携帯至少ー个节点收集服务器的地址信息的日志上传通知消息，并保存接收到的每个节点收集服务器的地址信息；从保存的节点收集服务器的地址信息中选定ー个待接收日志的节点收集服务器的地址信息；根据所述选定的地址信息，将本地磁盘存储的日志通过节点收集服务器发送给中央收集服务器，完成对日志上传和收集。上传服务器通过中央控制器指定的上传日志路径最佳的节点收集服务器上传数据，提高了日志收集效率。附图说明图I为现有技术中的日志收集方法示意图；图2为本专利技术实施例提供的日志上传方法流程示意图；图3为本专利技术实施例提供的日志上传方法总体流程示意图；图4为本专利技术实施例提供的日志上传方法具体流程示意图；图5为本专利技术实施例提供的日志收集控制方法流程示意图；图6为本专利技术实施例提供的日志收集方法流程示意图； 图7为本专利技术实施例提供的日志上传装置结构示意图；图8为本专利技术实施例提供的日志收集控制装置结构示意图；图9为本专利技术实施例提供的日志收集装置结构示意图；图10为本专利技术实施例提供的日志收集装置结构示意图；图11为本专利技术实施例提供的日志收集系统结构示意图。具体实施例方式本专利技术实施例提供ー种日志收集方法及系统，用以提高日志收集效率，以及解决日志在收集过程中丢失的问题。下面结合附图对本专利技术实施例提供的技术方案进行说明。參见图2，本专利技术实施例提供的技术方案，通过在日志收集系统中设置用于控制收集日志的中央控制器，该中央控制器根据各节点收集服务器上传的各节点收集服务器的服务质量以及各节点收集服务器与中央控制器或上传服务器之间的链路质量，以及接收到的来自上传服务器的日志上传请求消息，为该上传服务器选择至少ー个上传日志最快、且最可靠的节点收集服务本文档来自技高网...

【技术保护点】
一种日志上传方法，其特征在于，该方法包括：上传服务器接收中央控制器发送的携带至少一个节点收集服务器的地址信息的日志上传通知消息，并保存接收到的每个节点收集服务器的地址信息；上传服务器从保存的节点收集服务器的地址信息中选定一个待接收日志的节点收集服务器的地址信息；上传服务器根据所述选定的地址信息，将本地磁盘存储的日志发送给节点收集服务器；节点收集服务器将来自上传服务器的日志汇总到中央收集服务器。

【技术特征摘要】
1.ー种日志上传方法，其特征在于，该方法包括 上传服务器接收中央控制器发送的携帯至少ー个节点收集服务器的地址信息的日志上传通知消息，并保存接收到的每个节点收集服务器的地址信息； 上传服务器从保存的节点收集服务器的地址信息中选定ー个待接收日志的节点收集服务器的地址信息； 上传服务器根据所述选定的地址信息，将本地磁盘存储的日志发送给节点收集服务器； 节点收集服务器将来自上传服务器的日志汇总到中央收集服务器。2.根据权利要求I所述的方法，其特征在于，在所述接收中央控制器发送的携帯至少一个节点收集服务器的地址信息的日志上传通知消息之前，该方法还包括 上传服务器向中央控制器发送日志上传请求消息，该日志上传请求消息携帯上传日志的文件名称、文件大小，以及上传服务器所在节点的地址信息。3.根据权利要求I所述的方法，其特征在于，上传服务器向中央控制器发送日志上传请求消息之前，该方法还包括 与所述上传服务器属于同一节点的节点收集服务器分别探测自身的服务质量、自身到其它节点收集服务器的链路质量，以及自身到中央收集服务器的链路质量，并将所述自身的服务质量、自身到其它节点收集服务器的链路质量，以及自身到中央收集服务器的链路质量上报给中央控制器，以使得中央控制器根据所述节点收集服务器的服务质量，所述节点收集服务器到其它节点收集服务器的链路质量，以及所述节点收集服务器到中央收集服务器的链路质量确定需要返回给节点收集服务器的地址信息。4.根据权利要求I所述的方法，其特征在于，所述上传服务器接收中央控制器发送的携帯至少ー个节点收集服务器的地址信息的日志上传通知消息，并保存每个节点收集服务器的地址信息，具体为 接收中央控制器发送的日志上传通知消息，该日志上传通知消息携帯至少ー个节点收集服务器的地址信息以及每个节点收集服务器的地址信息的优先级标识，并保存每个节点收集服务器的地址信息以及所述优先级标识；以及 所述从保存的节点收集服务器的地址信息中选定ー个待接收日志的节点收集服务器的地址信息，具体为 根据所述保存的节点收集服务器的地址信息的优先级标识，从保存的节点收集服务器的地址信息中选定ー个优先级最高的待接收日志的节点收集服务器的地址信息； 该方法还包括 上传服务器当接收到中央控制器发送的重新上传所述日志的通知消息时，从保存的节点收集服务器的地址信息中重新选定ー个节点收集服务器的地址信息，该重新选定的节点收集服务器的地址信息的优先级仅低于上次选定的节点收集服务器的地址信息的优先级； 上传服务器根据重新选定的地址信息，将本地磁盘存储的需要重新上传的日志通过与所述重新选定的地址信息对应的节点收集服务器发送给中央收集服务器。5.根据权利要求4所述的方法，其特征在干，所述待接收日志的节点收集服务器的地址信息的优先级是中央控制器根据对多项指标进行加权计算获得，所述多项指标包括下述内容 该节点收集服务器与上传服务器是否在相同机房； 该节点收集服务器与上传服务器是否属于相同运营商； 该节点收集服务器与上传服务器之间物理区域的远近； 该节点收集服务器与上传服务器之间的链路质量优劣； 该节点收集服务器与中央收集服务器之间的链路质量优劣； 该节点收集服务器的自身服务质量的高低。6.—种日志收集控制方法,其特征在于,该方法包括 中央控制器接收上传服务器发送的日志上传请求消息，该日志上传...

【专利技术属性】
技术研发人员：张月，
申请(专利权)人：北京蓝汛通信技术有限责任公司，
类型：发明
国别省市：