中央收集服务器、日志文件处理方法及系统技术方案

中央收集服务器、日志文件处理方法及系统，所述方法包括：将边缘节点服务器发送的日志目录按照域名进行拆分，生成多个根据域名信息进行命名的日志文件；当满足预设的发送条件时，将生成的根据域名信息进行命名的日志文件发送至数据中心。上述的方案，可以缓解数据中心的日志处理压力，提高日志处理的效率。

【技术实现步骤摘要】

本专利技术涉及内容分发网络
，特别是涉及一种中央收集服务器、日志文件处理方法及系统。
技术介绍
随着互联网技术的快速发展，手持设备、桌面终端等诸多互联网终端被大量使用，同时也产生了海量的信息。海量信息背后的“大数据”隐藏着人们自主行为意识，可以产生很多商业行为的潜在价值导向，因而这些海量数据的快速处理和分析技术的需求就日益紧迫。内容分发网络(Content Delivery Net work，Q)N)服务提供商是通过大量的边缘节点服务器来为客户提供加速服务的，而各个边缘节点服务器产生的日志文件数量是巨大的。但是，现有技术中的中央收集服务器一般仅负责接收各个边缘节点服务器产生的日志文件，在将接收的日志文件发送至数据中心进行处理。这样，数据中心需要处理数量巨大的日志文件，存在巨大的数据处理压力。
技术实现思路
本专利技术实施例解决的问题是如何缓解数据中心的日志处理的压力，提高日志处理的效率。为解决上述问题，本专利技术实施例提供了一种日志文件处理方法，所述方法包括:将边缘节点服务器发送的日志目录按照域名进行拆分，生成多个根据域名信息进行命名的日志文件；当满足预设的发送条件时，将生成的根据域名信息进行命名的日志文件发送至数据中心。可选地，所述根据域名信息进行命名的日志文件的名称包括域名、识别标识、生成时间和日志文件的格式的信息。可选地，所述预设的发送条件为根据域名信息进行命名的日志文件的缓存时间达到预设的时间阈值。可选地，所述预设的发送条件为所存储的根据域名信息进行命名的日志文件的大小达到预设的数量阈值。本专利技术实施例还提供了一种中央收集服务器，所述中央收集服务器包括:日志拆分单元，适于将边缘节点服务器发送的日志目录按照域名进行拆分，生成多个根据域名信息进行命名的日志文件；发送单元，适于当满足预设的发送条件时，将生成的根据域名信息进行命名的日志文件发送至数据中心。可选地，所述根据域名信息进行命名的日志文件的名称包括域名、识别标识、生成时间和日志文件的格式的信息。可选地，所述预设的发送条件为根据域名信息进行命名的日志文件的缓存时间达到预设的时间阈值。可选地，所述预设的发送条件为所存储的根据域名信息进行命名的日志文件的大小达到预设的数量阈值。本专利技术实施例还提供了一种日志文件处理系统，所述系统包括上述的中央收集服务器。与现有技术相比，本专利技术的技术方案具有以下的优点:上述的方案，通过将杂糅在一起压缩日志文件进行拆分，得到多个根据给的域名信息进行命名得到的日志文件，可以减轻数据中心的处理压力，提升日志文件的处理效率。【附图说明】图1是本专利技术实施例中的一种日志文件处理方法的流程图；图2是本专利技术实施例中的另一种日志文件处理方法的流程图；图3是本专利技术实施例中的中央收集服务器的结构示意图。【具体实施方式】为解决现有技术中存在的上述问题，本专利技术实施例采用的技术方案通过将杂糅在一起压缩日志文件进行拆分，得到多个根据给的域名信息进行命名得到的日志文件，可以减轻数据中心的处理压力，提升日志文件的处理效率。为使本专利技术的上述目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施例做详细的说明。图1本专利技术实施例提供了一种日志文件处理方法的流程图。如图1所示，在具体实施中，所述日志文件处理方法可以包括如下的步骤:步骤S101:将边缘节点服务器发送的日志目录按照域名进行拆分，生成多个根据域名信息进行命名的日志文件。步骤S102:当满足预设的发送条件时，将生成的根据域名信息进行命名发送至数据中心。下面将结合图2对本专利技术实施例中的日志文件处理方法做进一步详细的介绍。请参见图2所示，在具体实施中，本专利技术实施例中的一种日志文件处理方法可以包括如下的步骤:步骤S201:接收边缘节点服务器发送的日志目录。在具体实施中，CDN服务商通过大量的边缘节点服务器来为客户提供加速服务。在这种情况下，CDN网络中的边缘节点服务器将会产生数量巨大的日志。其中，通过对边缘节点服务器产生的日志文件进行分析处理，可以获取到较为全面的用户的业务信息，以为用户提供更好的服务。在具体实施中，边缘节点服务器在运行过程中产生的日志文件首先经过存储在其内存的日志缓冲区中，安装在边缘节点服务器的日志收集服务，可以对边缘节点服务器产生的日志文件进行定期的收集，并将所收集的日志文件处理成为标准的日志文件，即具有预设格式的日志文件。其中，在预设格式的日志文件的缓存时间达到预设的时间阈值，或者预设格式的日志文件的大小达到预设的数量阈值时，将所述预设格式的日志文件移动至上传日志目录。在满足预设的条件时，所述边缘节点服务器可以通过日志上传路线将上传日志目录上传至中央收集服务器。中央收集服务器则可以对合法的边缘节点服务器发送的日志目录进行接收。步骤S202:将所接收的日志目录按照域名进行拆分，生成多个根据域名信息进行命名的日志文件。在具体实施中，一台边缘节点服务器可以同时为多个客户提供服务，因此，日志目录通常是多条预设格式的日志文件杂糅在一起的。为了缓解后续数据中心的日志处理压力，中央收集服务器可以在接收到边缘节点服务器发送的日志目录时，将所接收的日志目录按照域名进行拆分，得到多个日志文件，以减轻后续数据中心的日志处理压力，提高日志处理的效率。其中，所得到的日志文件可以基于所述日志文件的域名信息进行命名，最终生成多个根据域名信息进行命名的日志文件。例如，在本专利技术一实施例中，最终生成的当前第1页1 2 本文档来自技高网...

【技术保护点】
一种日志文件处理方法，其特征在于，包括：将边缘节点服务器发送的日志目录按照域名进行拆分，生成多个根据域名信息进行命名的日志文件；当满足预设的发送条件时，将生成的根据域名信息进行命名的日志文件发送至数据中心。

【技术特征摘要】

【专利技术属性】
技术研发人员：唐乾坤，杨宁，顾庆荣，
申请(专利权)人：上海帝联信息科技股份有限公司，
类型：发明
国别省市：上海;31