一种网络日志的记录方法及系统技术方案

本申请提出了一种网络日志的记录方法及系统，涉及计算机网络技术领域。一种网络日志的记录方法包括：获取网络日志数据报文，并将网络日志数据报文中原始网络日志数据报文进行分布式存储；读取网络日志数据报文的原始网络日志数据报文和网络日志数据，并判断网络日志数据中是否携带表征原始网络日志数据报文来源的唯一ID；将表征原始网络日志数据报文来源的唯一ID添加到网络日志数据报文的超链接中。能够准确的确定出用户在访问网络时，是从哪一个页面出发访问另一个页面，及相比现有技术中仅是基于时间戳确定的网络访问路径更准确。此外本申请还提出了一种网络日志的记录系统。统。统。

【技术实现步骤摘要】
一种网络日志的记录方法及系统


[0001]本申请涉及计算机网络
，具体而言，涉及一种网络日志的记录方法及系统。

技术介绍

[0002]随着计算机网络技术的快速发展，基于记录的网络日志还原用户的网络访问路径，能够使得网站更便利地为用户提供更加人性化的服务，针对一些涉及网络安全或者网络审查的需要，准确高效的还原用户网络访问路径，能够实现更加快捷准确地网络安全维护。
[0003]在现有技术中，可以采用如下方案实现对用户的网路访问路径的还原：
[0004]在用户访问网页的过程中，互联网中的日志服务器会保存并管理与该用户访问过的网页对应的带时间戳的临时会话Cookie，该临时会话Cookie包括：访问页面的URL(Uniform/Universal Resource Locator，统一资源定位符)，用户会话ID和用户访问页面的时间戳，该临时会话Cookie是记录在网络日志中。
[0005]在需要还原该用户访问过的网页路径时，收集包括统一用户会话ID的各日志记录，对于记录的时间戳最小的日志，就是该用户本次访问网络时首次访问页面日志，而该首次访问页面日志中的URL，就是该用户本次访问网络时首次访问的网页，也可以称作landing page(着陆页)，然后按照时间戳从小到大的顺序，对该各日志记录中的URL进行排序，从而还原出该用户本次访问网络时的网络访问路径。
[0006]虽然上述现有技术方案能在一定程度上实现对用户访问过的网页实现路径还原，但是，由于在记录网络日志的过程中，只是在用户在访问过程中，在服务器上记录访问页面的时间戳，从而使得在网络访问路径还原时，只能基于记录的时间戳来确定访问的先后顺序，所以，存在网络日志中所记录的网络访问信息不全面的技术问题，以及存在还原的结果在有些时候不能够正确反映用户访问网页的过程，导致各个访问页面间的逻辑结构关系不清楚的技术问题。例如：如图1所示，用户从网站的页面A出发，先后访问了页面B和页面C，假定页面B被先访问，页面C被后访问，按照上述现有技术方案，用户访问网站页面的路径，被确定为从页面A到页面B，再从页面B到页面C，从而导致所还原的网络访问路径，与实际用户从页面A触发，分别先后访问页面B和页面C的实际路径不符，进而造成所还原的网络访问路径不准确。

技术实现思路

[0007]本申请的目的在于提供一种网络日志的记录方法，其能够准确的确定出用户在访问网络时，是从哪一个页面出发访问另一个页面，及相比现有技术中仅是基于时间戳确定的网络访问路径更准确。
[0008]本申请的另一目的在于提供一种网络日志的记录系统，其能够运行一种网络日志的记录方法。
[0009]本申请的实施例是这样实现的：
[0010]第一方面，本申请实施例提供一种网络日志的记录方法，其包括获取网络日志数据报文，并将网络日志数据报文中原始网络日志数据报文进行分布式存储；读取网络日志数据报文的原始网络日志数据报文和网络日志数据，并判断网络日志数据中是否携带表征原始网络日志数据报文来源的唯一ID；将表征原始网络日志数据报文来源的唯一ID添加到网络日志数据报文的超链接中。
[0011]在本申请的一些实施例中，上述获取网络日志数据报文，并将网络日志数据报文中原始网络日志数据报文进行分布式存储包括：对获取的原始网络日志数据报文的大小小于预设阈值的原始网络日志数据报文，合并成大文件后再进行分布式存储。
[0012]在本申请的一些实施例中，上述还包括：接收网络日志数据报文，并存储网络日志数据报文，提供已保存网络日志数据报文查询。
[0013]在本申请的一些实施例中，上述读取网络日志数据报文的原始网络日志数据报文和网络日志数据，并判断网络日志数据中是否携带表征原始网络日志数据报文来源的唯一ID包括：根据读取网络日志数据报文的原始网络日志数据报文，通过查询一定时间内的网络日志数据报文，计算网络日志数据发送速度。
[0014]在本申请的一些实施例中，上述还包括：获取表征原始网络日志数据报文来源的唯一ID中的跳数值，并确定跳数值与设定增量的和值，生成包括唯一标识、表示原始网络日志数据报文的获取时刻的时间戳和以初始值作为跳数值的唯一ID。
[0015]在本申请的一些实施例中，上述将表征原始网络日志数据报文来源的唯一ID添加到网络日志数据报文的超链接中包括：基于HDFS分布式文件系统的HBase开源数据库，用于存储结构化和半结构化的网络日志数据报文的统计分析结果。
[0016]在本申请的一些实施例中，上述还包括：在本次访问页面对应的网络日志数据报文中，记录本次访问页面对应的用户cookie，或者，记录本次访问页面对应的由网站分配的用户ID。
[0017]第二方面，本申请实施例提供一种网络日志的记录系统，其包括获取模块，用于获取网络日志数据报文，并将网络日志数据报文中原始网络日志数据报文进行分布式存储；
[0018]唯一ID模块，用于读取网络日志数据报文的原始网络日志数据报文和网络日志数据，并判断网络日志数据中是否携带表征原始网络日志数据报文来源的唯一ID；
[0019]添加记录模块，用于将表征原始网络日志数据报文来源的唯一ID添加到网络日志数据报文的超链接中。
[0020]在本申请的一些实施例中，上述包括：用于存储计算机指令的至少一个存储器；与上述存储器通讯的至少一个处理器，其中当上述至少一个处理器执行上述计算机指令时，上述至少一个处理器使上述系统执行：获取模块、唯一ID模块及添加记录模块。
[0021]第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如一种网络日志的记录方法中任一项的方法。
[0022]相对于现有技术，本申请的实施例至少具有如下优点或有益效果：
[0023]对获取到的日志记录文件进行分布式存储，同时基于大数据分析技术对存储的日志记录文件进行统计分析，相比传统的单机技术具有存储安全、分析快速的有益效果，定网络访问路径为从第一网络日志条目中的页面标识表征的网络页面到第二网络日志条目中
的页面标识表征的网络页面，从而能够准确的确定出用户在访问网络时，是从哪一个页面出发访问另一个页面，及相比现有技术中仅是基于时间戳确定的网络访问路径更准确。
附图说明
[0024]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0025]图1为本申请实施例提供的一种网络日志的记录方法步骤示意图；
[0026]图2为本申请实施例提供的一种网络日志的记录方法详细步骤示意图；
[0027]图3为本申请实施例提供的一种网络日志的记录系统模块示意图；
[0028]图4为本申请实施例提供的一种电子设备。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络日志的记录方法，其特征在于，包括：获取网络日志数据报文，并将网络日志数据报文中原始网络日志数据报文进行分布式存储；读取网络日志数据报文的原始网络日志数据报文和网络日志数据，并判断网络日志数据中是否携带表征原始网络日志数据报文来源的唯一ID；将表征原始网络日志数据报文来源的唯一ID添加到网络日志数据报文的超链接中。2.如权利要求1所述的一种网络日志的记录方法，其特征在于，所述获取网络日志数据报文，并将网络日志数据报文中原始网络日志数据报文进行分布式存储包括：对获取的原始网络日志数据报文的大小小于预设阈值的原始网络日志数据报文，合并成大文件后再进行分布式存储。3.如权利要求2所述的一种网络日志的记录方法，其特征在于，还包括：接收网络日志数据报文，并存储网络日志数据报文，提供已保存网络日志数据报文查询。4.如权利要求1所述的一种网络日志的记录方法，其特征在于，所述读取网络日志数据报文的原始网络日志数据报文和网络日志数据，并判断网络日志数据中是否携带表征原始网络日志数据报文来源的唯一ID包括：根据读取网络日志数据报文的原始网络日志数据报文，通过查询一定时间内的网络日志数据报文，计算网络日志数据发送速度。5.如权利要求4所述的一种网络日志的记录方法，其特征在于，还包括：获取表征原始网络日志数据报文来源的唯一ID中的跳数值，并确定跳数值与设定增量的和值，生成包括唯一标识、表示原始网络日志数据报文的获取时刻的时间戳和以初始值作为跳数值的唯一I...

【专利技术属性】
技术研发人员：聂文慧，孙斌，
申请(专利权)人：湖北大学，
类型：发明
国别省市：