用户行为的获取方法、设备及系统技术方案

本发明专利技术实施例提供一种用户行为的获取方法、设备及系统。本发明专利技术实施例通过将获取的URL请求与数据库进行匹配，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL，若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，则可以确定所述URL请求是用户主动发起的，能够使网络转发设备或服务器快速、准确的获取用户主动发起URL请求的行为，以便进行更进一步的用户行为分析。

【技术实现步骤摘要】
【国外来华专利技术】用户行为的获取方法、设备及系统
本专利技术涉及通信技术，尤其涉及一种用户行为的获取方法、设备及系统。
技术介绍
统一资源定位符(UniformResourceLocator，URL)也被称为网页地址，是因特网(Internet)上标准的资源的地址。用户设备访问Internet通常是通过超文本传输协议(HyperTextTransferProtocol，HTTP)访问URL来实现的。用户设备发起的URL可分为用户主动发起的URL和用户设备自动发起的URL。例如，在基于框架的网页模式下，当用户访问网页时，用户设备发起URL请求，服务器通常会向用户设备下发一个包含URL链接的网页，用户设备解析该网页后，会自动向该服务器或者其它服务器发起该URL链接对应的URL请求。从用户角度来看，用户通过用户设备只发起了一次URL请求，获得了网页的内容。但是从网络转发设备，例如网关、路由器等，和服务器的角度来看，会接收到用户设备发起的多次URL请求，这些URL请求包括用户主动发起的URL和用户设备自动发起的URL。一般而言，网络转发设备或者服务器通过解析网页可以确定用户设备发起的URL是否为用户设备自动发起的URL，以便获取用户主动发起URL请求的行为，进行更进一步的用户行为分析。对于网络转发设备或者服务器而言，解析网页需要占用大量计算资源和吞吐量，耗时较长。此外，一些URL链接需执行脚本程序后才能生成，可能会造成部分URL无法获取，导致获取用户主动发起URL请求的行为的结果不准确。
技术实现思路
本专利技术实施例提供一种用户行为的获取方法、设备及系统，用于快速、准确的获取用户主动发起URL请求的行为。一方面提供了一种用户行为的获取方法，包括：获取用户设备发送的URL请求；若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL。另一方面提供了一种用户行为的获取设备，包括：获取单元，用于获取用户设备发送的URL请求；确定单元，用于当所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL时，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL。另一方面提供了一种用户行为的获取系统，包括用户设备和上述用户行为的获取设备。由上述技术方案可知，本专利技术实施例通过将获取的URL请求与数据库进行匹配，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL，若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，则可以确定所述URL请求是用户主动发起的，能够使网络转发设备或服务器快速、准确的获取用户主动发起URL请求的行为，以便进行更进一步的用户行为分析。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的用户行为的获取方法的流程示意图；图2为本专利技术另一实施例提供的用户行为的获取设备的结构示意图；图3为本专利技术另一实施例提供的用户行为的获取设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供的用户行为的获取方法、设备及系统可应用在使用URL作为网络资源地址的网络中。本专利技术实施例中，用户主动发起的请求是指用户通过手动方式发起的URL，例如：用户在浏览器的地址栏中输入URL主动发起的URL、用户通过鼠标点击网页中的URL链接主动发起的URL等；用户设备自动发起的URL是指用户设备根据服务器响应返回的网页，直接或者通过运算获得网页中的URL后，无需用户手动干预，自动发起的URL，其中，运算包括程序的执行。图1为本专利技术一实施例提供的用户行为的获取方法的流程示意图，如图1所示，本实施例的用户行为的获取方法可以包括：101、获取用户设备发送的URL请求。102、若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL。需要说明的是，所述101与102的执行主体可以包括但不限于网络转发设备或服务器。其中，网络转发设备是指在用户设备与服务器之间转发信息的中间设备，例如：网关或路由器等。可选地，在本实施例的一个可选实施方式中，以网关作为执行主体为例，网关接收到用户设备发送的URL请求后，可以基于深度包检测技术解析该URL请求的报文来获取所述URL请求中包含的URL。在使用URL的网络中，URL请求可以是用户主动发起的，或者还可以是用户设备自动发起的。可选地，在本实施例的一个可选实施方式中，在101中，具体可以获取用户设备发送的用户通过在浏览器的地址栏中输入URL主动发起的URL。可选地，在本实施例的一个可选实施方式中，在101中，具体可以获取用户设备发送的用户通过鼠标点击网页中的URL链接主动发起的URL。可选地，在本实施例的一个可选实施方式中，在101中，具体可以获取用户设备发送的所述用户设备通过运算得到URL自动发起的URL。其中，通过运算获得网页中的URL，可以是执行网页中的程序来实现。可选地，在本实施例的一个可选实施方式中，在101中，具体可以获取用户设备发送的所述用户设备通过直接得到URL自动发起的所述URL请求。其中，直接从网页中获得URL，可以通过匹配正则表达式来实现。可选地，在本实施例的一个可选实施方式中，在102之前，还可以进一步利用网络爬虫技术，对目标网页进行分析，识别出用户主动发起的URL；然后，将识别出的用户主动发起的URL存储到所述数据库中。可选地，在本实施例的一个可选实施方式中，在102之前，还可以进一步利用网络爬虫技术，对目标网页进行分析，识别出用户设备自动发起的URL；然后，将识别的所述用户设备自动发起的URL存储到所述数据库中；相应地，在101之后，还可以进一步包括：若所述URL请求中包含的URL在数据库中匹配到对应的用户设备自动发起的URL，确定所述URL请求是所述用户设备自动发起的。可选地，在本实施例的一个可选实施方式中，还可以进一步将识别出的用户主动发起的URL与所述用户设备自动发起的URL的关联关系存储到所述数据库中，从而使得能够根据所述关联关系进行基于网页访问的业务质量评估。本实施例中，所述网络爬虫技术是一个自动提取网页的程序，它通过指定的域名，从一个或若干目标网页的URL(即种子网页的URL)开始，获得目标网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列。通过每个URL对应的网页的提取行为，可以识别出两类URL：一类是需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用户行为的获取方法，其特征在于，包括：获取用户设备发送的URL请求；若所述URL请求中包含的URL在数据库中匹配到对应的用户主动发起的URL，确定所述URL请求是用户主动发起的，所述数据库中存储有利用网络爬虫技术识别得到的所述用户主动发起的URL、用户设备自动发起的URL以及识别得到的用户主动发起的URL与所述用户设备自动发起的URL的关联关系，所述利用网络爬虫技术识别得到的所述用户主动发起的URL为需要用户主动点击才能获取URL对应的网页的URL；若所述URL请求中包含的URL在数据库中匹配到对应的用户设备自动发起的URL，确定所述URL请求是所述用户设备自动发起的；其中，将识别出的用户主动发起的URL与所述用户设备自动发起的URL的关联关系存储到所述数据库中，使得根据所述关联关系进行基于网页访问的业务质量评估。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用网络爬虫技术，对目标网页进行分析，识别出用户主动发起的URL；将识别出的用户主动发起的URL存储到所述数据库中。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：利用网络爬虫技术，对目标网页进行分析，识别出用户设备自动发起的URL；将识别的所述用户设备自动发起的URL存储到所述数据库中。4.根据权利要求1～3任一权利要求所述的方法，其特征在于，所述获取用户设备发送的URL请求，包括：获取用户设备发送的用户通过在浏览器的地址栏中输入URL主动发起的URL；或者获取用户设备发送的用户通过鼠标点击网页中的URL链接主动发起的URL；或者获取用户设备发送的所述用户设备通过运算得到URL自动发起的URL；或者获取用户设备发送的所述用户设备通过直接得到URL自动发起的所述URL请求。5.一种用户行为的获取设备，其特征在于，包括：获取单元，用于获取用户设备...

【专利技术属性】
技术研发人员：胡玉胜，张晶，张晋兴，
申请(专利权)人：华为技术有限公司，
类型：
国别省市：