数据收集方法及数据收集系统技术方案

本发明专利技术涉及数据收集方法及数据收集装置，其中数据收集方法包括：从数据处理集群中选择一个数据处理设备；向该选择的数据处理设备发起建立长连接的请求，并判断是否连接成功；若连接成功，则将根据对网络信息的操作而获取的相应的流水数据，实时发送给该选择的数据处理设备以使该数据处理设备对该流水数据进行处理；以及若连接不成功，则从该数据处理集群中选择另一数据处理设备，再进行向选择的数据处理设备发起建立长连接的请求的步骤。本发明专利技术在数据收集装置及数据处理设备出现故障时，也不会造成流水数据丢失。

【技术实现步骤摘要】

本专利技术涉及数据收集
，尤其涉及数据收集方法及数据收集系统。
技术介绍
在互联网的服务信息提供系统中，为了实现对客户端进行更优的服务，往往需要根据客户端对服务信息的操作而获取大量的流水数据，以对流水数据进行分析进而提供更优服务，例如音乐推荐系统就是基于客户端用户的音乐流水数据来预估用户喜爱的歌曲，其首先需要根据客户端用户对音乐操作而获取音乐流水数据，例如歌曲名、歌手姓名、歌曲类别等数据，此音乐流水数据能够对音乐推荐系统推荐给客户端的歌曲列表产生影响。目前对流水数据的收集大都采用如下方式：首先将获得的流水数据存储，然后在一定的时间间隔（例如10-30分钟）后将存储的流水数据发送给数据接收端。数据接收端批量处理流水数据以计算出推荐的信息，例如歌曲列表，并将歌曲列表推荐给客户端。在这种数据收集方式中，数据收集存在非常大的时间延迟，实时性非常弱，因此，客户端用户的操作无法及时影响到推荐信息，例如歌曲推荐列表。此外，任意一个客户端主机或数据接收端出现故障，都会引起客户端流水数据的丢失，导致推荐信息不准确。
技术实现思路
因此，本专利技术提供数据收集方法及数据收集装置，以克服现有数据收集技术存在的问题。具体地，本专利技术实施例提出的一种数据收集方法，包括步骤：从数据处理集群中选择一个数据处理设备；向该选择的数据处理设备发起建立长连接的请求，并判断是否连接成功；若连接成功，则将根据对网络信息的操作而获取的相应的流水数据，实时发送给该选择的数据处理设备以使该数据处理设备对该流水数据进行处理；以及若连接不成功，则从该数据处理集群中选择另一数据处理设备，再进行向选择的数据处理设备发起建立长连接的请求的步骤。另外，本专利技术实施例提出的一种数据收集装置，包括选择模块、连接建立模块以及发送模块，选择模块，用于从数据处理集群中选择一个数据处理设备；连接建立模块，用于向该选择的数据处理设备发起建立长连接的请求，并判断是否连接成功，若否，则使该选择模块从该数据处理集群中选择另一数据处理设备，再执行该连接建立模块；发送模块，用于在连接成功后，将根据对网络信息的操作而获取的相应的流水数据，实时发送给该选择的数据处理设备以使该数据处理设备对流水数据进行处理。由上述实施例可知，本专利技术通过使用长连接实时将流水数据发送至数据处理设备以对流水数据进行组织处理。若连接不成功，则再另外选取一个数据处理设备建立长连接并发送数据至此数据处理设备，如果还是连接不成功，则会再寻找数据处理设备，直到成功为止。从而使得流水数据能够实时进行收集并迅速影响到推荐信息，此外，若数据收集装置及数据处理设备出现故障，也不会造成客户端流水数据丢失。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。附图说明图1是本专利技术实施例提出的数据收集方法的步骤流程图；图2是本专利技术另一实施例提出的数据收集方法的步骤流程图；图3是本专利技术实施例提出的数据收集装置的主要架构框图；图4是本专利技术另一实施例提出的数据收集装置的主要架构框图。具体实施方式为更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术提出的数据收集方法及数据收集装置其具体实施方式、结构、特征及功效，详细说明如后。有关本专利技术的前述及其他
技术实现思路
、特点及功效，在以下配合参考图式的较佳实施例详细说明中将可清楚的呈现。通过具体实施方式的说明，当可对本专利技术为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本专利技术加以限制。图1是本专利技术实施例提出的数据收集方法的步骤流程图。请参阅图1，本专利技术实施例的数据收集方法可包括以下步骤S100-S109：步骤S100：从数据处理集群中选择一个数据处理设备。本步骤中，可以根据预先存储的数据处理设备的识别信息，例如ID而任意选取一个数据处理设备以准备与此数据处理设备进行连接。数据处理集群包括若干数据处理设备，数据处理设备可以为服务器等设备。步骤S101：向选择的数据处理设备发起建立长连接的请求，并判断是否连接成功，若是，则进行步骤S103，若否，则进行步骤S109。本步骤中，长连接可以为Tcp长连接，即与选择的数据处理设备使用tcp协议建立连接后，将会保持连接很长的时间并持续进行数据传输，并不断开，直到数据收集装置或者数据处理设备主动关闭连接为止。向选择的数据处理设备发起建立长连接的请求后，可以通过是否收到选择的数据处理设备发送的接受连接的回复信息而判断是否连接成功，若接收到选择的数据处理设备发送的接受连接的回复信息，则判断为连接成功。反之，则判断为连接不成功。步骤S103：将根据对网络信息的操作而获取的相应的流水数据，实时发送给选择的数据处理设备以使数据处理设备对流水数据进行处理，继续进行步骤S103。本步骤中，网络信息可以存放于各种服务产品（如QQ音乐、优酷视频）的数据库中，网络信息的种类包括网络歌曲、视频、图片等。网络歌曲的信息内容可以包括歌曲的ID、歌曲的名称、歌曲的类型、歌手名等。对网络信息的操作包括收听、收藏、设为背景等操作。例如当用户选择收听《隐形的翅膀》歌曲1分钟，本步骤则根据用户收听的操作而获取到收听歌曲的ID、客户端账号、收听开始时间、收听结束时间、歌曲的类型等流水数据。歌曲的ID及歌曲的类型通过数据库中存放的此歌曲的信息而获得。当用户将《隐形的翅膀》设为背景音乐，则根据用户设为背景音乐的操作而获取到此歌曲的ID、客户端账号、设为背景音乐的时间、歌曲的类型等流水数据。数据处理设备对流水数据进行处理，即数据处理设备可以对流水数据按照每个客户端进行分类，并将客户端关注的信息推荐给客户端。例如客户端用户在一段时间内收听的歌曲均为乡村音乐，则可以将服务产品数据库中的乡村音乐实时推荐给客户端用户。本步骤中，若选择另一数据处理设备，则将原先发送给其它数据处理设备的数据重新发送给此数据处理设备。步骤S109：从数据处理集群中选择另一数据处理设备，进行步骤S101。本步骤中，可以根据预先存储的数据处理设备的识别信息，例如ID而选取另一个数据处理设备以准备与此数据处理设备进行连接。在本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据收集方法，其特征是，包括步骤：
从数据处理集群中选择一个数据处理设备；
向该选择的数据处理设备发起建立长连接的请求，并判断是否连接成
功；
若连接成功，则将根据对网络信息的操作而获取的相应的流水数据，
实时发送给该选择的数据处理设备以使该数据处理设备对该流水数据进行
处理；以及
若连接不成功，则从该数据处理集群中选择另一数据处理设备，再进
行向选择的数据处理设备发起建立长连接的请求的步骤。
2.根据权利要求1所述的数据收集方法，其特征是：在执行若连接成
功的步骤后，还包括步骤：
判断该流水数据是否成功发送给该选择的数据处理设备，若是，继续
执行将根据对网络信息的操作而获取的相应的流水数据，实时发送给选择
的数据处理设备以使数据处理设备对流水数据进行处理的步骤。
3.根据权利要求2所述的数据收集方法，其特征是：还包括步骤：
若判断流水数据未成功发送给该选择的数据处理设备，则与该选择的
数据处理设备之间断开连接。
4.根据权利要求2所述的数据收集方法，其特征是：还包括步骤：
通过一定时器设定一预定时间，在将该流水数据发送给该选择的数据
处理设备时开始计时，若在该预定时间内接收到来自该选择的数据处理设
备发送的数据已成功接收的信息时，则判断为该流水数据已成功发送给该
选择的数据处理设备，否则判断为该流水数据未成功发送给该选择的数据
处理设备。
5.根据权利要求1所述的数据收集方法，其特征是：在执行若连接成
功的步骤中，还包括步骤：
接收该选择的数据处理设备对流水数据进行处理后发...

【专利技术属性】
技术研发人员：王翔，杨光，金德强，刘黎春，朱静涛，范成涛，周斌，徐东山，黄斯亮，黄耀明，傅鸿城，曹硕，刘翔，彭广立，李海鸥，孙娟，李丹，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：