一种数据收集装置、系统和方法制造方法及图纸

本发明专利技术公开了一种数据收集装置、系统和方法。该装置包括：监控单元，用于监控数据缓存中是否缓存有客户端上报的数据；解析单元，用于在所述监控单元监控到所述数据缓存中缓存有客户端上报的数据时，调用动态设置的解析类，对所述数据进行动态解析；收集单元，用于根据所述解析单元的解析结果，将所述数据插入到对应的数据库表中。本发明专利技术可以通过动态地设置解析类，实现动态地数据解析，进而可以对数据的快速解析和存储，提高了数据收集效果，还可以通过动态设置解析类实现对新增种类的数据的动态解析，无需重启数据收集系统。

Data collection device, system and method

The invention discloses a data collection device, a system and a method thereof. The device comprises a monitoring unit, for whether the client cache data reported by the monitoring data in the cache; the analytic unit used in the monitoring unit monitoring to buffer the data cache in the client reporting data, analytical categories called dynamic setting, the dynamic analysis of the data collection unit, according to; analytical results of the analytic unit, insert the data into the corresponding database table. The invention can dynamically set the analytical categories, dynamic data analysis, and the data can be quickly parsed and stored, to improve the results of data collection, but also through the analysis of dynamic setting dynamic analysis for the new type of class data, without the need to restart the data collection system.

【技术实现步骤摘要】

本专利技术涉及数据处理
，尤其涉及一种数据收集装置、系统和方法。
技术介绍
目前，随着计算机和信息技术的迅猛发展，应用系统所产生的数据呈爆炸性增长，动辄达到数百TB甚至数百PB规模的数据，数据量已远远超出了传统计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术，尤其是寻求有效的大数据统计分析技术，已经成为本领域迫切解决的问题。随着移动终端业务的发展和功能的丰富，应用在移动终端的各种应用程序(Application，简称APP)也越来越多，对于各种APP产生的庞大数据量需要进行大数据统计分析。为了实现大数据统计分析，必须能够大范围地收集客户端的数据。传统的数据收集方式是由客户端上传数据，服务器根据对应的接口或者数据的种类，将客户端上传的数据保存至对应的数据表中。服务器保存数据时，对于新增种类的数据，需要新增该种类对应的解析类，但是对于新的解析类不能动态更新，必须通过重启服务器的方式使新的解析类生效，而且，如果使用关系型数据库，则每新增一种种类就需要新增该种类对应的数据库表，才能实现数据存储。因此，传统的数据收集方式，对于新增种类的数据可复用性不高，且人工成本和维护成本高。
技术实现思路
本专利技术的主要目的在于提出一种数据收集装置、系统和方法，旨在解决传统的数据收集方式，对于新增种类的数据不能动态解析的问题。针对上述技术问题，本专利技术是通过以下技术方案来解决的：本专利技术提供了一种数据收集装置，包括：监控单元，用于监控数据缓存中是否缓存有客户端上报的数据；解析单元，用于在所述监控单元监控到所述数据缓存中缓存有客户端上报的数据时，调用动态设置的解析类，对所述数据进行动态解析；收集单元，用于根据所述解析单元的解析结果，将所述数据插入到对应的数据库表中。其中，所述解析单元，还用于采用热部署的方式，动态设置解析类；其中，所述动态设置解析类包括：动态新增和/或更新解析类。其中，所述解析单元，用于根据JAVA反射机制，调用动态设置的解析类，对所述数据进行动态解析。其中，所述数据缓存为消息队列或缓存数据库；所述数据库表位于非关系型数据库中。本专利技术还提供了一种数据收集系统，包括：顺次连接的接口服务器、缓存服务器、异步存储中间件和数据库；所述接口服务器接收客户端上报的数据，并将所述数据缓存于所述缓存服务器中；所述异步存储中间件在监控到所述缓存服务器中缓存有客户端上报的数据时，调用动态设置的解析类，对所述数据进行动态解析，并根据解析结果，将所述数据插入到所述数据库中的对应的数据库表中。其中，所述异步存储中间件以热部署的方式动态设置解析类；其中，所述动态设置解析类包括：动态新增和/或更新解析类；以及，所述异步存储中间件根据JAVA反射机制，调用动态设置的解析类，对所述新上报的数据进行动态解析。本专利技术还提供了一种数据收集方法，包括：监控数据缓存中是否缓存有客户端上报的数据；如果是，则调用动态设置的解析类，对所述数据进行动态解析；根据解析结果，将所述数据插入到对应的数据库表中。其中，动态设置解析类，包括：采用热部署的方式，动态设置解析类；其中，所述动态设置解析类包括：动态新增和/或更新解析类。其中，所述调用动态设置的解析类，对所述数据进行动态解析，包括：根据JAVA反射机制，调用动态设置的解析类，对所述数据进行动态解析。其中，所述数据缓存为消息队列或缓存数据库；所述数据库表位于非关系型数据库中。本专利技术具有以下有益效果：本专利技术可以通过动态地设置解析类，实现动态地数据解析，进而可以对数据的快速解析和存储，提高了数据收集效果，还可以通过动态设置解析类实现对新增种类的数据的动态解析，无需重启数据收集系统，避免了为新增解析类时，重启数据收集系统而引发的一系列问题。附图说明图1为根据本专利技术一实施例的数据收集系统的结构图；图2为根据本专利技术一实施例的数据收集系统的具体结构图；图3为根据本专利技术一实施例的数据收集装置的结构图；图4为根据本专利技术一实施例的数据收集方法的流程图；本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。现在将参考附图描述实现本专利技术各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本专利技术的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。本专利技术实施例提供一种数据收集系统。图1为根据本专利技术一实施例的数据收集系统的结构图。在本实施例中，数据收集系统包括：顺次连接的接口服务器110、缓存服务器120、异步存储中间件130和收集数据库140。接口服务器110，用于接收客户端上报的数据，并将所述数据缓存于所述缓存服务器120中。其中，该客户端是被预先安装在终端中的客户端。终端和接口服务器110之间可以建立通信连接，进而实现在客户端和接口服务器110之间建立通信连接。缓存服务器120，用于缓存数据。在本实施例中，缓存服务器120包括数据缓存。消息队列或缓存数据库可以作为数据缓存。数据缓存主要用于缓存客户端上报的数据。客户端上报的数据为用户操作客户端产生的数据。异步存储中间件130，用于监控缓存服务器120中是否缓存有客户端上报的数据，在监控到缓存服务器120中缓存有客户端上报的数据时，调用动态设置的解析类，对所述数据进行动态解析，并根据解析结果，将所述数据插入到收集数据库140中的对应的数据库表中。该解析结果包括数据应存储的数据库表名称，在数据库表中应存储的字段名称等。收集数据库140，用于在异步存储中间件130的控制下，在多个数据库表中存储相应的数据。收集数据库140中存储的数据可以作为数据基础，用于后续对数据进行的数据查看、数据处理和数据分析。在本实施例中，通过异步存储中间件130动态设置解析类实现了对数据的动态解析，通过动态解析数据，实现了对数据的快速解析和存储，提高了数据收集效果。在本实施例中，通过异步存储中间件130动态设置解析类，实现了对新增种类的数据的动态解析，无需重启数据收集系统，避免了为新增解析类时，重启数据收集系统而引发的一系列问题。在本实施例中，接口服务器110、缓存服务器120、异步存储中间件130和收集数据库140可以完成对客户端上报的数据的收集。本领域技术人员应当知道的是接口服务器110、缓存服务器120、异步存储中间件130和收集数据库140可以是分别独立的服务器，也可以集成在一个服务器中，如集成在一个数据收集服务器中，具体可以根据实际需求进行设置。在本实施例中，用于安装客户的终端可以以各种形式来实施。例如，本专利技术实施例中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机、智能家电等固定终端。终端可以包括：用于和接口服务器110建立通信连接的通信单元、用于接收用户操作指令的输入单元、用于为输出信息的输出单元、用于显示客户端用户界面的显示单元、用于存储数据的存储器、用于和外部装置连接和/或通信的接口单元、用于控制终端的控制器和用于为终端提供电能的电源单元等等。其中，存储器中存储本文档来自技高网...

【技术保护点】
一种数据收集装置，其特征在于，包括：监控单元，用于监控数据缓存中是否缓存有客户端上报的数据；解析单元，用于在所述监控单元监控到所述数据缓存中缓存有客户端上报的数据时，调用动态设置的解析类，对所述数据进行动态解析；收集单元，用于根据所述解析单元的解析结果，将所述数据插入到对应的数据库表中。

【技术特征摘要】
1.一种数据收集装置，其特征在于，包括：监控单元，用于监控数据缓存中是否缓存有客户端上报的数据；解析单元，用于在所述监控单元监控到所述数据缓存中缓存有客户端上报的数据时，调用动态设置的解析类，对所述数据进行动态解析；收集单元，用于根据所述解析单元的解析结果，将所述数据插入到对应的数据库表中。2.根据权利要求1所述的装置，其特征在于，所述解析单元，还用于采用热部署的方式，动态设置解析类；其中，所述动态设置解析类包括：动态新增和/或更新解析类。3.根据权利要求1所述的装置，其特征在于，所述解析单元，用于根据JAVA反射机制，调用动态设置的解析类，对所述数据进行动态解析。4.根据权利要求1所述的装置，其特征在于，所述数据缓存为消息队列或缓存数据库；所述数据库表位于非关系型数据库中。5.一种数据收集系统，其特征在于，包括：顺次连接的接口服务器、缓存服务器、异步存储中间件和数据库；所述接口服务器接收客户端上报的数据，并将所述数据缓存于所述缓存服务器中；所述异步存储中间件在监控到所述缓存服务器中缓存有客户端上报的数据时，调用动态设置的解析类，对所述...

【专利技术属性】
技术研发人员：郑秋燕，
申请(专利权)人：努比亚技术有限公司，
类型：发明
国别省市：广东;44