基于Kafka的实时数据解析订阅处理方法和装置制造方法及图纸

本发明专利技术公开了数据解析处理技术领域的一种基于Kafka的实时数据解析订阅处理方法，包括订阅端向云端服务器发送订阅数据模型；两者建立数据推送通道；服务端接收用户数据并进行权限校验；服务端发送消息给中间件进行数据转发；服务端通过消息中间件接收订阅关系并进行本地存储；服务端接收到数据后上报中间件；服务端接收数据后与订阅关系进行数据合并处理；服务端向订阅端发送实时数据。该基于Kafka的实时数据解析订阅处理方法能够及时、便捷地让用户得到自己想要的实时数据，从而减少了用户处理数据的压力，高吞吐量，实效块，确保数据准确无误地，实时地到达用户端。

Method and device of real-time data analysis subscription processing based on Kafka

【技术实现步骤摘要】
基于Kafka的实时数据解析订阅处理方法和装置
本专利技术涉及数据解析处理
，更具体地，涉及一种基于Kafka实时数据解析订阅处理分发数据的方法和装置。
技术介绍
实时数据解析订阅处理是指在设备数据上报云端后，云端根据用户订阅关系进行订阅分发的一种行为，为了满足用户对数据安全性的要求，将用户订阅关系存储于服务器数据库中，需要用户发起订阅行为，服务器校验用户对设备的权限处理，从而保证数据安全准确地达到用户系统，传统的数据抓取通过客户端进行主动轮询方式进行获取，但传统的数据获取方式吞吐量比较小、实效慢、不支持分片消费，目前常用的消息队列有Kafka，RabbitMq,AMQP等，Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理用户消费者在网站中的所有动作流数据，为了满足高吞吐量，实现分布式部署，采用Kafka技术实现分布式部署，分片消费，以达到高吞吐量，实效快，确保数据准确无误地、实时地到达用户客户端。
技术实现思路
本专利技术的目的提供一种基于Kafka实时数据解析订阅处理分发数据的方法和装置，设备的实时数据通过用户订阅关系模型进行数据分批发送给不同的用户，用以改善分布式环境下用户数据分发的实时性和针对性需求。为达到上述目的，本专利技术采用以下技术方案：一种基于Kafka的实时数据解析订阅处理方法，包括步骤如下：步骤1：订阅端向云端服务器发送订阅数据模型；步骤2：订阅端与服务端建立数据推送通道；步骤3：服务端接收用户数据并进行权限校验；步骤4：服务端校验后发送消息给中间件进行数据转发；步骤5：服务端的订阅关系部分通过消息中间件接收订阅关系并进行本地存储；步骤6：服务端的数据解析部分在接收到数据后上报中间件；步骤7：服务端的数据分发部分接收数据后与订阅关系进行数据合并处理；步骤8：服务端向订阅端发送实时数据。进一步的，所述步骤3中的权限校验是用户订阅关系的合法性校验。进一步的，所述步骤4中的中间件为Kafka集群服务器。进一步的，所述步骤5中的服务端的订阅关系部分通过消息中间件接收订阅关系包括以下步骤：S51：订阅端向云端服务器发起订阅关系；S52：服务器进行设备权限判断并进行订阅关系处理；S53：通过Kafka消费用户订阅关系；S54：存储用户关系模型数据至本地库；S55：存储用户关系模型数据进行数据库存储。进一步的，所述步骤7包括以下步骤：S71：设备端发送用户数据；S72：服务端进行数据解析；S73：服务端加载订阅关系模型；S74：服务端进行数据解析成用户所要的数据后进行与订阅关系进行复合运算；S75：服务端对用户数据进行过滤筛选；S76：服务端将用户数据上传至Kafka；S77：由云端服务器发送进行消费Kafka中数据后根据用户进行数据转发。一种基于Kafka的实时数据解析订阅处理方法的装置，包括：数据推送模块，用于与服务端建立数据推送通道；权限校验模块，用于接收用户数据并进行权限校验；数据转发模块，用于发送消息给Kafka进行数据转发；数据解析模块，用于对用户数据解析；存储模块，用于存储用户订阅关系；复合运算模块，用于对数据解析成用户所要的数据后进行与订阅关系进行复合运算；过滤筛选模块，用于对用户所要的数据进行过滤筛选。一种基于Kafka的实时数据解析订阅处理方法的系统，包括：数据源端，用于读取消息队列中Kafka缓存的消息，加上临时缓存一天数据的量，并在客户端解析Kafka缓存消息后，将解析后的Kafka缓存消息存储在上述存储模块中；客户端，用于初始化后，解析Kafka缓存消息的内容。采用上述技术方案，本专利技术具有以下优点：1.本专利技术提供了一种基于Kafka的实时数据分发订阅处理方法，该实时数据分发订阅处理方法通过用户订阅关系建立与设备数据进行匹配，并将设备数据发送到用户订阅端，由于用户订阅关系是由用户发起，从而使得用户可以根据自己实际需求来定义关系，无需修改任何配置文件，从而减少了资源消耗，确保了数据按照用户自定义要求送达用户端，服务器中也进行了权限校验，判断设备是否挂载在订阅者名下进行校验，确保了数据的安全性。2.本专利技术在传统的数据分发基础上，加上临时缓存一天数据的量，以便用户进行查询历史，方便用户进行针对一天的数据进行分析，从而达到分析未来可预见性行为，通过实时数据解析订阅关系处理可以及时、便捷地让用户得到自己想要的实时数据，数据处理效率高，减少了用户处理数据的压力。采用Kafka技术实现分布式部署，分片消费，能够达到高吞吐量，实效块，确保数据准确无误地，实时地到达用户端。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。图1是本专利技术的基于Kafka的实时数据解析订阅处理方法的流程图；图2是本专利技术的订阅端发起订阅关系并存储数据库流程图；图3是本专利技术的设备数据上报后进行数据分发流程图；图4是本专利技术的基于Kafka的实时数据解析订阅处理方法的装置的结构示意图；图5是本专利技术的基于Kafka的实时数据解析订阅处理方法的系统结构示意图。具体实施方式以下结合说明书附图对本专利技术的技术方案进行具体说明。以下在具体实施方式中详细叙述本专利技术的详细特征以及优点，其内容足以使任何本领域技术人员了解本专利技术的
技术实现思路
并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本专利技术相关的目的及优点。第一实施例如附图1所示，一种基于Kafka的实时数据解析订阅处理方法，包括步骤如下：步骤1：订阅端向云端服务器发送订阅数据模型；步骤2：订阅端与服务端建立数据推送通道；步骤3：服务端接收用户数据并进行权限校验；步骤4：服务端校验后发送消息给中间件进行数据转发；步骤5：服务端的订阅关系部分通过消息中间件接收订阅关系并进行本地存储；步骤6：服务端的数据解析部分在接收到数据后上报中间件；步骤7：服务端的数据分发部分接收数据后与订阅关系进行数据合并处理；步骤8：服务端向订阅端发送实时数据。其中：订阅数据模型是现有技术的一种访问订阅平台，包括订阅端和云端服务器，订阅端通过云端服务器对数据平台系统订阅，实现数据的订阅和获取。步骤3中的权限校验是用户订阅关系的合法性校验，如果用户订阅关系是合法权限，进行下一步操作，如果用户订阅关系是非法权限，返回步骤1直到取得合法权限。步骤4中的中间件为Kafka集群服务器，Kafka是一个分布式的消息发布-订阅系统，Kafka可以作为流计算系统的数本文档来自技高网...

【技术保护点】
1.一种基于Kafka的实时数据解析订阅处理方法，其特征在于，包括步骤如下：/n步骤1：订阅端向云端服务器发送订阅数据模型；/n步骤2：订阅端与服务端建立数据推送通道；/n步骤3：服务端接收用户数据并进行权限校验；/n步骤4：服务端校验后发送消息给中间件进行数据转发；/n步骤5：服务端的订阅关系部分通过消息中间件接收订阅关系并进行本地存储；/n步骤6：服务端的数据解析部分在接收到数据后上报中间件；/n步骤7：服务端的数据分发部分接收数据后与订阅关系进行数据合并处理；/n步骤8：服务端向订阅端发送实时数据。/n

【技术特征摘要】
1.一种基于Kafka的实时数据解析订阅处理方法，其特征在于，包括步骤如下：
步骤1：订阅端向云端服务器发送订阅数据模型；
步骤2：订阅端与服务端建立数据推送通道；
步骤3：服务端接收用户数据并进行权限校验；
步骤4：服务端校验后发送消息给中间件进行数据转发；
步骤5：服务端的订阅关系部分通过消息中间件接收订阅关系并进行本地存储；
步骤6：服务端的数据解析部分在接收到数据后上报中间件；
步骤7：服务端的数据分发部分接收数据后与订阅关系进行数据合并处理；
步骤8：服务端向订阅端发送实时数据。


2.如权利要求1所述的一种基于Kafka的实时数据解析订阅处理方法，其特征在于，所述步骤3中的权限校验是用户订阅关系的合法性校验。


3.如权利要求1所述的一种基于Kafka的实时数据解析订阅处理方法，其特征在于，所述步骤4中的中间件为Kafka集群服务器。


4.如权利要求1所述的一种基于Kafka的实时数据解析订阅处理方法，其特征在于，所述步骤5中的服务端的订阅关系部分通过消息中间件接收订阅关系包括以下步骤：
S51：订阅端向云端服务器发起订阅关系；
S52：服务器进行设备权限判断并进行订阅关系处理；
S53：通过Kafka消费用户订阅关系；
S54：存储用户关系模型数据至本地库；
S55：存储用户关系模型数据进行数据库存储。


5.如权利要求1所述的一种基于Kafka的实时数据解析订阅处理方法，其特征在于，所述步骤7包括以...

【专利技术属性】
技术研发人员：岑勇，黄琎，
申请(专利权)人：上海繁易信息科技股份有限公司，
类型：发明
国别省市：上海;31