一种物联网设备数据解析方法、设备、存储介质技术

本申请公开了一种物联网设备数据解析及存储方法、设备、存储介质，该方法包括：通过物联网IoT数据接收器接收物联网设备数据，确定所述物联网设备数据的类别，并将所述物联网设备数据与所述类别对应的话题进行绑定；将所述物联网设备数据发送到所属类别的话题中；通过IoT数据解析器监听所有话题中的物联网设备数据，当监听到所述话题中存入物联网设备数据后，获取对应所述话题的数据解析模型，对所述话题中的所述物联网设备数据进行解析；判断解析后的数据适用的数据库类型，并根据所述数据库类型将所述解析后的数据存储到对应的数据库中。库中。库中。

【技术实现步骤摘要】
一种物联网设备数据解析方法、设备、存储介质


[0001]本申请涉及物联网领域，尤其涉及一种物联网设备数据解析方法、设备、存储介质。

技术介绍

[0002]消息队列Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。消息队列流Kafka Stream提供了对存储于Kafka内的数据进行流式计算和分析的功能。
[0003]当今社会中，越来越多的物联网设备比如监控摄像头、高空抛物抓拍设备、化粪池监测设备、消防报警各类设备等等安装在我们居住的社区之中，用来保证社区中的居民在安全的居住环境中生活。众多的物联网设备会产生大量的监控数据、监测数据等，如何获取并利用这些数据为我们的社区基层治理提供支撑能力成为重中之重。

技术实现思路

[0004]本申请提供了一种物联网设备数据解析方法、设备、存储介质，解决了难以获取并利用物联网设备数据的技术问题。
[0005]一种物联网设备数据解析方法，包括：
[0006]通过物联网IoT数据接收器接收物联网设备数据，确定所述物联网设备数据的类别，并将所述物联网设备数据与所述类别对应的话题进行绑定；
[0007]将所述物联网设备数据发送到所属类别的话题中；
[0008]通过IoT数据解析器监听所有话题中的物联网设备数据，当监听到所述话题中存入物联网设备数据后，获取对应所述话题的数据解析模型，对所述话题中的所述物联网设备数据进行解析；
[0009]判断解析后的数据适用的数据库类型，并根据所述数据库类型将所述解析后的数据存储到对应的数据库中。
[0010]在本申请的一种实施例中，在IoT数据接收器接收物联网设备数据前，所述方法还包括：通过所述IoT数据接收器定义数据接收标准规范，以接收符合所述标准规范的物联网设备数据；通过所述IoT数据接收器定义每一种类别的物联网设备数据或每一种业务领域的消息队列话题KafkaTopic；根据消息队列流Kafka Stream的功能，定义物联网设备数据KStream，规定各类数据流向的话题Topic。
[0011]在本申请的一种实施例中，所述判断解析后的数据适用的数据库类型，并将所述解析后的数据根据所述数据库类型存储到对应的数据库中，具体包括：判断解析后的数据适用的数据库类型是否为关系型数据库，若是，将所述解析后的数据存储到关系型数据库中；若否，判断解析后的数据适用的数据库类型是否为数据分析型数据库，若是，将所述解析后的数据存储到数据分析型数据库中。
[0012]在本申请的一种实施例中，在通过IoT数据解析器监听所有Topic中的物联网设备
数据前，所述方法还包括：通过IoT数据解析器定义各种类别的物联网设备数据的解析模型；通过IoT数据解析器定义各类物联网设备数据的存储方式。
[0013]在本申请的一种实施例中，所述方法还包括：当消费者调取所述Topic中的物联网设备数据时，通过流式计算将所述物联网设备数据发送至对应的消费者。
[0014]在本申请的一种实施例中，在通过IoT数据解析器监听所有Topic中的物联网设备数据时，所述方法还包括：通过单个或多个服务进行Topic的监听。
[0015]在本申请的一种实施例中，所述数据解析模型采用JSON格式进行定义。
[0016]在本申请的一种实施例中，所述存储方式包括行式存储、列式存储。
[0017]一种物联网设备数据解析设备，包括：
[0018]至少一个处理器；以及，
[0019]与所述至少一个处理器通信连接的存储器；其中，
[0020]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0021]通过物联网IoT数据接收器接收物联网设备数据，确定所述物联网设备数据的类别，并将所述物联网设备数据与所述类别对应的话题进行绑定；
[0022]将所述物联网设备数据发送到所属类别的话题中；
[0023]通过IoT数据解析器监听所有话题中的物联网设备数据，当监听到所述话题中存入物联网设备数据后，获取对应所述话题的数据解析模型，对所述话题中的所述物联网设备数据进行解析；
[0024]判断解析后的数据适用的数据库类型，并根据所述数据库类型将所述解析后的数据存储到对应的数据库中。
[0025]一种非易失性存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
[0026]通过物联网IoT数据接收器接收物联网设备数据，确定所述物联网设备数据的类别，并将所述物联网设备数据与所述类别对应的话题进行绑定；
[0027]将所述物联网设备数据发送到所属类别的话题中；
[0028]通过IoT数据解析器监听所有话题中的物联网设备数据，当监听到所述话题中存入物联网设备数据后，获取对应所述话题的数据解析模型，对所述话题中的所述物联网设备数据进行解析；
[0029]判断解析后的数据适用的数据库类型，并根据所述数据库类型将所述解析后的数据存储到对应的数据库中。
[0030]本申请提供了一种物联网设备数据解析方法、设备、存储介质，至少包括以下有益效果：通过流式计算保持长任务，使每个工作work一直运行，持续接收物联网设备传过来的数据，有效的提高了数据解析的效率；通过配置的方式定义数据解析模型，通过丰富的数据解析模型解析各类物联网设备数据，简化了对接物联网设备数据的研发过程，可以快速地解析接收到的物联网设备数据；根据物联网设备数据所属的业务领域划分物联网设备数据，根据不同的物联网设备数据选择对应的存储方式，能够为业务拓展提供更好的支撑能力。
附图说明
[0031]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0032]图1为本申请实施例提供的一种物联网设备数据解析方法的步骤示意图；
[0033]图2为本申请实施例提供的物联网设备数据解析及存储的流程示意图；
[0034]图3为本申请实施例提供的一种物联网设备数据解析设备的组成结构图。
具体实施方式
[0035]为了使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例对本申请进行清楚、完整的描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036]在本申请的一种实施例中，本方案基于Kafka Stream的流式计算的IoT数据接收器和IoT数据解析器来处理物联网设备数据，可以对各种类别的物联网设备数据或者各种业务领域的物联网设备数据做到实现不同的数据解析及数据存储的处理，使每一类的物联网设备数据能够在社区基层治理业务上提供不同业务领域的支撑能力。通过将社区中物联网设备产生的各种数据接入到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物联网设备数据解析方法，其特征在于，包括：通过物联网IoT数据接收器接收物联网设备数据，确定所述物联网设备数据的类别，并将所述物联网设备数据与所述类别对应的话题进行绑定；将所述物联网设备数据发送到所属类别的话题中；通过IoT数据解析器监听所有话题中的物联网设备数据，当监听到所述话题中存入物联网设备数据后，获取对应所述话题的数据解析模型，对所述话题中的所述物联网设备数据进行解析；判断解析后的数据适用的数据库类型，并根据所述数据库类型将所述解析后的数据存储到对应的数据库中。2.根据权利要求1所述的方法，其特征在于，在IoT数据接收器接收物联网设备数据前，所述方法还包括：通过所述IoT数据接收器定义数据接收标准规范，以接收符合所述标准规范的物联网设备数据；通过所述IoT数据接收器定义每一种类别的物联网设备数据或每一种业务领域的消息队列话题KafkaTopic；根据消息队列流Kafka Stream的功能，定义物联网设备数据KStream，规定各类数据流向的话题Topic。3.根据权利要求1所述的方法，其特征在于，所述判断解析后的数据适用的数据库类型，并将所述解析后的数据根据所述数据库类型存储到对应的数据库中，具体包括：判断解析后的数据适用的数据库类型是否为关系型数据库，若是，将所述解析后的数据存储到关系型数据库中；若否，判断解析后的数据适用的数据库类型是否为数据分析型数据库，若是，将所述解析后的数据存储到数据分析型数据库中。4.根据权利要求1所述的方法，其特征在于，在通过IoT数据解析器监听所有Topic中的物联网设备数据前，所述方法还包括：通过IoT数据解析器定义各种类别的物联网设备数据的解析模型；通过IoT数据解析器定义各类物联网设备数据的存储方式。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：当消费者调取所述Topic中的物联网设备数据时，...

【专利技术属性】
技术研发人员：孟珂，李照川，罗森，申传旺，赵海兴，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：