【技术实现步骤摘要】
本专利技术涉及物联网应用，尤其涉及一种物联数据采集中的去重方法及系统。
技术介绍
1、传统物联网(internet of things，iot)项目中，存在硬件与服务器、网关与服务器、系统与服务器等的数据通信过程，普遍是采用传输控制协议(transmission controlprotocol，tcp)、用户数据报协议(user datagram protocol，udp)、超文本传输协议(hypertext transfer protocol，http)等通讯协议。然而，在使用众多协议进行数据传输的过程中容易出现传输数据重复，传输数据中断等问题。
2、尽管现有技术已经部分克服了上述问题，但仍有一些问题尚未解决，如，传统的tcp/udp在多连接、高容量的使用场景中，难免会出现重复上传的情况；在http的数据请求过程中，对于某些特定接口，如，获取某一特定时间段的人员进出数据时，会出现数据重复的情况，以及，同一设备传输会有多个数据包出现的情况。而当网络不稳定，或者资源耗尽时，数据就会丢失。因此，如何避免数据接入平台重复上报、数据误传以及漏传现象的发生，成为一个亟待解决的问题。
3、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供了一种物联数据采集中的去重方法及系统，旨在解决现有技术无法避免数据接入平台重复上报、数据误传以及漏传现象的发生的技术问题。
2、为实现上述目的，本专利
3、通过kafka生产者接收物联数据，并将所述物联数据发送至kafka主题；
4、通过第一kafka消费者从所述kafka主题中消费所述物联数据，并查询轻量数据库中是否存在所述物联数据；
5、在所述轻量数据库中不存在所述物联数据时，通过第二kafka消费者从所述kafka主题中消费所述物联数据，并查询本地数据库中是否存在所述物联数据；
6、在所述本地数据库中不存在所述物联数据时，通过mqtt协议将所述物联数据上报至预设平台。
7、可选地，所述通过第一kafka消费者从所述kafka主题中消费所述物联数据，并查询轻量数据库中是否存在所述物联数据的步骤，包括：
8、通过第一kafka消费者从所述kafka主题中消费所述物联数据，并通过预设加密算法对所述物联数据进行加密处理，获得加密符文；
9、基于所述加密符文生成唯一id，并查询轻量数据库中是否存在所述唯一id；
10、相应地，所述在所述轻量数据库中不存在所述物联数据时，通过第二kafka消费者从所述kafka主题中消费所述物联数据，并查询本地数据库中是否存在所述物联数据的步骤，包括：
11、在所述轻量数据库中不存在所述唯一id时，通过第二kafka消费者从所述kafka主题中消费所述物联数据，并查询本地数据库中是否存在所述物联数据。
12、可选地，所述通过第一kafka消费者从所述kafka主题中消费所述物联数据，并通过预设加密算法对所述物联数据进行加密处理，获得加密符文的步骤，包括：
13、通过第一kafka消费者从所述kafka主题中消费所述物联数据，并通过3des算法的ecb模式对所述物联数据进行加密处理，获得加密密文；
14、对所述加密密文进行字符转换处理，获得加密符文。
15、可选地，所述基于所述加密符文生成唯一id，并查询轻量数据库中是否存在所述唯一id的步骤，包括：
16、基于所述加密符文通过md5消息摘要算法生成消息摘要，并根据所述消息摘要生成唯一id。
17、可选地，所述通过kafka生产者接收物联数据，并将所述物联数据发送至kafka主题的步骤，包括：
18、通过kafka生产者基于预设传输协议接收物联数据，并将所述物联数据发送至kafka主题，所述预设传输协议包括http、tcp以及udp。
19、此外，为实现上述目的，本专利技术还提出一种物联数据采集中的去重系统，所述物联数据采集中的去重系统包括：
20、数据获取模块，用于通过kafka生产者接收物联数据，并将所述物联数据发送至kafka主题；
21、数据消费模块，用于通过第一kafka消费者从所述kafka主题中消费所述物联数据，并查询轻量数据库中是否存在所述物联数据；
22、本地查询模块，用于在所述轻量数据库中不存在所述物联数据时，通过第二kafka消费者从所述kafka主题中消费所述物联数据，并查询本地数据库中是否存在所述物联数据；
23、数据上报模块，用于在所述本地数据库中不存在所述物联数据时，通过mqtt协议将所述物联数据上报至预设平台。
24、可选地，所述数据消费模块，还用于通过第一kafka消费者从所述kafka主题中消费所述物联数据，并通过预设加密算法对所述物联数据进行加密处理，获得加密符文；
25、所述数据消费模块，还用于基于所述加密符文生成唯一id，并查询轻量数据库中是否存在所述唯一id；
26、相应地，所述本地查询模块，还用于在所述轻量数据库中不存在所述唯一id时，通过第二kafka消费者从所述kafka主题中消费所述物联数据，并查询本地数据库中是否存在所述物联数据。
27、可选地，所述数据消费模块，还用于通过第一kafka消费者从所述kafka主题中消费所述物联数据，并通过3des算法的ecb模式对所述物联数据进行加密处理，获得加密密文；
28、所述数据消费模块，还用于对所述加密密文进行字符转换处理，获得加密符文。
29、可选地，所述数据消费模块，还用于基于所述加密符文通过md5消息摘要算法生成消息摘要，并根据所述消息摘要生成唯一id。
30、可选地，所述数据获取模块，还用于通过kafka生产者基于预设传输协议接收物联数据，并将所述物联数据发送至kafka主题，所述预设传输协议包括http、tcp以及udp。
31、本专利技术中，通过kafka生产者接收物联数据，并将所述物联数据发送至kafka主题；通过第一kafka消费者从所述kafka主题中消费所述物联数据，并查询轻量数据库中是否存在所述物联数据；在所述轻量数据库中不存在所述物联数据时，通过第二kafka消费者从所述kafka主题中消费所述物联数据，并查询本地数据库中是否存在所述物联数据；在所述本地数据库中不存在所述物联数据时，通过mqtt协议将所述物联数据上报至预设平台。通过使用kafka作为消息中间件，结合各种协议和实时数据处理，实现了高效的数据去重过滤，也实现了高性能、高可用性以及低延迟的数据传输和处理，保证了数据的安全性和完整性，也避免了数据接入平台重复上报、数据误传以及漏传现象的发生。
本文档来自技高网...【技术保护点】
1.一种物联数据采集中的去重方法，其特征在于，所述物联数据采集中的去重方法包括以下步骤：
2.如权利要求1所述的一种物联数据采集中的去重方法，其特征在于，所述通过第一Kafka消费者从所述Kafka主题中消费所述物联数据，并查询轻量数据库中是否存在所述物联数据的步骤，包括：
3.如权利要求2所述的一种物联数据采集中的去重方法，其特征在于，所述通过第一Kafka消费者从所述Kafka主题中消费所述物联数据，并通过预设加密算法对所述物联数据进行加密处理，获得加密符文的步骤，包括：
4.如权利要求2所述的一种物联数据采集中的去重方法，其特征在于，所述基于所述加密符文生成唯一ID，并查询轻量数据库中是否存在所述唯一ID的步骤，包括：
5.如权利要求1所述的一种物联数据采集中的去重方法，其特征在于，所述通过Kafka生产者接收物联数据，并将所述物联数据发送至Kafka主题的步骤，包括：
6.一种物联数据采集中的去重系统，其特征在于，所述物联数据采集中的去重系统包括：
7.如权利要求6所述的一种物联数据采集中的去重系统，
8.如权利要求7所述的一种物联数据采集中的去重系统，其特征在于，所述数据消费模块，还用于通过第一Kafka消费者从所述Kafka主题中消费所述物联数据，并通过3DES算法的ECB模式对所述物联数据进行加密处理，获得加密密文；
9.如权利要求7所述的一种物联数据采集中的去重系统，其特征在于，所述数据消费模块，还用于基于所述加密符文通过MD5消息摘要算法生成消息摘要，并根据所述消息摘要生成唯一ID。
10.如权利要求6所述的一种物联数据采集中的去重系统，其特征在于，所述数据获取模块，还用于通过Kafka生产者基于预设传输协议接收物联数据，并将所述物联数据发送至Kafka主题，所述预设传输协议包括HTTP、TCP以及UDP。
...【技术特征摘要】
1.一种物联数据采集中的去重方法，其特征在于，所述物联数据采集中的去重方法包括以下步骤：
2.如权利要求1所述的一种物联数据采集中的去重方法，其特征在于，所述通过第一kafka消费者从所述kafka主题中消费所述物联数据，并查询轻量数据库中是否存在所述物联数据的步骤，包括：
3.如权利要求2所述的一种物联数据采集中的去重方法，其特征在于，所述通过第一kafka消费者从所述kafka主题中消费所述物联数据，并通过预设加密算法对所述物联数据进行加密处理，获得加密符文的步骤，包括：
4.如权利要求2所述的一种物联数据采集中的去重方法，其特征在于，所述基于所述加密符文生成唯一id，并查询轻量数据库中是否存在所述唯一id的步骤，包括：
5.如权利要求1所述的一种物联数据采集中的去重方法，其特征在于，所述通过kafka生产者接收物联数据，并将所述物联数据发送至kafka主题的步骤，包括：
6.一种物联数据采集中的去重系统，其特征在于，所述物联数据采集...
【专利技术属性】
技术研发人员：柯康，段柯柯，朱亚琴，明伟，
申请(专利权)人：武汉天业数智信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。