物联网设备的活跃数据处理方法、装置及存储介质制造方法及图纸

本发明专利技术公开了物联网设备的活跃数据处理方法、装置及存储介质，该方法包括：获取设备上报消息，并将设备上报消息推送至分布式的消息队列；设备上报消息包括消息类型；基于流计算服务在消息队列中构建设备上报消息的数据流；根据消息类型，对数据流进行清洗，获得仅包含设备活跃数据的数据流；根据数据流对缓存中的设备活跃数据进行处理；根据缓存中的设备活跃数据，对Hbase中的设备活跃数据进行处理；基于批处理服务对Hbase中的设备活跃数据进行批量处理，获得活跃基础统计数据并存入数据库。本申请通过流处理服务满足海量设备数据所产生的高并发需求，引入缓存作为缓冲，能够减少与Hbase之间的数据交互，提升数据处理性能。提升数据处理性能。提升数据处理性能。

【技术实现步骤摘要】
物联网设备的活跃数据处理方法、装置及存储介质


[0001]本申请涉及数据处理领域，尤其涉及一种物联网设备的活跃数据处理方法、装置及存储介质。

技术介绍

[0002]随着物联网技术的发展，物联网内的设备数量日益增多，而设备的活跃数据是物联网平台运营的重要指标和运营数据。由于物联网内的设备数量庞大，且设备形态差异不同，设备的行为表现千差万别，相关技术中采用传统的数据库采集和记录方式来采集设备的日活跃数据、月活跃数据等活跃数据的方案，已经难以满足海量设备所产生的数据高并发需求。

技术实现思路

[0003]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请提出一种物联网设备的活跃数据处理方法、装置及存储介质。
[0004]第一方面，本申请实施例提供了一种物联网设备的活跃数据处理方法，包括：获取设备上报消息，并将所述设备上报消息推送至分布式的消息队列；其中，所述设备上报消息包括消息类型；基于流计算服务，在所述消息队列中构建所述设备上报消息的数据流；根据所述消息类型，对所述数据流进行清洗，获得仅包含设备活跃数据的所述数据流；根据完成清洗后的所述数据流，对缓存中的所述设备活跃数据进行新增、修改或不处理；根据所述缓存中的所述设备活跃数据，对Hbase中的所述设备活跃数据进行新增、修改或不处理；基于批处理服务，对所述Hbase中的所述设备活跃数据进行批量处理，获得活跃基础统计数据，并将所述活跃基础统计数据存入数据库。
[0005]可选地，所述设备活跃数据包括设备ID、设备的上下线日期和设备的上下线时间，所述根据完成清洗后的所述数据流，对缓存中的所述设备活跃数据进行新增、修改或不处理，包括：根据所述数据流中的所述设备ID和所述上下线日期，对所述缓存进行查询；当查询到所述数据流和所述缓存中不存在同一设备在同一日期内的所述设备活跃数据，根据所述数据流中的所述设备ID、所述上下线日期和所述上下线时间，在所述缓存中新增所述设备活跃数据；当查询到所述数据流和所述缓存中存在同一设备在同一日期内的所述设备活跃数据，根据所述上下线时间，对所述缓存中的所述设备活跃数据进行所述修改处理或不作处理。
[0006]可选地，所述当查询到所述数据流和所述缓存中存在同一设备在同一日期内的所述设备活跃数据，根据所述上下线时间，对所述缓存中的所述设备活跃数据进行所述修改处理或不作处理，包括：当所述数据流和所述缓存中存在同一设备在同一日期内的所述设备活跃数据，将所述数据流中的第一上下线时间和所述缓存中的第二上下线时间进行比较；当所述第一上下线时间晚于所述第二上下线时间，则将所述缓存中的所述第二上下线时间替换为所述第一上下线时间；当所述第一上下线时间早于或等于所述第二上下线时
间，不作处理。
[0007]可选地，所述根据所述缓存中的所述设备活跃数据，对Hbase中的所述设备活跃数据进行新增、修改或不处理，包括：根据业务需求，设置定时任务；所述定时任务包括操作间隔时长；每经过所述操作间隔时长，根据所述缓存中的所述设备活跃数据，对Hbase中的所述设备活跃数据进行新增、修改或不处理。
[0008]可选地，所述根据所述缓存中的所述设备活跃数据，对Hbase中的所述设备活跃数据进行新增、修改或不处理，包括：根据所述缓存中的所述设备ID，对所述Hbase进行查询；当所述缓存和所述Hbase中存在同一设备的所述设备活跃数据，将所述缓存中的第一上下线日期和所述Hbase中的第二上下线日期作比较；当所述第一上下线日期与所述第二上下线日期不相同，根据所述缓存中的所述设备ID、所述上下线日期和所述上下线时间，在所述Hbase中新增所述设备活跃数据；当所述第一上下线日期与所述第二上下线日期相同，且所述缓存中的第一上下线时间早于所述Hbase中的第二上下线时间，将所述Hbase中所述设备活跃数据替换为所述缓存中的所述设备活跃数据；当所述第一上下线日期与所述第二上下线日期相同，且所述缓存中的第一上下线时间晚于或者等于所述Hbase中的第二上下线时间，不作处理。
[0009]可选地，所述基于批处理服务，对所述Hbase中的所述设备活跃数据进行批量处理，获得活跃基础统计数据，并将所述活跃基础统计数据存入数据库，包括：基于所述批处理服务，批量获取所述Hbase中的所述设备活跃数据；对所述设备活跃数据作批量解析，获得所述设备活跃数据中的用户字段、产品字段以及设备字段；将解析后的所述设备活跃数据组装成上下线数据序列，所述上下线数据序列由多个单元数据组成；从所述上下线数据序列中的最后一个所述单元数据开始向前递归，根据所述单元数据判断设备在所述指定时段内的所述活跃情况；根据所述用户字段、所述产品字段、所述设备字段和所述指定时段，对所述活跃情况进行聚合计算，获得所述活跃基础统计数据，并将所述活跃基础统计数据存入所述数据库。
[0010]可选地，所述单元数据包括设备操作和操作时间；所述从所述上下线数据序列中的最后一个所述单元数据开始向前递归，根据所述单元数据判断设备在所述指定时段内的所述活跃情况，包括：当所述操作时间处于所述指定时段内，判断所述设备在所述指定时段内活跃；当所述操作时间晚于所述指定时段的结束时间，取前一个所述单元数据重新判断；当所述操作时间早于或等于所述指定时段的开始时间，且所述设备操作为上线，判断所述设备在所述指定时段内活跃；当所述操作时间早于或等于所述指定时段的开始时间，且所述设备操作为下线，判断所述设备在所述指定时段内非活跃。
[0011]第二方面，本申请实施例提供了一种物联网设备的活跃数据处理系统，包括：第一模块，用于获取设备上报消息，并将所述设备上报消息推送至分布式的消息队列；其中，所述设备上报消息包括消息类型；第二模块，用于基于流计算服务，在所述消息队列中构建所述设备上报消息的数据流；第三模块，用于根据所述消息类型，对所述数据流进行清洗，获得仅包含设备活跃数据的所述数据流；第四模块，用于根据完成清洗后的所述数据流，对缓存中的所述设备活跃数据进行新增、修改或不处理；第五模块，用于根据所述缓存中的所述设备活跃数据，对Hbase中的所述设备活跃数据进行新增、修改或不处理；第六模块，用于基于批处理服务，对所述Hbase中的所述设备活跃数据进行批量处理，获得活跃基础统计数
据，并将所述活跃基础统计数据存入数据库。
[0012]第三方面，本申请实施例提供了一种装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的物联网设备的活跃数据处理方法。
[0013]第四方面，本申请实施例提供了一种计算机存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现如第一方面所述的物联网设备的活跃数据处理方法。
[0014]本申请实施例的有益效果如下：首先获取设备上报消息，并将设备上报消息推送至分布式的消息队列；其中，设备上报消息包括消息类型；基于流计算服务，在消息队列中构建设备上报消息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物联网设备的活跃数据处理方法，其特征在于，包括：获取设备上报消息，并将所述设备上报消息推送至分布式的消息队列；其中，所述设备上报消息包括消息类型；基于流计算服务，在所述消息队列中构建所述设备上报消息的数据流；根据所述消息类型，对所述数据流进行清洗，获得仅包含设备活跃数据的所述数据流；根据完成清洗后的所述数据流，对缓存中的所述设备活跃数据进行新增、修改或不处理；根据所述缓存中的所述设备活跃数据，对Hbase中的所述设备活跃数据进行新增、修改或不处理；基于批处理服务，对所述Hbase中的所述设备活跃数据进行批量处理，获得活跃基础统计数据，并将所述活跃基础统计数据存入数据库。2.根据权利要求1所述的物联网设备的活跃数据处理方法，其特征在于，所述设备活跃数据包括设备ID、设备的上下线日期和设备的上下线时间，所述根据完成清洗后的所述数据流，对缓存中的所述设备活跃数据进行新增、修改或不处理，包括：根据所述数据流中的所述设备ID和所述上下线日期，对所述缓存进行查询；当查询到所述数据流和所述缓存中不存在同一设备在同一日期内的所述设备活跃数据，根据所述数据流中的所述设备ID、所述上下线日期和所述上下线时间，在所述缓存中新增所述设备活跃数据；当查询到所述数据流和所述缓存中存在同一设备在同一日期内的所述设备活跃数据，根据所述上下线时间，对所述缓存中的所述设备活跃数据进行所述修改处理或不作处理。3.根据权利要求2所述的物联网设备的活跃数据处理方法，其特征在于，所述当查询到所述数据流和所述缓存中存在同一设备在同一日期内的所述设备活跃数据，根据所述上下线时间，对所述缓存中的所述设备活跃数据进行所述修改处理或不作处理，包括：当所述数据流和所述缓存中存在同一设备在同一日期内的所述设备活跃数据，将所述数据流中的第一上下线时间和所述缓存中的第二上下线时间进行比较；当所述第一上下线时间晚于所述第二上下线时间，则将所述缓存中的所述第二上下线时间替换为所述第一上下线时间；当所述第一上下线时间早于或等于所述第二上下线时间，不作处理。4.根据权利要求2所述的物联网设备的活跃数据处理方法，其特征在于，所述根据所述缓存中的所述设备活跃数据，对Hbase中的所述设备活跃数据进行新增、修改或不处理，包括：根据业务需求，设置定时任务；所述定时任务包括操作间隔时长；每经过所述操作间隔时长，根据所述缓存中的所述设备活跃数据，对Hbase中的所述设备活跃数据进行新增、修改或不处理。5.根据权利要求2
‑
4任一项所述的物联网设备的活跃数据处理方法，其特征在于，所述根据所述缓存中的所述设备活跃数据，对Hbase中的所述设备活跃数据进行新增、修改或不处理，包括：根据所述缓存中的所述设备ID，对所述Hbase进行查询；当所述缓存和所述Hbase中存在同一设备的所述设备活跃数据，将所述缓存中的第一
上下线日期和所述Hbase中的第二上下线日期作比较；当所述第一上下线日期与所述第二上下线日期不相同，根据所述缓存中的所述设备ID、所述上下线日期和所述上下线时间，在所述Hbase中新增所述设备活跃数据；当所述第一上下线日期与所述第二上下线日期相同，且所述缓存...

【专利技术属性】
技术研发人员：贾水钦，朱明，任勇强，丁霞，王世杰，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：