一种物联网数据采集处理及分析应用的整体解决方法技术

本发明专利技术公开了物联网数据解析处理技术领域，尤其是涉及一种物联网数据采集处理及分析应用的整体解决方法。该一种物联网数据采集处理及分析应用的整体解决方法，一种物联网数据采集处理及分析应用的整体解决方法，其特征是：由组态业务配置模组、权限管控模组、数据源模组、分布式实时数据库模组、数据服务模组、算法模型生成模组构成。其益效果是：克服了现有技术中的不足，提供了一种对数据的多维度、多层次分析的物联网设备，使用简单，运行速度极快，自动识别协议类型，自动采用最适合的解析方式，提供最优化的展示方式，给人们的日常工作生活带来诸多的便利，为用户的使用提供了最有效简便的方式。

【技术实现步骤摘要】
一种物联网数据采集处理及分析应用的整体解决方法
本专利技术涉及物联网数据解析处理
，尤其是涉及一种物联网数据采集处理及分析应用的整体解决方法。
技术介绍
现有技术中，普通的物联网设备无法做到自动适配多种数据源，目前的技术都只为一个特定技术提供方案，且使用复杂、速度慢、对使用者要求高；面对纷繁复杂的协议格式，现有技术做不到自动识别协议类型，设备无法自动识别协议并采用合适且最优的解析方式，只能对具体协议采用车古板的方式处理，导致解析速度慢，无法提供最优化的展示方式，导致不同的端上出现变形、扭曲、对用户不友好的现象，现有技术还只能手动、缓慢地对特定方式进行分析，换一个维度就要手动调整参数，甚至要改变数据模型，导致运行成本极高、效率较低。
技术实现思路
本专利技术的目的在于提供一种物联网数据采集处理及分析应用的整体解决方法，本专利技术采用的技术方案是：其特征是：由组态业务配置模组、权限管控模组、数据源模组、分布式实时数据库模组、数据服务模组、算法模型生成模组构成；采集分析方法为：步骤1、针对物联网设备，一键选择数据源驱动，数据源进行动态加载，同时提供标准数据接口MQTT协议、HTTP协议等协议；步骤2、对选择的数据源一键配置协议，系统自动解析数据，处理成标准格式。作为本专利技术的优选技术方案，所述组态业务配置模组包括:1)项目结构:包括业务监控项目管理，业务监控项目内容控制,监控视图管理,监控视图内容控制,组态图管理,数据源管理；2)数据引擎配置:包括监控测点管理，清洗逻辑配置,逻辑管理；3)业务图形编辑器:包括组态业务图形生成,组态业务图发布控制；4)图形引擎:包括图形配置,图形生成,图形运行,图形服务。作为本专利技术的优选技术方案，所述权限管控模组包括：1)权限拓扑:包括用户资源信息管理,用户结构拓扑管理；2)资源拓扑：包括菜单标识管理,操作标识管理,标识层级关系管理；3)权限映射：包括权限配置和执行。作为本专利技术的优选技术方案，所述数据源模组包括：1)连接管理：包括数据源配置,数据源动态管理,数据源状态监控,多数据源并发。2)协议解析：包括协议配置管理，协议接口管理3)协议组件：多协议/多形式适配，自定义协议适配。作为本专利技术的优选技术方案，所述分布式实时数据库模组包括：1)数据能力：包括实时数据查询,操作数据下达,操作记录。2)数据处理：包括数据初始化,采集数据清洗,数据转换,有效性判定,报警判定,报警记录,公式与函数计算,实时数据缓存；3)数据存储：实时数据存储，历史数据存储；4)实时输出：实时数据接口；5)客户端服务：用户管理，权限管理，登录验证；6)系统管理服务；自动远程更新,主备用状态切换,日志查询。作为本专利技术的优选技术方案，所述数据服务模组包括：1)数据引擎：包括接收实时数据,实时数据推送,实时控制命令接收与转发；2)历史数据服务：历史数据导入服务,统计数据导入服务,历史数据查询,历史数据回放。作为本专利技术的优选技术方案，所述算法模型生成模组包括：参数配置,模型控制,数据生成。作为本专利技术的优选技术方案，还包括一种物联网数据实时处理方法，其步骤如下：步骤1、采用kafka消息队列，异步传递海量数据；步骤2、采用列式存储、内存数据库、Hadoop等技术，实现海量数据动态存储；步骤3、采用Storm大数据处理框架，实现数据并行计划、横向扩展，同时数据量达TB级别；步骤4、实现数据的实时处理。本专利技术具有的有益效果是：克服了现有技术中的不足，提供了一种对数据的多维度、多层次分析的物联网设备，使用简单，运行速度极快，自动识别协议类型，自动采用最适合的解析方式，提供最优化的展示方式，给人们的日常工作生活带来诸多的便利，为用户的使用提供了最有效简便的方式。附图说明图1为本专利技术的结构及其数据采集分析方法的流程图；具体实施方式下面将结合附图和实施例对本专利技术作进一步的说明。本专利技术的一种物联网数据采集处理及分析应用的整体解决方法，由组态业务配置模组、权限管控模组、数据源模组、分布式实时数据库模组、数据服务模组、算法模型生成模组构成；采集分析方法为：步骤1、针对物联网设备，一键选择数据源驱动，数据源进行动态加载，同时提供标准数据接口MQTT协议、HTTP协议等协议；步骤2、对选择的数据源一键配置协议，系统自动解析数据，处理成标准格式。作为本专利技术的优选技术方案，所述组态业务配置模组包括:1)项目结构:包括业务监控项目管理，业务监控项目内容控制,监控视图管理,监控视图内容控制,组态图管理,数据源管理；2)数据引擎配置:包括监控测点管理，清洗逻辑配置,逻辑管理；3)业务图形编辑器:包括组态业务图形生成,组态业务图发布控制；4)图形引擎:包括图形配置,图形生成,图形运行,图形服务。作为本专利技术的优选技术方案，所述权限管控模组包括：1)权限拓扑:包括用户资源信息管理,用户结构拓扑管理；2)资源拓扑：包括菜单标识管理,操作标识管理,标识层级关系管理；3)权限映射：包括权限配置和执行。作为本专利技术的优选技术方案，所述数据源模组包括：1)连接管理：包括数据源配置,数据源动态管理,数据源状态监控,多数据源并发。2)协议解析：包括协议配置管理，协议接口管理3)协议组件：多协议/多形式适配，自定义协议适配。作为本专利技术的优选技术方案，所述分布式实时数据库模组包括：1)数据能力：包括实时数据查询,操作数据下达,操作记录。2)数据处理：包括数据初始化,采集数据清洗,数据转换,有效性判定,报警判定,报警记录,公式与函数计算,实时数据缓存；3)数据存储：实时数据存储，历史数据存储；4)实时输出：实时数据接口；5)客户端服务：用户管理，权限管理，登录验证；6)系统管理服务；自动远程更新,主备用状态切换,日志查询。作为本专利技术的优选技术方案，所述数据服务模组包括：1)数据引擎：包括接收实时数据,实时数据推送,实时控制命令接收与转发；2)历史数据服务：历史数据导入服务,统计数据导入服务,历史数据查询,历史数据回放。作为本专利技术的优选技术方案，所述算法模型生成模组包括：参数配置,模型控制,数据生成。作为本专利技术的优选技术方案，还包括一种物联网数据实时处理方法，其步骤如下：步骤1、采用kafka消息队列，异步传递海量数据；步骤2、采用列式存储、内存数据库、Hadoop等技术，实现海量数据动态存储；步骤3、采用Storm大数据处理框架，实现数据并行计划、横向扩展，同时数据量达TB级别；步骤4、实现数据的实时处理。为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。一种物联网数据采集方法：步骤1、针对物联网设备，一键选择数据源驱动，数据源进行动态加载，同时提供标准数据接口MQTT协议、HTTP协议等协议；步骤2、对选择的数据源一键配置协议，系统自动解析数据，处理成标准格式。一种物联网数据实时处理方法：步骤1、采用kafka消息队列，异步传递海量数据；步骤2、采用列式存储、内存数据库、Hadoop等技术，实现海量数据动态存储；步骤3、采用Storm大数据处理框架，实现数据并行计划、横向扩展，同时数据量达TB级别；步骤4、实现数据的实时处理。一种物联网数据实时多端展示方法：步骤1：在线设计SVG界面，所见即所得，对多端自动实现优化，实现和业界知名本文档来自技高网...

【技术保护点】
1.一种物联网数据采集处理及分析应用的整体解决方法，其特征是：由组态业务配置模组、权限管控模组、数据源模组、分布式实时数据库模组、数据服务模组、算法模型生成模组构成；采集分析方法为：步骤1、针对物联网设备，一键选择数据源驱动，数据源进行动态加载，同时提供标准数据接口MQTT协议、HTTP协议等协议；步骤2、对选择的数据源一键配置协议，系统自动解析数据，处理成标准格式。

【技术特征摘要】
1.一种物联网数据采集处理及分析应用的整体解决方法，其特征是：由组态业务配置模组、权限管控模组、数据源模组、分布式实时数据库模组、数据服务模组、算法模型生成模组构成；采集分析方法为：步骤1、针对物联网设备，一键选择数据源驱动，数据源进行动态加载，同时提供标准数据接口MQTT协议、HTTP协议等协议；步骤2、对选择的数据源一键配置协议，系统自动解析数据，处理成标准格式。2.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：所述组态业务配置模组包括:1)项目结构:包括业务监控项目管理，业务监控项目内容控制,监控视图管理,监控视图内容控制,组态图管理,数据源管理；2)数据引擎配置:包括监控测点管理，清洗逻辑配置,逻辑管理；3)业务图形编辑器:包括组态业务图形生成,组态业务图发布控制；4)图形引擎:包括图形配置,图形生成,图形运行,图形服务。3.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：所述权限管控模组包括：1)权限拓扑:包括用户资源信息管理,用户结构拓扑管理；2)资源拓扑：包括菜单标识管理,操作标识管理,标识层级关系管理；3)权限映射：包括权限配置和执行。4.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：所述数据源模组包括：1)连接管理：包括数据源配置,数据源动态管理,数据源状态监控,多数据源并发。2)协议解析：包括协议配置管理，协议接口管理3)协议组...

【专利技术属性】
技术研发人员：潘晓梦，
申请(专利权)人：北京全联互控科技有限公司，
类型：发明
国别省市：北京,11