一种分布式多设备数据采集方法及系统技术方案

本发明专利技术提供一种分布式多设备数据采集方法及系统，该方法包括：创建采集设备虚拟模型，并设置虚拟模型参数，安装设备驱动后，生成配置文件；启动服务引擎主控制台，获取注册设备配置信息；对已注册设备进行初始化后，解析注册设备配置信息，并建立注册设备的握手连接；基于Keepalived和虚IP方式部署haproxy服务，并根据采集任务分配多进程同时进行数据采集；启动采集调度策略后，对设备采集数据进行解析，基于key值抽取采集数据上报至应用方并存储至数据库。通过该方案不仅可以有效提升数据采集服务器的扩展性和可用性，降低采集设备接入成本。入成本。入成本。

【技术实现步骤摘要】
一种分布式多设备数据采集方法及系统


[0001]本专利技术属于物联网领域，尤其涉及一种分布式多设备数据采集方法及系统。

技术介绍

[0002]基于物联网设备采集监测数据，通过数据分析可以得到目标状态。在传统的设备数据采集过程，多是采用单机方式，利用脚本进行数据采集、处理，数据上报多是在一台服务器上操作，接入设备的多少取决于服务器资源。随着接入设备越来越多，通常需要对服务器资源扩容，比如增加内存、CPU等。但服务器可扩充的硬件容量都有上限，达到一定程度服务器就无法增加接入设备，导致服务器扩展性差。并且，单机部署模式的设备脚本一旦出现异常，会使服务引擎无法继续工作，也导致服务器可用性差。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种分布式多设备数据采集方法及系统，用于解决现有采集服务器扩展性及可用性差的问题。
[0004]在本专利技术实施例的第一方面，提供了一种分布式多设备数据采集方法，包括：
[0005]创建采集设备虚拟模型，并设置虚拟模型参数，安装设备驱动后，设置设备IP、端口及可接入数据key，生成配置文件；
[0006]启动服务引擎主控制台，获取注册设备配置信息；
[0007]对已注册设备进行初始化后，解析注册设备配置信息，并建立注册设备的握手连接；
[0008]其中，基于Keepalived和虚IP方式部署haproxy服务，并根据采集任务分配多进程同时进行数据采集；
[0009]启动采集调度策略后，对设备采集数据进行解析，基于key值抽取采集数据上报至应用方并存储至数据库；
[0010]其中，所述调度策略至少包括采集周期、key读写属性、路由策略、阻塞处理、失败重试次数和超时时间，采集数据解析过程中采用异常数据识别算法标识异常数据。
[0011]在本专利技术实施例的第二方面，提供了一种分布式多设备数据采集系统，包括：
[0012]引擎注册模块，用于创建采集设备虚拟模型，并设置虚拟模型参数，安装设备驱动后，设置设备IP、端口及可接入数据key，生成配置文件；
[0013]引擎主控制台，用于向引擎发现模块发送指令，获取注册设备配置信息；
[0014]数据解析模块，用于在对已注册设备进行初始化后，解析注册设备配置信息，并建立注册设备的握手连接，基于Keepalived和虚IP方式部署haproxy服务，并根据采集任务分配进程进行数据采集，启动采集调度策略后，对设备采集数据进行解析，基于key值抽取采集数据上报至应用方并存储至数据库。
[0015]其中，所述调度策略至少包括采集周期、key读写属性、路由策略、阻塞处理、失败重试次数和超时时间，采集数据解析过程中采用异常数据识别算法标识异常数据。
[0016]在本专利技术实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术实施例第一方面所述方法的步骤。
[0017]在本专利技术实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例第一方面提供的所述方法的步骤。
[0018]本专利技术实施例中，基于分布式的服务部署及设备注册，可以提升数据采集服务器的扩展性，并能满足大规模的数据采集需求，基于预设的调度策略，可以减小单个设备或服务器的故障对整个采集服务的影响，保障采集系统的可用性，实现来电续传、异常处理等功能。同时，基于虚拟模型注册、key数据接入，可以有效降低设备数据接入的管理、开发成本，降低设备编码的工作量。
附图说明
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本专利技术的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
[0020]图1为本专利技术一个实施例提供的一种分布式多设备数据采集方法的流程示意图；
[0021]图2为本专利技术一个实施例提供的一种分布式多设备数据采集方法的另一流程示意图；
[0022]图3为本专利技术一个实施例提供的一种分布式多设备数据采集系统的结构示意图；
[0023]图4为本专利技术的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
[0024]为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0025]应当理解，本专利技术的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。
[0026]请参阅图1，本专利技术实施例提供的一种分布式多设备数据采集方法的流程示意图，包括：
[0027]S101、创建采集设备虚拟模型，并设置虚拟模型参数，安装设备驱动后，设置设备IP、端口及可接入数据key，生成配置文件；
[0028]在Web页面上创建采集设备的虚拟模型，设置模型参数包括设备名称、设备注册时间、设备驱动文件、设备配置文件、设备描述、设备属性点等。
[0029]所有需要注册的采集设备需要安装对应的软驱动，当没有查找到相应的驱动文件，则自行进行编码，若查找到对应的驱动文件，则可以直接下载安装。驱动文件安装完成后，会自动生成配置表单，表单至少包括Modbus设备IP、端口信息，以及需要接入的数据Key。该表单基于设备的基础配置信息，其配置参数还可以包括失败重试次数、超时时间、异常数据阈值等。
[0030]本实施例中，通过输入key的形式，进行数据接入采集，通过key来标识采集数据，可以不需要开发人员进行复制编码，能降低开发工作量。
[0031]设备配置完成后，即可自动生成相应的配置文件。
[0032]S102、启动服务引擎主控制台，获取注册设备配置信息；
[0033]所述服务引擎主控制台用于获取注册设备配置，实现注册设备的绑定，并能对注册设备初始化。主控制台向注册模块发送指令获取注册设备，引擎注册模块返回对应的配置文件信息，并实现注册设备的绑定。
[0034]具体的，向引擎注册模块发送设备发现指令，所述发现指令包括启动账号、密码和虚拟模型唯一标识；
[0035]引擎注册模块接收到发现指令后，验证判断指令来源是否为有效用户，若为有效用户，则将用户、设备配置文件、设备路由地址绑定，并在设备注册成功后向服务引擎主控制台返回鉴权信息、配置文件路径和公钥。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式多设备数据采集方法，其特征在于，包括：创建采集设备虚拟模型，并设置虚拟模型参数，安装设备驱动后，设置设备IP、端口及可接入数据key，生成配置文件；启动服务引擎主控制台，获取注册设备配置信息；对已注册设备进行初始化后，解析注册设备配置信息，并建立注册设备的握手连接；其中，基于Keepalived和虚IP方式部署haproxy服务，并根据采集任务分配多进程同时进行数据采集；启动采集调度策略后，对设备采集数据进行解析，基于key值抽取采集数据上报至应用方并存储至数据库；其中，所述调度策略至少包括采集周期、key读写属性、路由策略、阻塞处理、失败重试次数和超时时间，采集数据解析过程中采用异常数据识别算法标识异常数据。2.根据权利要求1所述的方法，其特征在于，所述启动服务引擎主控制台，获取注册设备配置信息还包括：向引擎注册模块发送设备发现指令，所述发现指令包括启动账号、密码和虚拟模型唯一标识；引擎注册模块接收到发现指令后，验证判断指令来源是否为有效用户，若为有效用户，则将用户、设备配置文件、设备路由地址绑定，并在设备注册成功后向服务引擎主控制台返回鉴权信息、配置文件路径和公钥。3.根据权利要求1所述的方法，其特征在于，所述建立注册设备的握手连接包括：若建立握手连接失败，则中断连接任务，返回错误信息到主控制台，将错误日志保存到本地；若建立连接成功，则将连接上下文保存至内存中。4.根据权利要求1所述的方法，其特征在于，所述异常数据识别算法包括：读取配置文件中的区域阀值、波动范围和波动次数；当采集数据超出区域阀值，将数据标记为非正常数据，并判断是否超出波动范围；若未超出波动范围，则将数据标记为正常数据，若超出波动范围，判断是否超过波动次数，若未超过波动次数，则标记为正常数据，否则标记为异常数据。5.根据权利要求1所述的方法，其特征在于，所述基于key值抽取采集数据上报至应用方并存储至数据库包括：通过Websocket、API接口或消息队列的形式将应用数据发送给应用方。6.一种分布式多设备数据采集系统，其...

【专利技术属性】
技术研发人员：段柯柯，朱亚琴，明伟，
申请(专利权)人：武汉天业数智信息技术有限公司，
类型：发明
国别省市：