基于分布式的工业设备数据处理系统及方法技术方案

本发明专利技术涉及物联网数据处理技术领域，具体涉及基于分布式的工业设备数据处理系统及方法，该系统包括端点代理模块、命令集群模块、数采集群模块和数据处理模块；端点代理模块集成在被采集端，所述被采集端包括直连装置端和直连网关端；数据处理模块中设置有协议转换器；协议转换器中设置有代理管理单元和多个转换单元，每个转换单元均有唯一的转换ID；代理管理单元用于设置数据采集指令并发送给命令集群模块，所述数据采集指令包括采集地址和转换ID；命令集群模块用于将接收到的数据采集指令发送给采集地址对应的端点代理模块；端点代理模块内设置有多个不同协议的线程。本方法可以有效降低服务器的压力。有效降低服务器的压力。有效降低服务器的压力。

【技术实现步骤摘要】
基于分布式的工业设备数据处理系统及方法


[0001]本专利技术涉及物联网数据处理
，具体涉及基于分布式的工业设备数据处理系统及方法。

技术介绍

[0002]随着物联网技术的发展，在工业领域，设备数据采集应用越来越多，然而设备数据共有的特点数据是数据量大、数据实时性高，且工业设备协议通讯类型不同会导致不同数据解析方式不同。长时间收集各种类型的设备数据，会导致数据冗余量大，需要强大的服务器存储能力和计算能力来支撑数据的高并发采集。在服务器宕机情况下，容易造成设备数据丢失。现有的技术方案，当设备数据量大时，云平台的数据采集将出现并发性瓶颈，导致数据采集失败，对物联网平台产生灾难性影响。
[0003]为解决上述问题，公开号为CN111314874A的专利公开了一种面向物联网应用的高并发海量数据采集方法，利用接收与处理分离方法与分布式并行计算原理，结合TCP/IP提供的高并发性数据传输通道，提供一组独立的数据接收组件，该组件接收物联网基站数据，然后把数据简单加工后，放入到分布式消息系统，完成传感器数据的接收，再提供一个数据处理集群，集群每个节点启动多个数据处理单元，每个数据处理单元分别从分布式消息系统中获取传感器数据，对数据进行处理，把处理结果交付应用显示或存入数据库。
[0004]该方法通过在系统层面将数据处理分布式化，但是在设备层面和工厂子网内部，还是需要先将数据全部都采集到系统中之后再进行处理，服务器压力降低不明显。

技术实现思路

[0005]针对上述现有技术的不足，本专利技术提供了一种基于分布式的工业设备数据处理系统，可以有效降低服务器的压力。
[0006]为了解决上述技术问题，本专利技术采用了如下的技术方案：基于分布式的工业设备数据处理系统，包括端点代理模块、命令集群模块、数采集群模块和数据处理模块；端点代理模块集成在被采集端，所述被采集端包括直连装置端和直连网关端；数据处理模块中设置有协议转换器；协议转换器中设置有代理管理单元和多个转换单元，每个转换单元均有唯一的转换ID；代理管理单元用于设置数据采集指令并发送给命令集群模块，所述数据采集指令包括采集地址和转换ID；命令集群模块用于将接收到的数据采集指令发送给采集地址对应的端点代理模块；端点代理模块内设置有多个不同协议的线程；端点代理模块用于接收到数据采集指令后，获取采集地址中的数据作为采集数据，并调用与采集数据的协议相对应的线程，将采集数据与对应的转换ID一起发送给数采集群模块；数采集群模块用于将端点代理模块发送的采集数据发送给对应转换ID的转换单元；转换单元用于将接收到的采集数据进行协议转换处理。
[0007]优选地，所述被采集端还包括子网网关；所述子网网关的网段内包括多个中转网关及直连的设备，所述中转网关连接有设备，中转网关用于将连接的设备的数据发送给子网网关；还包括端点管理器，端点管理器集成在子网网关，用于管理子网网关的网段内的设备数据；端点管理器内构建有多个线程池，各线程池分别与子网网段内各设备的数据协议相对应；同一子网网关中的端点管理器与端点代理模块通信；若端点代理模块若与端点管理器通信，则端点管理器接收到数据采集指令后，从端点管理器中获取采集地址中的数据。
[0008]优选地，命令集群模块包括上行命令单元和下行命令单元；上行命令单元与代理管理单元通信，用于接收代理管理单元中的数据采集指令；下行命令单元与端点代理模块通信，用于将数据采集指令发送给端点代理模块。
[0009]优选地，端点代理模块还用于接收到数据采集指令后，根据获取设备数据的结果向下行命令单元反馈指令配置完成情况，所述指令配置完成情况包括配置成功或配置失败；上行命令单元还用于将指令配置完成情况发送给代理管理单元。
[0010]优选地，转换单元还用于将采集数据进行协议转换处理后，以Json格式数据存储或转发至目标地址中。
[0011]优选地，端点代理模块内的线程包括IOTClient、MQTTClient、EMQXClient、HTTPClient和modbusCclient。
[0012]优选地，所述数据采集指令还包括数据采集频率和数据清洗规则；端点代理模块接收到数据采集指令后，按照数据采集频率获取采集地址中的数据，并按照数据清洗规则进行清洗后得到采集数据。
[0013]优选地，所述数据处理模块中设置的协议转换器的数量大于一。
[0014]本专利技术还提供一种基于分布式的工业设备数据处理方法，使用上述基于分布式的工业设备数据处理系统，包括以下步骤：S1、在代理管理单元中设置数据采集指令，所述数据采集指令包括采集地址和转换ID；并将数据采集指令发送给命令集群模块；S2、命令集群模块将数据采集指令发送给采集地址对应的端点代理模块；S3、端点代理模块获取采集地址中的数据作为采集数据，并调用与采集数据的协议相对应的线程，将采集数据与对应的转换ID一起发送给数采集群模块；S4、数采集群将端点代理模块发送的采集数据发送给对应转换ID的转换单元；S5、转换单元将接收到的采集数据进行协议转换处理后，以Json格式数据存储或转发至目标地址中。
[0015]优选地，S1中，所诉数据采集指令还包括数据采集频率和数据清洗规则；S3中，端点代理模块按数据采集频率获取采集地址中的数据，并按照数据清洗规则进行数据清洗后得到采集数据。
[0016]本专利技术与现有技术相比，具有如下有益效果：1．与现有技术直接将各种协议的数据全部采集到服务器内，再在服务器内调用不同的线程传输到转换单元进行转换相比，本申请在采集数据的时候，就已经将采集数据用对应的线程进行了分配，服务器不需要再将数据进行筛分并调用不同协议线程，直接将接受到的数据进行协议转换处理即可。与现有技术相比，可以有效的降低服务器的压力。
[0017]2．本系统通过代理管理单元配置数据采集指令时，就已经配置了采集数据对应的
转换单元的转换ID，采集数据传输到数采集群后，直接将该传输给该转换ID的转换单元即可，可以合理的使用各转换单元的转换效能，同时可以提高数据的转换效率。
[0018]3．数据处理模块中设置的协议转换器的数量大于一，这种基于集群开发的协议转换器，在一个协议转换器宕机情况下，可切换至另一个协议转换器中，保障数据处理的高可用性。
[0019]4．本方案中的端点代理模块不仅可以获取直连装置和直连网关端中的设备数据，通过端点管理器的设置，端点代理模块还可以直接获取子网网关的网段内的设备数据。获取设备数据的途径多样且效率较高。
[0020]5.通过命令集群模块将指令配置完成情况反馈给代理管理单元，当数据采集指令配置失败时，工作人员可以及时了解情况。
[0021]6. 转换单元将采集数据进行协议转换处理后，可以根据具体的需求直接存储或转发至目标地址中进行后续操作。
[0022]7．数据采集指令还包括数据采集频率和数据清洗规则，可以根据设备数据的实际情况以及对设备数据的实际需求情况，设置具体的采集频率及数据清洗规则，从而保证获取到的设备数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于分布式的工业设备数据处理系统，其特征在于：包括端点代理模块、命令集群模块、数采集群模块和数据处理模块；端点代理模块集成在被采集端，所述被采集端包括直连装置端和直连网关端；数据处理模块中设置有协议转换器；协议转换器中设置有代理管理单元和多个转换单元，每个转换单元均有唯一的转换ID；代理管理单元用于设置数据采集指令并发送给命令集群模块，所述数据采集指令包括采集地址和转换ID；命令集群模块用于将接收到的数据采集指令发送给采集地址对应的端点代理模块；端点代理模块内设置有多个不同协议的线程；端点代理模块用于接收到数据采集指令后，获取采集地址中的数据作为采集数据，并调用与采集数据的协议相对应的线程，将采集数据与对应的转换ID一起发送给数采集群模块；数采集群模块用于将端点代理模块发送的采集数据发送给对应转换ID的转换单元；转换单元用于将接收到的采集数据进行协议转换处理。2.如权利要求1所述的基于分布式的工业设备数据处理系统，其特征在于：所述被采集端还包括子网网关；所述子网网关的网段内包括多个中转网关及直连的设备，所述中转网关连接有设备，中转网关用于将连接的设备的数据发送给子网网关；还包括端点管理器，端点管理器集成在子网网关，用于管理子网网关的网段内的设备数据；端点管理器内构建有多个线程池，各线程池分别与子网网段内各设备的数据协议相对应；同一子网网关中的端点管理器与端点代理模块通信；若端点代理模块若与端点管理器通信，则端点管理器接收到数据采集指令后，从端点管理器中获取采集地址中的数据。3.如权利要求1所述的基于分布式的工业设备数据处理系统，其特征在于：命令集群模块包括上行命令单元和下行命令单元；上行命令单元与代理管理单元通信，用于接收代理管理单元中的数据采集指令；下行命令单元与端点代理模块通信，用于将数据采集指令发送给端点代理模块。4.如权利要求3所述的基于分布式的工业设备数据处理系统，其特征在于：端点代理模块还用于接收到数据采集指令后，根据获取设备数据的结果向下行命令单元反馈指令配置完成情...

【专利技术属性】
技术研发人员：巩书凯，陈虎，卢仁谦，梁先黎，王艺谚，
申请(专利权)人：重庆忽米网络科技有限公司，
类型：发明
国别省市：