用于工业实时数据的高并发采集方法技术

本公开提供一种用于工业实时数据的高并发采集方法，包括以下步骤：确定采集设备的配置，并将配置信息传输至采集服务器；基于配置信息，采集服务器合并采集点表，并设置采集任务；采集服务器为每一个采集设备启用一个并发体，采集数据；基于配置信息，采集服务器拆分采集数据，并对采集数据进行预处理操作；采集服务器将数据存储至服务器端。

【技术实现步骤摘要】
用于工业实时数据的高并发采集方法
本公开涉及一种用于工业实时数据的高并发采集方法。
技术介绍
现有工业物联网数据采集主要以数据采集与监控(SupervisoryControlAndDataAcquisition，缩写为SCADA)系统为主，通常是指有监控程序及数据收集能力的电脑控制系统。通常，SCADA系统通过与远程终端控制单元(RTU)或者可编程逻辑控制器（PLC）建立连接进行数据采集。但是单个SCADA系统的数据采集点少，在采集点万点级别数据的实时性无法保证。
技术实现思路
为了解决至少一个上述技术问题，本公开提供一种用于工业实时数据的高并发采集方法。根据本公开的一个方面，用于工业实时数据的高并发采集方法，包括以下步骤：确定采集设备的配置，并将配置信息传输采集服务器；基于所述配置信息，所述采集服务器合并点表后，设置采集任务；所述采集服务器为每一个所述采集设备启用一个并发体，采集数据；基于所述配置信息，所述采集服务器，对上述合并点表进行拆分，并对采集数据进行预处理操作；所述采集服务器将已进行过预处理操作的数据存储至服务器端。根据本公开的至少一个实施方式，采集设备包括：远程终端单元（RemoteTerminalUnit，缩写为RTU）、可编程逻辑控制器（ProgrammableLogicController，缩写为PLC）、数据传输单元（DataTransferunit，缩写为DTU）和具备网络传输功能的传感器。根据本公开的至少一个实施方式，配置信息包括：所述远程终端单元的配置信息，包括IP、端口、采集区域、采集起始地址、采集长度、预处理表达式；所述可编程逻辑控制器的配置信息，包括IP、端口、机架号、槽号、连接类型、采集点、预处理表达式；所述数据传输单元的配置信息，包括所述数据传输单元的唯一标识、采集点、预处理表达式；所述传感器的配置信息，包括所述传感器的唯一标识。根据本公开的至少一个实施方式，基于所述配置信息，所述采集服务器合并点表后，设置采集任务的步骤，包括：所述节点服务器的根据采集数据长度，采集有效数据比例、数据区域类型要求等初始设置，确定单包请求数据长度；基于所述单包请求数据长度，所述采集服务器在单包请求数据长度小于最大请求长度时，将点表合并为一个请求数据包；在单包请求长度大于最大请求长度时，将点表合并为多个请求数据包；基于所述合并后的请求数据包，所述采集服务器将每一个请求数据包设置为一个采集任务。一个采集设备对应多个采集任务。根据本公开的至少一个实施方式，所述采集服务器为每一个所述采集设备启用一个并发体，采集数据的步骤，包括：所述采集服务器与采集设备建立连接，此连接为一个采集通道即为一个并发体，每个采集设备对应一个并发体；基于所述并发体，所述采集服务器以轮询方式执行所述采集设备下对应所述采集任务，并返回实时数据包。根据本公开的至少一个实施方式，基于所述配置信息，所述采集服务器，对上述合并点表进行拆分，并对采集数据进行预处理操作的步骤，包括：所述采集服务器将返回的实时数据，根据所述配置信息进行拆包处理，为每个采集点返回原始实时数据；所述采集服务器，根据所述预处理操作，对原始实时数据进行预处理操作，返回具有实际意义的实时数据。根据本公开的至少一个实施方式，所述采集服务器将所述已进行过预处理操作的数据存储至所述服务器端。根据本公开的至少一个实施方式，对采集数据进行大小端编码或者四则运算及小数位数设定处理。根据本公开的至少一个实施方式，每一个采集设备对应一项或多项采集任务，每一个采集并发体承担至少一项采集任务。根据本公开的至少一个实施方式，服务器端由至少一台服务器组成。根据本公开的至少一个实施方式，确定配置信息的依据，包括采集设备的通信协议。附图说明附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。图1是本公开具体实施方式的用于工业实时数据的高并发采集方法的流程示意图。具体实施方式下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。在本公开的一个可选实施方式中，用于工业实时数据的高并发采集方法包括以下步骤：1）根据各个采集设备的通信协议，确定采集设备的各项配置，并将配置信息存储至采集服务器。采集设备包括：远程终端单元（RTU）、可编程逻辑控制器（PLC）、数据传输单元（DTU）、具备网络传输功能或支持MQTT（MessageQueuingTelemetryTransport，消息队列遥测传输）协议的传感器和其他用于工业的智能终端。采集设备的配置信息包括：RTU的配置信息，包括IP、端口、采集区域、采集起始地址、采集长度、预处理表达式等采集数据时所需要的信息；PLC的配置信息，包括IP、端口、机架号、槽号、连接类型、采集点、预处理表达式等采集数据时所需要的信息；DTU的配置信息，包括该设备的唯一标识、采集点、预处理表达式等采集数据时所需要的信息；传感器的配置信息，包括传感器的唯一标识，例如IP、端口、其他具有唯一性标识的字符串。上述配置信息是传感器和位于远程的RTU及其他传输设备，采集或接收数据所需的必要参数。不同的采集设备采用的通信协议不同，则所需的配置也不同，但其目的一般均是用于采集设备的网络定位及确定采集点。基于上述配置信息，采集服务器可以合并点表后设置采集任务。2）采集服务器为每一个所述采集设备启用一个并发体，采集数据。首先，采集服务器接收并统计各个采集设备的配置信息。采集服务器根据采集设备连接信息，与采集设备建立采集通道。每一个采集设备对应一个并发体。每个并发体存在多个采集任务，在并发体内部，对所属采集任务进行轮询执行，并返回实时数据原始信息，这些信息存储在每个采集任务中。3）采集服务器根据采集任务进行数据采集，将数据拆分至各采集点，并对采集数据进行预处理操作后，存储至服务器端。根据每个采集设备下配置信息，将采集到数据分配给每个采集点，并对进行预处理操作，包括对数据进行加减乘除、大小端设置等。然后将数据存储至服务器。下面以具体示例详细说明本公开技术方案。用于工业实时数据的高并发采集的采集设备配置为10000台,分别为P1、P2、…、P10000,假设每个采集设备所采用的配置基本相同；服务器端配置1台服务器S1。每个采集设备的配置参数值见下表1：表1采集设备P1的配置参数采集设备点名起始地址长度预处理表达式寄存器类型P1PT1400011X保持寄存器P1PT2400081((X*10-8)/2)$2保持寄存器P1PT3400101X保持寄存器P1PT4410001X保持寄存器P1PT5410012Lf(X)保持寄存器首先，根据上述每个采集设备的通信协议，确定每个采集设备的配置，将这些配置信息统一传输至S1。S1接收并统计这些配置信息，基于这些配置信息，S1根据基础设置，将40001至40010合并为一个数本文档来自技高网...

【技术保护点】
1.一种用于工业实时数据的高并发采集方法，其特征在于，包括以下步骤：确定采集设备的配置，并将配置信息传输采集服务器；基于所述配置信息，所述采集服务器合并点表后，设置采集任务；所述采集服务器为每一个所述采集设备启用一个并发体，采集数据；基于所述配置信息，所述采集服务器，对上述合并点表进行拆分，并对采集数据进行预处理操作；所述采集服务器将已进行过预处理操作的数据存储至服务器端。

【技术特征摘要】
1.一种用于工业实时数据的高并发采集方法，其特征在于，包括以下步骤：确定采集设备的配置，并将配置信息传输采集服务器；基于所述配置信息，所述采集服务器合并点表后，设置采集任务；所述采集服务器为每一个所述采集设备启用一个并发体，采集数据；基于所述配置信息，所述采集服务器，对上述合并点表进行拆分，并对采集数据进行预处理操作；所述采集服务器将已进行过预处理操作的数据存储至服务器端。2.根据权利要求1所述的采集方法，其特征在于，所述采集设备包括：远程终端单元（RemoteTerminalUnit，缩写为RTU）、可编程逻辑控制器（ProgrammableLogicController，缩写为PLC）、数据传输单元（DataTransferunit，缩写为DTU）和具备网络传输功能的传感器。3.根据权利要求2所述的采集方法，其特征在于，所述配置信息包括：所述远程终端单元（RTU）的配置信息，包括IP、端口、采集区域、采集起始地址和采集长度、预处理表达式；所述可编程逻辑控制器（PLC）的配置信息，包括IP、端口、机架号、槽号、连接类型、采集点、预处理表达式；所述数据传输单元（DTU）的配置信息，包括所述数据传输单元的唯一标识、采集点、预处理表达式；所述传感器的配置信息，包括所述传感器的唯一标识。4.根据权利要求3中所述采集方法，其特征在于，所述预处理表达式是对实时数据进行运算逻辑的预见性定义，实时数据以占位符形式出现在表达式中；所述运算逻辑包括数据大小端解析，整形，浮点，布尔型解析，并包括加减乘除四则运算及每一步骤涉及的浮点型小数点保留位数的设定。5.根据权利要求1至3中任一项所述的采集方法...

【专利技术属性】
技术研发人员：向安宇，
申请(专利权)人：北京天安智慧信息技术有限公司，
类型：发明
国别省市：北京,11