一种基于Kafka高并发数据采集与分发的边缘系统技术方案

本申请实施例提出了一种基于Kafka高并发数据采集与分发的边缘系统，包括：业务类型管理模块、Kafka模块、边缘计算网关、数据缓存功能；业务类型管理模块，连接EIP云平台，以将EIP云平台的任务拆解为一种或多种试验数据采集任务，将采集任务消息发送至Kafka模块；Kafka模块连接多个终端通信系统，以根据终端通信系统支持的协议生成采集任务服务；边缘计算网关，用于对数据进行处理；该处理包括以下的至少一项：识别、清洗、标签、关联；数据缓存功能，连接所述Kafka模块；其中，该数据缓存功能采用轻量级数据表SQLLite、内存缓存映射表Redis，用于对产生的的实时的巨量噪音数据进行缓存。用于对产生的的实时的巨量噪音数据进行缓存。用于对产生的的实时的巨量噪音数据进行缓存。

【技术实现步骤摘要】
一种基于Kafka高并发数据采集与分发的边缘系统


[0001]本专利技术涉及电力系统的信息技术处理领域，具体涉及电工装备行业数据处理，以通过物联网边缘计算技术实现对电工装备行业的数据进行处理。

技术介绍

[0002]电力系统是国家运行的基础，是现代生活无法缺失的一部分；一旦电力系统由任何问题，都会对整个社会的生产生活造成巨大的影响。一旦电力系统发生任何故障，人类社会将会彻底进入黑暗状态，所以保持电力通常是政府最应该首先解决的问题。近年来，随着我国智能电网高速建设，对整个电力系统的自动化要求也越来越高。
[0003]为满足对电工装备实时监造和质量监督的需要，需要对物资种类的生产制造和检验试验数据进行实时传输。电工装备业务面向的主体具有专业独特性，物资数据具有品类多样、生产工艺不一、关键数据采集类型和结果复杂的特性，尤其是不同生产工艺的电工装备数据更需要结合其生产过程进行评判和分析，并且随着各工厂侧终端的不断接入，必将不断产生海量、异构、多源的复杂数据，传统的云计算架构难以满足数据处理和前端服务的高效实时需求，海量数据集中接入极易造成网络拥塞。

技术实现思路

[0004]本申请提供了一种基于Kafka高并发数据采集与分发的边缘计算系统，能够通过对电工装备企业生产车间的生产制造和检验试验数据的采集、缓存、存储、汇集等处理，以实现对电工装备企业的数据的准确且实时的处理，以提高数据处理的时效性和准确性。
[0005]为了达到上述目的，本申请实施例提出了一种基于Kafka高并发数据采集与分发的边缘计算系统，包括：业务类型管理模块、Kafka模块、边缘计算网关、数据缓存功能；其中，业务类型管理模块，连接EIP云平台，以将EIP云平台的任务拆解为一种或多种试验数据采集任务，将采集任务消息发送至Kafka模块；Kafka模块，连接多个终端通信系统，以根据终端通信系统支持的协议生成采集任务服务，并下发给对应的终端通信系统；
[0006]边缘计算网关，用于对数据进行处理；该处理包括以下的至少一项：识别、清洗、标签、关联；
[0007]数据缓存功能，连接所述Kafka模块；其中，该数据缓存功能采用轻量级数据表SQLLite、内存缓存映射表Redis，用于对产生的的实时的巨量噪音数据进行缓存，以在进行持久化存储前，采用基于SG
‑
RDB
‑
PG数据库的分布式存储架构搭建的数据仓库对数据进行清洗、降噪，筛选出实时有效的数据进行持久化存储。
[0008]进一步的，所述边缘计算网关用于对从采集对象采集到的数据进行预处理；
[0009]其中，所述从采集对象采集到的数据包括以下的至少一个：生产设备数据、试验数据、供应商MES数据、供应商ERP数据；
[0010]其中，所述预处理包括以下的至少以下的至少一项：
[0011]对脏数据进行数据清洗以保障数据一致性及完整性；
[0012]对各品类的数据进行标签化处理以关联对应的业务和生产数据，以提供品类生产时序数据库服务、生产事件库服务和生产信息模型服务；以及
[0013]可靠性管理服务，用于对数据采集的报警管理，以对采集的数据进行报警分析，并对报警信息进行追踪以掌握报警设备信息。
[0014]进一步的，还包括：业务类型管Spring Cloud Sleuth框架理模块，其中所述业务类型管理模块连接所述EIP云平台和Kafka模块；其中所述业务类型管理模块用于执行以下操作：
[0015]认证服务，用于对请求进行认证服务；
[0016]授权服务，用于对请求进行鉴权服务；
[0017]品类管理服务，用于管理品类类型和采集任务。
[0018]进一步的，还包括：服务检测功能；其中所述服务检测功能采用Spring Cloud Sleuth框架，以对数据采集、分发和存储业务服务进行跟踪。
[0019]进一步的，还包括：处理模块，其中所述处理模块为基于Zipkin技术的组件，所述处理模块用于对跟踪数据进行分析存储和查询展现。
[0020]本申请的上述技术方案的有益效果如下：上述技术方案提出了一种基于Kafka高并发数据采集与分发的边缘计算系统，使用Kafka实现了数据采集、品类管理等服务之间的解耦。使用采用轻量级数据表SQLLite、内存缓存映射表Redis对产生的的实时的巨量噪音数据进行缓存，以提高边缘计算网关的采集效率。针对识别、清洗、标签、关联等处理和预分析等处理，采用了基于SG
‑
RDB
‑
PG数据库的分布式存储架构搭建数据仓库，进行数据的存储和清理。为了实现各边缘计算网关数据挖掘等规则的统一管理，实现了策略管理功能，达到各边缘计算网关统一获取数据读取、过滤能规则。
附图说明
[0021]图1为本申请实施例的基于Kafka高并发数据采集与分发的边缘计算系统的流程示意图。
具体实施方式
[0022]为使本申请要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
[0023]本申请的实施例提出了一种基于Kafka高并发数据采集与分发的边缘系统，利用了边缘计算(EdgeComputing,EC)技术，以实现对电工装备企业的数据的准确且实时的处理，以提高数据处理的时效性和准确性。其中边缘计算是一种分散式运算的架构，将应用程序、数据资料与服务的运算，由网络中心节点，移往网络逻辑上的边缘节点来处理。边缘运算将原本完全由中心节点处理大型服务加以分解，切割成更小与更容易管理的部分，分散到边缘节点去处理。边缘节点更接近于用户终端装置，可以加快资料的处理与传送速度，减少延迟。在这种架构下，资料的分析与知识的产生，更接近于数据资料的来源，因此更适合处理大数据。在物联网、云计算、人工智能等信息新技术迅猛发展而产生的新型计算范式，通过在物端或靠近数据源的网络边缘侧，部署具有计算、存储、网络、应用等开放能力的边缘计算节点，把云中心计算能力下沉并就近提供边缘智能服务，大幅提升应用系统的处理
效率和响应时间，减少网络数据传输负载与资源占用，同时满足业务应用在实时性、可靠性、安全性等方面的各种需求。但由于工业物联网的场景及数据的复杂性，目前边缘计算在此领域的应用还不太完善，大多只是针对一到两个方面，很少实现健全和功能完善的系统。
[0024]近年来，国家电网公司加快打造具有全球竞争力的世界一流能源互联网企业的战略部署，贯彻公司“三型两网”战略，落实泛在电力物联网建设。为满足国家电网公司对电工装备实时监造和质量监督的需要，作为电工装备供应商，需要对国网公司要求的物资种类的生产制造和检验试验数据进行实时传输。电工装备业务面向的主体具有专业独特性，物资数据具有品类多样、生产工艺不一、关键数据采集类型和结果复杂的特性，尤其是不同生产工艺的电工装备数据更需要结合其生产过程进行评判和分析，并且随着各工厂侧终端的不断接入，必将不断产生海量、异构、多源的复杂数据，传统的云计算架构难以满足数据处理和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kafka高并发数据采集与分发的边缘系统，其特征在于，包括：业务类型管理模块、Kafka模块、边缘计算网关、数据缓存功能；其中，业务类型管理模块，连接EIP云平台，以将EIP云平台的任务拆解为一种或多种试验数据采集任务，将采集任务消息发送至Kafka模块；Kafka模块，连接多个终端通信系统，以根据终端通信系统支持的协议生成采集任务服务，并下发给对应的终端通信系统；边缘计算网关，用于对数据进行处理；该处理包括以下的至少一项：识别、清洗、标签、关联；数据缓存功能，连接所述Kafka模块；其中，该数据缓存功能采用轻量级数据表SQLLite、内存缓存映射表Redis，用于对产生的的实时的巨量噪音数据进行缓存，以在进行持久化存储前，采用基于SG
‑
RDB
‑
PG数据库的分布式存储架构搭建的数据仓库对数据进行清洗、降噪，筛选出实时有效的数据进行持久化存储。2.根据权利要求1所述的系统，其特征在于，所述边缘计算网关用于对从采集对象采集到的数据进行预处理；其中，所述从采集对象采集到的数据包括以下的至少一个：生产设备数据、试验数据、供应商MES数据、...

【专利技术属性】
技术研发人员：刘银芳，
申请(专利权)人：北京许继电气有限公司，
类型：发明
国别省市：