【技术实现步骤摘要】
本专利技术涉及数据采集处理，具体为一种基于标识的数据采集系统及数据解析方法。
技术介绍
1、数据采集从而实现全方面数字管理成为主流需求。如何实现数据的共享，数据采集的高性能，进而提取核心价值是企业信息化建设的关键。
2、一般的数据采集系统对数据直接采集，不能对数据进行标识，从而不能确保数据的准确性和一致性，而且直接对数据进行采集容易导致数据的泄露，数据的安全性存在一定的隐患，不能满足人们需要，因此提出一种基于标识的数据采集系统及数据解析方法来解决此类问题。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本专利技术提供了一种基于标识的数据采集系统及数据解析方法，主要为解决一般的数据采集系统对数据直接采集，不能对数据进行标识，从而不能确保数据的准确性和一致性，而且直接对数据进行采集容易导致数据的泄露，数据的安全性存在一定的隐患，不能满足人们需要的问题。
3、(二)技术方案
4、为实现上述目的，本专利技术提供如下技术方案：
5、一种基于标识的数据采集系统，包括系统模块总成，所述系统模块总成包括网关配置模块、元数据设置模块、数据管理模块、网关标识模块，所述网关配置模块与元数据设置模块相连接，且其与网关设备通过数据线相连接，元数据设置模块对网关设备及其踩点进行元数据定义配置，所述网关标识模块对元数据设置模块和网关配置模块的数据进行标识，并利用标识信息识别网关，所述网关标识模块与数据管理模块相连接，网关标识模块利用标
6、进一步的，所述元数据设置模块可以自定义元数据定义，且支持多种数据格式和协议的解析。
7、在前述方案的基础上，所述网关标识模块包括追溯模块，支持多种数据格式和协议的解析。
8、作为本专利技术进一步的方案，所述系统模块总成包括云服务数据仓库，通过云服务数据仓库，流式处理，时间驱动的方式构建一个高效、可扩展且响应迅速的数据采集与分析方案，通过整合云服务数据仓库、流数据处理系统和事件驱动架构实现。
9、在前述方案的基础上，所述云服务数据仓库的集成能力允许将来自不同源的数据进行标准化处理，形成统一的数据视图，从而减少数据冗余并提高数据一致性。
10、本专利技术还提出一种基于标识的数据解析方法，包括以下步骤：
11、s1：网关标识，利用标识信息识别网关，并从网关中读取设备运行数据，标识数据，利用标识系统永久记录设备运行核心数据；
12、s2：消息采集，通过消息中间件对数据进行采集和处理；
13、s3：数据解析，通过数据解析插件对采集的数据进行解析，通过识别网关标识使用策略模式动态加载数据解析插件从而灵活高效的实现数据解析。
14、作为本专利技术进一步的方案，所述s2中包括数据处理模块，数据处理模块提升了处理大量数据的效率，从而优化了数据处理的速度。
15、进一步的，所述s2中引入流数据处理系统，对数据进行初步的清洗、聚合和转换，为后续的存储和分析做好准备。
16、在前述方案的基础上，所述s3中包括事件驱动架构(eda)作为整个方案的协调中枢。
17、(三)有益效果
18、与现有技术相比，本专利技术提供了一种基于标识的数据采集系统及数据解析方法，具备以下有益效果：
19、1、本专利技术通过永久记录企业设备运行的核心数据资产，为企业的数据战略规划和长期管理提供了有力支持，元数据设置模块可以自定义元数据定义，且支持多种数据格式和协议的解析，使得系统能够适应多变的应用场景和需求。
20、2、本专利技术系统通过精确的标识技术确保了数据的准确性和一致性，为数据分析和决策提供了坚实的基础，其次，标识系统的应用显著增强了数据的安全性，有效防止了未授权访问和数据泄露的风险。
21、3、本专利技术通过网关标识模块，支持多种数据格式和协议的解析，提升了数据的可追溯性，使得数据的来源和流转过程可以被轻松追溯，这对于审计、故障排查和性能优化等都是非常有益的，系统支持多种数据格式和协议的解析，使其适用于更广泛的工业和商业环境。
本文档来自技高网...【技术保护点】
1.一种基于标识的数据采集系统，包括系统模块总成，其特征在于，所述系统模块总成包括网关配置模块、元数据设置模块、数据管理模块、网关标识模块，所述网关配置模块与元数据设置模块相连接，且其与网关设备通过数据线相连接，元数据设置模块对网关设备及其踩点进行元数据定义配置，所述网关标识模块对元数据设置模块和网关配置模块的数据进行标识，并利用标识信息识别网关，所述网关标识模块与数据管理模块相连接，网关标识模块利用标识信息识别网关，并从网关中读取设备运行数据，标识数据，利用标识系统永久记录设备运行核心数据资产并上传至数据管理模块，用户使用数据管理模块配置数采相关元数据，触发网关进行数据采集。
2.根据权利要求1所述的一种基于标识的数据采集系统，其特征在于，所述元数据设置模块可以自定义元数据定义，且支持多种数据格式和协议的解析。
3.根据权利要求1所述的一种基于标识的数据采集系统，其特征在于，所述网关标识模块包括追溯模块，支持多种数据格式和协议的解析。
4.根据权利要求1所述的一种基于标识的数据采集系统，其特征在于，所述系统模块总成包括云服务数据仓库，通过云服
5.根据权利要求4所述的一种基于标识的数据采集系统，其特征在于，所述云服务数据仓库的集成能力允许将来自不同源的数据进行标准化处理，形成统一的数据视图，从而减少数据冗余并提高数据一致性。
6.一种基于标识的数据解析方法，其特征在于，包括以下步骤：
7.根据权利要求6所述的一种基于标识的数据解析方法，其特征在于，所述S2中包括数据处理模块，数据处理模块提升了处理大量数据的效率，从而优化了数据处理的速度。
8.根据权利要求6所述的一种基于标识的数据解析方法，其特征在于，所述S2中引入流数据处理系统，对数据进行初步的清洗、聚合和转换，为后续的存储和分析做好准备。
9.根据权利要求6所述的一种基于标识的数据解析方法，其特征在于，所述S3中包括事件驱动架构(EDA)作为整个方案的协调中枢。
...【技术特征摘要】
1.一种基于标识的数据采集系统，包括系统模块总成，其特征在于，所述系统模块总成包括网关配置模块、元数据设置模块、数据管理模块、网关标识模块，所述网关配置模块与元数据设置模块相连接，且其与网关设备通过数据线相连接，元数据设置模块对网关设备及其踩点进行元数据定义配置，所述网关标识模块对元数据设置模块和网关配置模块的数据进行标识，并利用标识信息识别网关，所述网关标识模块与数据管理模块相连接，网关标识模块利用标识信息识别网关，并从网关中读取设备运行数据，标识数据，利用标识系统永久记录设备运行核心数据资产并上传至数据管理模块，用户使用数据管理模块配置数采相关元数据，触发网关进行数据采集。
2.根据权利要求1所述的一种基于标识的数据采集系统，其特征在于，所述元数据设置模块可以自定义元数据定义，且支持多种数据格式和协议的解析。
3.根据权利要求1所述的一种基于标识的数据采集系统，其特征在于，所述网关标识模块包括追溯模块，支持多种数据格式和协议的解析。
4.根据权利要求1所述的一种基于标识的数据采集系统，其特征...
【专利技术属性】
技术研发人员：韩成建，郑脊萌，许伟娟，黄羿衡，
申请(专利权)人：江苏苏云信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。