一种工业数据汇集与处理系统及其处理方法技术方案

本发明专利技术公开了一种工业数据汇集与处理系统及其处理方法，系统包括数据中心平台和数据感知节点；数据感知节点包括工业现场数据感知模块和第三方软件系统数据感知模块；数据中心平台包括数据平台数据队列、数据清洗模块、元数据存储模块、数据聚合模块、聚合数据存储模块、数据对象构建模块和数据对象存储模块。本发明专利技术通过数据感知节点对各种软硬件系统数据统一采集，再通过分布数据队列将物理上不同空间、不同协议、不同类型的数据汇集到数据平台数据队列，另外通过数据清洗、数据聚合和数据存储，实现数据统一的处理方法，打破现有不同系统间数据共享使用的瓶颈，大大提高工业数据综合使用分析效率，为工业制造向数据化、智能化发展提供数据基础。

An industrial data collection and processing system and its processing methods

The invention discloses an industrial data collection and processing system and method, system including data center platform and data sensor nodes; data nodes including industrial data sensing module and data of third party software perception module; data center platform including data platform, data queue data cleaning module, metadata storage module, data aggregation module polymerization, data storage module, data object module and data storage module object construction. The invention of the data through the data node hardware and software system of unified collection, through the distribution of data queue will be physically different space, different protocols and different types of data collection to the data platform of data queue, also through data cleaning, data aggregation and data storage, data processing to achieve the unified, break the existing between different systems. The use of data sharing bottleneck, greatly improve the comprehensive use efficiency of industrial data analysis, provide the data base for the manufacturing industry to the data and intelligence.

【技术实现步骤摘要】
一种工业数据汇集与处理系统及其处理方法
本专利技术涉及一种工业数据汇集与处理系统及其处理方法。
技术介绍
随着工业制造水平的不断发展，一方面，越来越多的设备由自动化向数字化进行发展，另一方面，越来越多的信息化软件系统被应用到工业生产中，因此工业数据逐步成为工业生产活动中的核心。目前，现有的工业数据，往往是存在于单一软件系统或者单一设备当中，数据的流动只能在单个软件系统或者单个设备当中，这种数据烟囱架构，严重阻碍工业数据的在不同系统不同设备之间的流转，使得对工业数据的分析具有很大的局限性。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种工业数据汇集与处理系统及其方法，将包括软件系统和硬件系统的生产要素、过程和结果数据通过统一的数据处理架构进行数据处理，从而在数据这个层面打破不同系统间的隔离。本专利技术的目的是通过以下技术方案来实现的：一种工业数据汇集与处理系统，包括数据中心平台和数据感知节点；所述的数据感知节点包括工业现场数据感知模块和第三方软件系统数据感知模块；所述的工业现场数据感知模块实现对工业现场设备的参数和状态数据的监控，同时实现与数据中心平台进行数据交互；所述的第三方软件系统数据感知模块实现对第三方软件系统的数据同步，将数据导入到数据中心平台；所述的工业现场数据感知模块和第三方软件系统数据感知模块均包括分布式数据队列；所述的数据中心平台包括数据平台数据队列、数据清洗模块、元数据存储模块、数据聚合模块、聚合数据存储模块、数据对象构建模块和数据对象存储模块；所述的数据平台数据队列实现对数据感知节点的数据的汇集作用，通过存储缓存机制，将数据进行缓存，供数据清洗模块进行数据调用处理；所述的数据清洗模块调用数据平台数据队列中缓存的原始数据，使用预先定义的数据处理算法对数据进行清洗和预处理，得到元数据；所述的元数据存储模块用于将数据清洗后得到的元数据进行全量数据存储操作；所述的数据聚合模块通过获取数据平台数据队列中的缓存数据或者数据清洗后的元数据，针对特定的时间范围，使用预先定义的数据抽取算法抽取部分数据来模拟样本数据，为后续数据的高级应用提供数据基础，并存储至聚合数据存储模块；所述的数据对象构建模块用于通过一定的组合关系将多个元数据封装为一个数据实体，并将数据实体作为数据对象存储至数据对象存储模块。进一步地，所述的工业现场数据感知模块包括：工业现场数据监控单元：针对不同工业现场总线协议，提供对底层设备数据的读写操作，通过可视化图形实现对包括设备状态、工业参数在内的信息的显示与控制；第一分布式数据队列：提供现场数据与数据中心平台数据队列的数据同步服务；所述的第三方软件系统数据感知模块包括：数据同步服务单元：通过特定的策略，周期式或者触发式从第三方软件系统中读取数据，并将数据存储到分布式数据队列单元；第二分布式数据队列：提供软件数据与数据中心平台数据队列的数据同步服务。进一步地，所述的第一分布式数据队列单元部署的工厂或者车间为本地或者异地。进一步地，所述的工业现场数据监控单元采集的数据包括控制器数据、PLC数据、传感器数据和设备数据。进一步地，所述的数据清洗模块中的预处理包括数据协议转换、数据格式转换、数据四则运算、多个数据协同运算、极值分析、均值分析。进一步地，所述的数据聚合模块中的数据抽取包括对极值和均值的数据抽取。所述系统的处理方法，包括以下步骤：S1：数据感知节点进行数据感知，获取到数据后进入步骤S2；S2：数据感知节点的分布式数据队列进行数据存储，进入步骤S3；S3：判断是否触发分布式数据队列与数据平台数据队列的数据同步服务，如果是则进入步骤S4；S4：数据平台数据队列进行数据存储，完成后进入步骤S5；S5：判断是否触发进行数据清洗操作，如果是则进入步骤S6，否则进入步骤S7；S6：执行数据清洗，完成后进入步骤S7；S7：形成元数据，判断是否触发进行元数据存储，如果是则进入步骤S8，否则进入步骤S9；S8：将元数据进行存储，完成后进入步骤S9；S9：判断是否触发进行数据聚合，如果是则进入步骤S10，否则进入步骤S13；S10：执行数据聚合操作，完成后进入步骤S11；S11：判断是否触发进行聚合数据存储，如果是则进入步骤S12,否则进入步骤S13；S12：执行聚合数据存储，完成后进入步骤S13;S13：判断是否触发构建数据对象，如果是则进入步骤S14,否则进入步骤S17；S14:执行构建数据对象操作，完成后进入步骤S15；S15：判断是否触发进行数据对象存储，如果是，则进入步骤S16,否则进入步骤S17；S16：执行数据对象存储操作，完成后进入步骤S17；S17：结束。本专利技术的有益效果是：本专利技术通过数据感知节点实现对各种软硬件系统数据的统一采集，之后通过分布数据队列，将物理上不同空间、不同协议、不同类型的数据汇集到数据平台数据队列，另外，通过数据清洗、数据聚合和数据存储，实现数据统一的处理方法，打破现有系统的数据孤岛，打破现有不同系统间数据共享使用的瓶颈，大大提高工业数据综合使用分析效率，为工业制造向数据化、智能化发展提供数据基础。附图说明图1为本专利技术结构方框图；图2为本专利技术方法流程图。具体实施方式下面结合附图进一步详细描述本专利技术的技术方案：如图1所示，一种工业数据汇集与处理系统，包括数据中心平台和数据感知节点；其中，数据中心平台在架构中，具有唯一性，实现数据汇集和处理流程，数据感知在架构中，根据数据的分布，可以部署若干多个数据感知子系统。具体地：所述的数据感知节点包括工业现场数据感知模块和第三方软件系统数据感知模块；所述的工业现场数据感知模块实现对工业现场设备的参数和状态数据的监控，同时实现与数据中心平台进行数据交互；所述的第三方软件系统数据感知模块实现对第三方软件系统的数据同步，将数据导入到数据中心平台；所述的工业现场数据感知模块和第三方软件系统数据感知模块均包括分布式数据队列；具体地，数据感知节点分为工业现场数据感知和第三方软件系统数据感知。现场数据感知，包括工业现场数据监控和分布式数据队列，工业现场数据监控，主要针对不同工业现场总线协议，提供对底层设备数据的读写操作，通过可视化图形实现对设备状态、工业参数等信息的显示与控制，分布式数据队列，提供现场数据与数据平台数据队列进行数据同步服务，其部署的工厂或者车间可以为本地和异地；第三方软件系统数据感知，包括数据同步服务和分布式数据队列，数据同步服务，通过特定的策略，周期性或者触发式从第三方软件系统中读取数据，并将数据存储到分布式数据队列，再根据节点与数据中心同步配置，将节点数据同步到数据平台数据队列。所述的数据中心平台包括数据平台数据队列、数据清洗模块、元数据存储模块、数据聚合模块、聚合数据存储模块、数据对象构建模块和数据对象存储模块；所述的数据平台数据队列实现对数据感知节点的数据的汇集作用，通过存储缓存机制，将将不同来源、不同种类的数据进行缓存，供数据清洗模块进行数据调用处理；所述的数据清洗模块为数据平台数据队列的数据消费者，调用数据平台数据队列中缓存的原始数据，使用预先定义的数据处理算法，包括数据协议转换、数据格式转换、数据四则运算、多个数据协同运算、极值分析、均值分析，对数据进行清洗与预处理；所述的元数据存储模块用于将数据清洗本文档来自技高网...

【技术保护点】
一种工业数据汇集与处理系统，其特征在于：包括数据中心平台和数据感知节点；所述的数据感知节点包括工业现场数据感知模块和第三方软件系统数据感知模块；所述的工业现场数据感知模块实现对工业现场设备的参数和状态数据的监控，同时实现与数据中心平台进行数据交互；所述的第三方软件系统数据感知模块实现对第三方软件系统的数据同步，将数据导入到数据中心平台；所述的工业现场数据感知模块和第三方软件系统数据感知模块均包括分布式数据队列；所述的数据中心平台包括数据平台数据队列、数据清洗模块、元数据存储模块、数据聚合模块、聚合数据存储模块、数据对象构建模块和数据对象存储模块；所述的数据平台数据队列实现对数据感知节点的数据的汇集作用，通过存储缓存机制，将数据进行缓存，供数据清洗模块进行数据调用处理；所述的数据清洗模块调用数据平台数据队列中缓存的原始数据，使用预先定义的数据处理算法对数据进行清洗和预处理，得到元数据；所述的元数据存储模块用于将数据清洗后得到的元数据进行全量数据存储操作；所述的数据聚合模块通过获取数据平台数据队列中的缓存数据或者数据清洗后的元数据，针对特定的时间范围，使用预先定义的数据抽取算法抽取部分数据来模拟样本数据，为后续数据的高级应用提供数据基础，并存储至聚合数据存储模块；所述的数据对象构建模块用于通过一定的组合关系将多个元数据封装为一个数据实体，并将数据实体作为数据对象存储至数据对象存储模块。...

【技术特征摘要】
1.一种工业数据汇集与处理系统，其特征在于：包括数据中心平台和数据感知节点；所述的数据感知节点包括工业现场数据感知模块和第三方软件系统数据感知模块；所述的工业现场数据感知模块实现对工业现场设备的参数和状态数据的监控，同时实现与数据中心平台进行数据交互；所述的第三方软件系统数据感知模块实现对第三方软件系统的数据同步，将数据导入到数据中心平台；所述的工业现场数据感知模块和第三方软件系统数据感知模块均包括分布式数据队列；所述的数据中心平台包括数据平台数据队列、数据清洗模块、元数据存储模块、数据聚合模块、聚合数据存储模块、数据对象构建模块和数据对象存储模块；所述的数据平台数据队列实现对数据感知节点的数据的汇集作用，通过存储缓存机制，将数据进行缓存，供数据清洗模块进行数据调用处理；所述的数据清洗模块调用数据平台数据队列中缓存的原始数据，使用预先定义的数据处理算法对数据进行清洗和预处理，得到元数据；所述的元数据存储模块用于将数据清洗后得到的元数据进行全量数据存储操作；所述的数据聚合模块通过获取数据平台数据队列中的缓存数据或者数据清洗后的元数据，针对特定的时间范围，使用预先定义的数据抽取算法抽取部分数据来模拟样本数据，为后续数据的高级应用提供数据基础，并存储至聚合数据存储模块；所述的数据对象构建模块用于通过一定的组合关系将多个元数据封装为一个数据实体，并将数据实体作为数据对象存储至数据对象存储模块。2.根据权利要求1所述的一种工业数据汇集与处理系统，其特征在于：所述的工业现场数据感知模块包括：工业现场数据监控单元：针对不同工业现场总线协议，提供对底层设备数据的读写操作，通过可视化图形实现对包括设备状态、工业参数在内的信息的显示与控制；第一分布式数据队列：提供现场数据与数据中心平台数据队列的数据同步服务；所述的第三方软件系统数据感知模块包括：数据同步服务单元：通过特定的策略，周期式或者触发式从第三方软件系统中读取数据，并将数据存储到分布式数据队列单元；第二分布式数据队列：提供软件数据与数据中心平台数据队列的数...

【专利技术属性】
技术研发人员：杨川，杨亚平，
申请(专利权)人：成都天衡电科科技有限公司，
类型：发明
国别省市：四川,51