一种基于自控系统的企业管控一体化数据分析方法技术方案

技术编号:14158922 阅读:93 留言:0更新日期:2016-12-12 01:41
一种基于自控系统的企业管控一体化数据分析方法,其包括数据源模块、数据收集模块、数据整合模块、数据存储模块、数据分析模块、目标检测模块和数据应用模块,数据收集模块,收集数据源数据时,利用平台构建分布式数据抓取系统;数据整合模块,将从数据源收集到的数据通过系统建立的标示库和特征库,对不同来源的数据添加时间标签、位置标签等唯一性识别,并对非结构化数据进行结构化整理和清洗;数据存储模块,将整合好的数据存储进入到一个虚拟数据平台后提供给上游系统,即无论何种形式的数据都可以通过这个形式较为统一的“中转数据平台”给上游系统提供数据。

【技术实现步骤摘要】

本专利技术涉及基于自控系统的企业管控一体化数据分析方法,属于信息

技术介绍
目前自控技术发展迅速,但各个制造商、研发单位,各个系统、各个产品之间的数据传输受制于开发者技术水平、数据传输协议、设备存储空间、数据繁杂等因素的影响,给“物联”带来极大困难,同时难以利用有效的数据分析从海量数据中获取有用、有效的信息。
技术实现思路
本专利技术为了解决上述现有技术存在的缺陷和不足,提供了一种可以用更少的人力物力,有效的处理更大规模的数据,减少数据传输、筛选、利用的成本,从而带来经济效益和效率提升的基于工业化和信息化的物联平台。一种基于自控系统的企业管控一体化数据分析方法,其包括数据源模块、数据收集模块、数据整合模块、数据存储模块、数据分析模块、目标检测模块和数据应用模块,数据收集模块,收集数据源数据时,利用平台构建分布式数据抓取系统;数据整合模块,将从数据源收集到的数据通过系统建立的标示库和特征库,对不同来源的数据添加时间标签、位置标签等唯一性识别,并对非结构化数据进行结构化整理和清洗;数据存储模块,将整合好的数据存储进入到一个虚拟数据平台后提供给上游系统,即无论何种形式的数据都可以通过这个形式较为统一的“中转数据平台”给上游系统提供数据。所述数据收集模块收集来自各个独立渠道的数据,这些数据包括设备数据、系统数据,即在自控系统相关软硬件平台上可以收集到的一切数据。具体实施方式下面对本专利技术作进一步的详细说明。一种基于自控系统的企业管控一体化数据分析方法,其包括数据源模块、数据收集模块、数据整合模块、数据存储模块、数据分析模块、目标检测模块和数据应用模块,数据收集模块,收集数据源数据时,利用平台构建分布式数据抓取系统;数据整合模块,将从数据源收集到的数据通过系统建立的标示库和特征库,对不同来源的数据添加时间标签、位置标签等唯一性识别,并对非结构化数据进行结构化整理和清洗;数据存储模块,将整合好的数据存储进入到一个虚拟数据平台后提供给上游系统,即无论何种形式的数据都可以通过这个形式较为统一的“中转数据平台”给上游系统提供数据。所述数据收集模块收集来自各个独立渠道的数据,这些数据包括设备数据、系统数据,即在自控系统相关软硬件平台上可以收集到的一切数据。1、数据源模块收集来自各个独立运行的设备、系统的数据,这些数据包括硬件设备的数据,生产、运行、安全、管理等相关系统的数据,即在自控系统相关软硬件平台上可以收集到的一切数据。2、数据整合数据整合部分包括数据收集、数据整合、数据存储三大模块。(1)数据收集。收集数据源数据时,我们构建分布式全网数据抓取系统,本系统具有以下几个特点: 1)高性能高稳定性。系统实现了多线程的分布式抓取,独立抓取进程前互不影响,当某抓取任务失败后能实现自动恢复机制,实现99.99%以上的爬虫工作稳定性,并可根据业务需求迅速横向爬虫规模。2)抓取系统的调度算法,根据客户重要程度和上次监测时间,合理安排爬虫工作权重,实现对新客户和重要客户的迅速反应。3)抓取系统上下文环境记忆,实现对不同来源商品页相应数据上次爬取的上下文环境记录系统,保证抓取系统实现增量的数据更新。(2)数据整合。将从数据源收集到的数据通过系统建立的标示库和特征库,对不同来源的商品进行唯一性识别,并对非结构化数据进行结构化整理和清洗。本专利技术根据设备、系统类型定义了自有平台的分类机制、协议类型和识别特征,利用个各个平台开放接口及自有数据采集系统将分散的各种结构化、半结构化和非结构化数据,统一整合到自有数据平台中的标示库中,为商品的数据的进一步挖掘提供基础。(3)数据存储。最后数据存储模块将整合好的数据存储进入数据仓库,为数据分析提供支持。本文档来自技高网...

【技术保护点】
一种基于自控系统的企业管控一体化数据分析方法,其包括数据源模块、数据收集模块、数据整合模块、数据存储模块、数据分析模块、目标检测模块和数据应用模块,数据收集模块,收集数据源数据时,利用平台构建分布式数据抓取系统;数据整合模块,将从数据源收集到的数据通过系统建立的标示库和特征库,对不同来源的数据添加时间标签、位置标签等唯一性识别,并对非结构化数据进行结构化整理和清洗;数据存储模块,将整合好的数据存储进入到一个虚拟数据平台后提供给上游系统,即无论何种形式的数据都可以通过这个形式较为统一的“中转数据平台”给上游系统提供数据。

【技术特征摘要】
1.一种基于自控系统的企业管控一体化数据分析方法,其包括数据源模块、数据收集模块、数据整合模块、数据存储模块、数据分析模块、目标检测模块和数据应用模块,数据收集模块,收集数据源数据时,利用平台构建分布式数据抓取系统;数据整合模块,将从数据源收集到的数据通过系统建立的标示库和特征库,对不同来源的数据添加时间标签、位置标签等唯一性识别,并对非结构化数据进行结构化整理和清洗;数据存储模块,将整合好的数据...

【专利技术属性】
技术研发人员:李光曦
申请(专利权)人:北京华科合创科技发展有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1