基于生产实时的海量数据处理系统技术方案

基于生产实时的海量数据处理系统，包括依次连接的DCS服务器、数据调度服务器、计算服务器和结果发布服务器，所述结果发布服务器分别连接实时数据存储器、关系数据存储器和Memcache服务器。该系统根据拥有海量生产过程数据的生产管理企业，特别是集团化的企业进行定制开发，适应其行业特点及对数据的管理要求；所支持的采集目标源接口已覆盖95%以上，不需要再另行开发，直接部署即可使用；所采用的分布式、协同数据处理模型，能适应不同数据规模的处理要求及应用场景；为企业提供了一站式整体解决方案；采用最新的NOSQL及分布式缓存技术，使得数据访问变得更容易、更快捷、更迅速。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术涉及数据处理系统，具体为一种基于生产实时的海量数据处理系统。
技术介绍
地球上的信息正在以惊人的速度增长，据统计，平均每一秒都有200万用户在使用搜索引擎，Facebook用户每天共享的东西超过40亿，微博每天处理的信息数量超过3. 4亿。2011年全球共有I. 8ZB的数据产生，能够填满的⑶数据足以从地球连到月球，然而，这仅仅是信息“爆炸”的开始，科技的进步和应用的普通使得信息可以产生于各种源头，社交网络、移动设备、传感器、各行各业不断产生的信息，使得数据正在以每年50%的量增长着。不论是通过数据优化现存的业务和管理，还是发掘新兴的业务模式，大数据及新的数据技术史无前例的为企业打开了机会之门。可以为管理者提供更加精准的管理决策支撑数据，我们正处在21世纪，每一个业务都在产生着大量的数据，每一处都可以看到数据为我们带来的巨大价值。在大数据时代，出现很多新的数据处理技术，如分布式缓存技术、NOSQL技术、云计算等等，这些技术的出现主要是针对实时、海量的数据处理，解决数据在“高可靠性、高可用性及一致性”的要求。基于生产实时的海量数据处理模型正是在当前大数据时代的背景下，在传统的基于实时数据库及关系数据库的基础上的数据处理进行创新，并根据生产管理企业对数据的集中、共享和服务的要求，为企业开发的一套海量生产实时数据的处理系统。该系统结合了当下最先进的海量数据处理技术，将企业对数据的管理过程(采集、处理、存储、分析)进行了整合，为企业的数据利用提供了一体化的解决方案。目前许许多多的互联网企业，如淘宝、腾讯、微软等大型企业已广泛采用了分布式数据处理、分布式数据缓存、云计算及NOSQL技术来应对当前信息时代下的海量数据处理和分析，为用户提供更快、更精准的信息服务。原有技术存在以下缺点1.支持的采集目标数据源单一，只能从固定数据源采集，并且针对每一种采集目标源，都需要部署不同的应用，不便于管理和维护。2.采集模块不能确保数据的准确性，并且不能提供有效的手段帮助用户发现错误或异常数据。3.对基础网络要求较高，在网络不稳定的情况下，数据传输不能确保数据的时序性，同时不支持实现离线数据缓存。4.只实现单纯的数据采集和传输过程，对于数据的预处理、计算、存储和共享需要额外的信息系统支撑，且需要部署多个不同的应用。5.采用传统的关系型数据库或实时数据进行数据存储，数据的访问效率取决于数据库产品的及硬件的处理性能，数据量越大，数据的访问效率就越低。6.缺乏在数据分析和应用方面的技术支撑，不能帮助用户很好地从海量数据中发现并找到有价值的信息。
技术实现思路
本技术所解决的技术问题在于提供一种基于生产实时的海量数据处理系统，该系统采用分布式数据计算技术，在数据被存储前就进行了基本的统计和分析，为用户提供了海量、高效的在线统计分析数据。本技术所解决的技术问题采用以下技术方案来实现一种基于生产实时的海量数据处理系统，包括依次连接的DCS服务器、数据调度服务器、计算服务器和结果发布服务器，所述结果发布服务器分别连接实时数据存储器、关系数据存储器和Memcache服务器。与现有技术相比，本技术的有益效果是I.根据拥有海量生产过程数据的生产管理企业，特别是集团化的企业进行定制开发，适应其行业特点及对数据的管理要求；2.所支持的采集目标源接口已覆盖95%以上，不需要再另行开发，直接部署即可使用；3.所采用的分 布式、协同数据处理模型，能适应不同数据规模的处理要求及应用场景；4.采用一体化数据处理解决方案，集成了采集、预处理、分析计算、存储、共享等内容,为企业提供了一站式整体解决方案；5.在基于实时数据库及关系数据进行存储的基础上进行创新，结合当前云计算及大数据处理技术，采用最新的NOSQL及分布式缓存技术，使得数据访问变得更容易、更快捷、更迅速。附图说明图I为本技术的结构框图。具体实施方式为了使本技术的实现技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本技术。如图I所示，一种基于生产实时的海量数据处理系统，包括依次连接的DCS服务器(分布式控制系统)、数据调度服务器、计算服务器和结果发布服务器，所述结果发布服务器分别连接实时数据存储器、关系数据存储器和Memcache (高性能的分布式的内存对象缓存系统)服务器。所述DCS服务器设有3个，计算服务器设有3个。本技术采用分布式，协同任务处理技术，将数据处理的整个过程分布在一个网络中不同的网络处理节点上，以此来提高数据的整体处理效率，同时更易于扩展和升级， 当增加数据量时，只需水平扩展数据处理节点，即可满足更大的数据处理要求，不需要对原架构进行任何的变更，达到以不变应万变。采用数据分发技术使得数据副本可以以多种方式进行共享，数据可以以最优的、 最适应应用系统访问方式进行存储和访问，同时灵活的数据处理模式使得需要在数据的处理过程增加或删减任何一部份都变得尤为简单。从而实现整个过程中的安全、高效、稳定， 海量数据的处理能力。本技术的工作原理首先，通过数据采集接口软件，从生产企业的DCS、NCS、 PLC、其它控制系统或企业的关系型数据库、实时数据库中采集生产实时数据，并把实时数据穿过正向隔离装置，发送到数据调度服务器；之后，数据调度服务器根据数据路由配置表，把接收到的数据实时以最快、最优的方式分发给网络上的各个数据处理节点，实现数据的分布式计算，海量数据的处理和分析；之后，数据处理结节点采用分布式，协同工作模型，对数据进行实时的分析、计算和处理，数据处理完成后，协同发送给结果发布服务器，由结果发布服务器进行统一存储，然后通知数据调度服务器，告知处理完成，节点处于闲置状态，可以随时接受新的任务；最后，结果发布服务器接收到数据后，会按要求对数据进行分发或存储处理，可将数据存储在不同的目标数据源或通过网络转发给其它的设备、应用系统或网络上的数据处理 节点。以上显示和描述了本技术的基本原理和主要特征和本技术的优点。本行业的技术人员应该了解，本技术不受上述实施例的限制，上述实施例和说明书中描述的只是说明本技术的原理，在不脱离本技术精神和范围的前提下，本技术还会有各种变化和改进，这些变化和改进都落入要求保护的本技术范围内。本技术的要求保护范围由所附的权利要求书及其等效物界定。权利要求1.基于生产实时 的海量数据处理系统，其特征在于，包括依次连接的DCS服务器、数据调度服务器、计算服务器和结果发布服务器，所述结果发布服务器分别连接实时数据存储器、关系数据存储器和Memcache服务器。专利摘要基于生产实时的海量数据处理系统，包括依次连接的DCS服务器、数据调度服务器、计算服务器和结果发布服务器，所述结果发布服务器分别连接实时数据存储器、关系数据存储器和Memcache服务器。该系统根据拥有海量生产过程数据的生产管理企业，特别是集团化的企业进行定制开发，适应其行业特点及对数据的管理要求；所支持的采集目标源接口已覆盖95%以上，不需要再另行开发，直接部署即可使用；所采用的分布式、协同数据处理模型，能适应不同数据规模的处理要求及应用场景；为企业提供了一站式整体解决方案；采用最新的NOSQL及分布式缓存技术，本文档来自技高网...

【技术保护点】
基于生产实时的海量数据处理系统，其特征在于，包括依次连接的DCS服务器、数据调度服务器、计算服务器和结果发布服务器，所述结果发布服务器分别连接实时数据存储器、关系数据存储器和Memcache服务器。

【技术特征摘要】

【专利技术属性】
技术研发人员：向春波，龙海军，罗绍巍，徐兵，苗小虎，廖鹏万，郭亮，荣誉，侯准，
申请(专利权)人：湖南大唐先一科技有限公司，
类型：实用新型
国别省市：