一种基于工业互联网的大数据分发平台制造技术

本发明专利技术涉及计算机技术技术领域，具体为一种基于工业互联网的大数据分发平台，包括大数据采集平台、调度管理平台以及接收平台，所述大数据采集平台包括过滤模块、分类模块以及分布式数据管理模块，所述调度管理平台包括分发服务模块以及数据中转模块，本发明专利技术通过对大数据进行过滤、分类、分布式管理后由中转模块进行多路径转存、分发，能够使大数据分发系统运行时自适应优化，提高大数据分发系统的健壮性，使得大数据分发系统能够稳定运行，为用户提供持续可靠的服务，本发明专利技术通过调度监控管理平台，按分发大数据的存储网格结构、线性结构以及树形结构主动将大数据从分发服务模块发送至接收平台，并进行全程智能监控，实现大数据的快速分发。据的快速分发。据的快速分发。

【技术实现步骤摘要】
一种基于工业互联网的大数据分发平台


[0001]本专利技术涉及计算机技术
，具体为一种基于工业互联网的大数据分发平台。

技术介绍

[0002]现今的大部分数据中心都是通过分发服务器组来存储和分发不同的数据，这些数据可能是单纯的操作系统也可能是操作系统上再附加各种的软件以及应用程序，比如镜像文件，分发服务器组通常包括分发服务器和存储服务器，以分别实现分发数据和存储数据。
[0003]在相关技术中提供的一种数据分发方法，分发服务器直接把数据从存储服务器依次传输到各个目标终端上，目标终端可以是虚拟机。
[0004]由于存储服务器需要分别向每个目标终端分发数据，从而导致存储服务器的流量压力过大，数据分发效率较低。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种多路径缓、分发流畅的基于工业互联网的大数据分发平台。
[0007](二)技术方案
[0008]为实现上述目的，本专利技术提供如下技术方案：一种基于工业互联网的大数据分发平台，包括大数据采集平台、调度管理平台以及接收平台，所述大数据采集平台包括过滤模块、分类模块以及分布式数据管理模块，所述调度管理平台包括分发服务模块以及数据中转模块，所述接收平台内还设有解析模块，所述大数据采集品台用于接收多个客户端发送来的数据并保存在自身高速缓存中，并对采集的大数据进行预处理，所述过滤模块用于对采集的大数据进行过滤，去除重复、无效的大数据，所述分类模块用于根据数据结构对过滤后的大数据进行分类，所述分布式数据管理模块用于对分类处理后的大数据进行分布式的管理，所述调度管理平台用于接收分布式数据管理模块发送的大数据，并向中转模块内转存大数据，所述中转模块用于分类存储大数据，并进行智能策略分析，得到最优分发路径，通过分发服务模块与接收平台之间建立高速大数据分发通道，并将大数据主动推送至接收平台，所述解析模块采用异步抓取的方式从中转模块中获取的大数据，并采用对应的解析方式解析大数据。
[0009]为了提高大数据传输的安全性，本专利技术改进有，所述分发服务模块以及接收平台内均设有安全运维管理模块，所述安全运维管理模块用于对分发服务模块提供的大数据以及接收平台接受的大数据进行安全运维管理服务。
[0010]为了防止大数据在处理过程中发生堵塞，本专利技术改进有，所述分布式数据管理模块通过设置多个数据管理模块集群组成，每个数据管理模块集群由多个数据管理单元组成。在任一个数据管理模块集群中，所有所述数据管理单元通过网络互通。
[0011]为了保证数据传输过程中的安全性，本专利技术改进有，所述安全运维管理模块包括预警管理、配置管理以及风险管理，还包括设备管理、人员管理以及应用服务管理。
[0012]为了优化中转模块的转存效果，本专利技术改进有，所述中转模块包括网格存储单元、线性存储单元以及树形存储单元，所述网格存储单元、线性存储单元以及树形存储单元分别对应存储网格结构、线性结构和树形结构的大数据。
[0013]为了提高向接收平台传输的私密性，本专利技术改进有，所述接收平台内还包括协议传输模块，用于在分发服务模块、中转模块以及接收平台间建立协议传输关系。
[0014](三)有益效果
[0015]与现有技术相比，本专利技术提供了一种基于工业互联网的大数据分发平台，具备以下有益效果：
[0016]该基于工业互联网的大数据分发平台通过对大数据进行过滤、分类、分布式管理后由中转模块进行多路径转存、分发，能够使大数据分发系统运行时自适应优化，提高大数据分发系统的健壮性，使得大数据分发系统能够稳定运行，为用户提供持续可靠的服务，本专利技术通过调度监控管理平台，按分发大数据的存储网格结构、线性结构以及树形结构主动将大数据从分发服务模块发送至接收平台，并进行全程智能监控，实现大数据的主动快速分发。
附图说明
[0017]图1为本专利技术系统示意图；
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]请参阅图1
‑
1，本专利技术为一种基于工业互联网的大数据分发平台，包括大数据采集平台、调度管理平台以及接收平台，所述大数据采集平台包括过滤模块、分类模块以及分布式数据管理模块，所述调度管理平台包括分发服务模块以及数据中转模块，所述接收平台内还设有解析模块，所述大数据采集品台用于接收多个客户端发送来的数据并保存在自身高速缓存中，并对采集的大数据进行预处理，所述过滤模块用于对采集的大数据进行过滤，去除重复、无效的大数据，所述分类模块用于根据数据结构对过滤后的大数据进行分类，所述分布式数据管理模块用于对分类处理后的大数据进行分布式的管理，所述调度管理平台用于接收分布式数据管理模块发送的大数据，并向中转模块内转存大数据，所述中转模块用于分类存储大数据，并进行智能策略分析，得到最优分发路径，通过分发服务模块与接收平台之间建立高速大数据分发通道，并将大数据主动推送至接收平台，所述解析模块采用异步抓取的方式从中转模块中获取的大数据，并采用对应的解析方式解析大数据。
[0020]本实施例中，所述分发服务模块以及接收平台内均设有安全运维管理模块，所述安全运维管理模块用于对分发服务模块提供的大数据以及接收平台接受的大数据进行安全运维管理服务，所述安全运维管理模块包括预警管理、配置管理以及风险管理，还包括设
备管理、人员管理以及应用服务管理，保证大数据在传输过程中的监控，防止在传输过程中出现数据损坏、数据被盗或数据篡改，提高大数据传输的安全性。
[0021]本实施例中，所述分布式数据管理模块通过设置多个数据管理模块集群组成，每个数据管理模块集群由多个数据管理单元组成，在任一个数据管理模块集群中，所有所述数据管理单元通过网络互通，防止大数据在处理过程中发生堵塞，提高数据分发的流畅性。
[0022]本实施例中，所述中转模块包括网格存储单元、线性存储单元以及树形存储单元，所述网格存储单元、线性存储单元以及树形存储单元分别对应存储网格结构、线性结构和树形结构的大数据，智能分析最优的分发的路径，优化中转模块的转存效果。
[0023]本实施例中，所述接收平台内还包括协议传输模块，用于在分发服务模块、中转模块以及接收平台间建立协议传输关系，建立私密的传送通道，方便传输保密性大数据，提高向接收平台传输的私密性。
[0024]综上所述，该基于工业互联网的大数据分发平台，在使用时，通过数据收集平台对大数据收集之后进行预处理。通过过滤模块对大数据进行过滤，通过分类模块进行分类，由分布式数据管理模块进行分布式管理后由中转模块进行多路径转存、分发，能够使大数据分发系统运行时自适应优化，提高大数据分发系统的健壮性，使得大数据分发系统能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于工业互联网的大数据分发平台，其特征在于，包括大数据采集平台、调度管理平台以及接收平台，所述大数据采集平台包括过滤模块、分类模块以及分布式数据管理模块，所述调度管理平台包括分发服务模块以及数据中转模块，所述接收平台内还设有解析模块，所述大数据采集品台用于接收多个客户端发送来的数据并保存在自身高速缓存中，并对采集的大数据进行预处理，所述过滤模块用于对采集的大数据进行过滤，去除重复、无效的大数据，所述分类模块用于根据数据结构对过滤后的大数据进行分类，所述分布式数据管理模块用于对分类处理后的大数据进行分布式的管理，所述调度管理平台用于接收分布式数据管理模块发送的大数据，并向中转模块内转存大数据，所述中转模块用于分类存储大数据，并进行智能策略分析，得到最优分发路径，通过分发服务模块与接收平台之间建立高速大数据分发通道，并将大数据主动推送至接收平台，所述解析模块采用异步抓取的方式从中转模块中获取的大数据，并采用对应的解析方式解析大数据。2.根据权利要求1所述的一种基于工业互联网的大数据分发平台，其特征在于，所述分发服务模块以及接...

【专利技术属性】
技术研发人员：王清杰，王旸，
申请(专利权)人：北京德风新征程科技有限公司，
类型：发明
国别省市：