一种跨网络多源异构数据采集装置制造方法及图纸

本实用新型专利技术公开了一种跨网络多源异构数据采集装置，包括：多个网络接口、与所述网络接口一一对应的单刀双掷开关、内网数据采集处理模块、外网数据采集处理模块、网络隔离和数据整合模块、数据存储模块，所述网络接口通过所述单刀双掷开关的两个不动端分别连接至所述内网数据采集处理模块和外网数据采集处理模块；所述内网数据采集处理模块和外网数据采集处理模块分别通过所述网络隔离和数据交换模块连接至所述数据存储模块；本装置解决了异构数据在物理隔离网络之间交互和存储的问题，在保证内网安全基础上提高了数据交互性能；扩展性能高；实现了网络接口对应外网或内网的自由配比。

【技术实现步骤摘要】
一种跨网络多源异构数据采集装置
本技术涉及数据交换
，具体地说，是一种跨网络多源异构数据采集装置。
技术介绍
目前很多大型企业网络分为物理隔离的内、外网，内网用于企业内部生产经营管理，外网用于提供互联网服务，业务应用系统数据根据需要分别部署在内、外网网络上的数据库中。随着互联网应用发展，部署在外网的业务应用越来越多，企业经营管理决策通常需要采集内、外网不同业务系统的数据进行关联分析、综合评估。由于内、外网络物理隔离，内、外网间一般采用U盘等存储介质进行数据交换，存在数据格式受限、内外网间数据交换实时性差等问题。常见数据采集装置的网络接口分别设有内网网络接口和外网网络接口，在装置组装完成后其数量配比就已固定，当内网或外网的业务应用系统数量变多时，网络接口数量不够用。
技术实现思路
本技术要解决的技术问题是提供一种跨网络的多源异构数据采集装置，解决传输数据格式受限、内外网间数据交换实时性差等问题；可根据实际需求灵活配比内网和外网的网络接口。为了解决上述技术问题，本技术提供了一种跨网络多源异构数据采集装置，包括：多个网络接口、与所述网络接口一一对应的单刀双掷开关、用于采集内网数据并进行处理的内网数据采集处理模块、用于采集外网数据并进行处理的外网数据采集处理模块、用于将外网数据单向传输至内网并将数据进行合并的网络隔离和数据整合模块、用于存储合并后的数据的数据存储模块，其中，所述网络接口通过所述单刀双掷开关的两个不动端分别连接至所述内网数据采集处理模块和外网数据采集处理模块；所述内网数据采集处理模块和外网数据采集处理模块分别通过所述网络隔离和数据交换模块连接至所述数据存储模块。进一步地，所述内网数据采集处理模块，包括用于采集内网数据的内网数据采集单元和用于将所采集到的内网数据进行格式规范化处理的内网数据处理单元。进一步地，所述外网数据采集处理模块，包括用于采集外网数据的外网数据采集单元和用于将所采集到的外网数据进行格式规范化处理的外网数据处理单元。进一步地，所述网络隔离和数据整合模块包括网络隔离单元和数据整合单元，所述网络隔离单元，用于将外网数据依据专用通信协议单向传输至内网；所述数据整合单元，用于将外网数据和内网数据整合并发送至所述数据存储模块。进一步地，还包括主板，所述网络隔离和数据合并模块、数据存储模块通过所述主板上电路连接，所述外网数据采集处理模块和内网数据采集处理模块通过插槽与所述主板连接。进一步地，所述主板还设置有多个预留插槽。进一步地，还包括存储端接口，所述存储端接口与所述数据存储模块连接。进一步地，所述存储端接口为RJ-45接口。进一步地，所述网络接口为RJ-45接口。进一步地，设置有四个RJ-45接口。本技术的跨网络的多源异构数据采集装置，具有以下有益效果：1、本装置集数据采集、内外网数据传输、数据处理于一体，可以有效降低系统部署工作量，缩短设备设计、安装和调试周期；2、本装置集成了物理隔离网络数据单向传输模块，解决了异构数据在物理隔离网络之间交互的问题，在保证内网安全基础上提高了数据交互性能；3、本装置数据采集处理模块采用插槽模式，扩展性能高；4、本装置的网络接口可自由切换至数据采集处理模块或数据采集处理模块，实现内网或外网的网络接口灵活配比。附图说明图1是技术的跨网络的多源异构数据采集装置一实施例的结构示意图；图2是技术的内网数据采集处理模块结构示意图；图3是技术的外网数据采集处理模块结构示意图；图4是技术的网络隔离和数据整合模块结构示意图。图中，1网络接口，2单刀双掷开关，3内网数据采集处理模块，31内网数据采集单元，32内网数据处理单元，4外网数据采集处理模块，41外网数据采集单元，42外网数据处理单元，5网络隔离和数据整合模块，51数据整合单元，52网络隔离单元，6数据存储模块，7存储端接口。具体实施方式下面结合附图和具体实施例对本技术作进一步说明，以使本领域的技术人员可以更好地理解本技术并能予以实施，但所举实施例不作为对本技术的限定。实施例一：如图1、图2、图3，所示，一种跨网络多源异构数据采集装置，包括：多个网络接口1、与所述网络接口1一一对应的单刀双掷开关2、用于采集内网数据并进行处理的内网数据采集处理模块3、用于采集外网数据并进行处理的外网数据采集处理模块4、用于将外网数据单向传输至内网并将数据进行合并的网络隔离和数据整合模块5、用于存储合并后的数据的数据存储模块6，其中，所述网络接口1通过所述单刀双掷开关2的两个不动端分别连接至所述内网数据采集处理模块3和外网数据采集处理模块4；所述内网数据采集处理模块3和外网数据采集处理模块4分别通过所述网络隔离和数据交换模块5连接至所述数据存储模块6。所述内网数据采集处理模块3，包括用于采集内网数据的内网数据采集单元31和用于将所采集到的内网数据进行格式规范化处理的内网数据处理单元32。所述外网数据采集处理模块4，包括用于采集外网数据的外网数据采集单元41和用于将所采集到的外网数据进行格式规范化处理的外网数据处理单元42。所述内网数据采集单元31通过所述单刀双掷开关2、网络接口1与内网设备连接，采集内网设备的第一数据并发送至所述内网数据处理单元32，所述内网数据处理单元32，将所述第一数据标记、清洗、格式规范化转换为第三数据，并将所述第三数据发送至网络隔离和数据整合模块5；所述外网数据采集单元41通过所述单刀双掷开关2、网络接口1与外网设备连接，采集外网设备的第二数据并发送至所述外网数据处理单元42，所述外网数据处理单元42，将所述第二数据标记、清洗、格式规范化转换为第四数据，并将所述第四数据发送至网络隔离和数据整合模块5；所述网络隔离和数据整合模块5包括网络隔离单元52和数据整合单元51，所述网络隔离单元52，用于将所述第四数据依据专用通信协议单向传输至数据整合单元51；所述数据整合单元51，用于将所述第四数据和所述第三数据整合为第五并发送至所述数据存储模块6。内网数据采集单元31、外网数据采集单元41通过配置相关策略，定义相关的接口、周期、调用频率和对象等参数，自动从内网设备和外网设备中抽取数据，数据采集策略可以根据不同的业务系统、应用场景及需求分别进行定义；采集上来的数据来源多样、数量庞大、结构各异、属性繁多，需要进行数据标记、清洗、格式规范化转换等预处理工作。数据标记和清洗主要根据数据所属的业务系统、类型、结构、大小等，打上统一规范的标记，用于标识数据的来源、种类等属性。同时，结合数据规则库，根据数据的标记，将相应的规则与数据进行封装，封装完成的数据可识别、可控制并带有相应清洗规则。数据格式规范化转换主要通过数据泛化、规范化、数据属性构造等操作，提高数据挖掘或数据流挖掘的精度和性能。数据泛化使用概念分层，用高层次概念替换低层次“原始”数据，将数据库中的原始数据泛化成用户感兴趣的概念层次上的、聚合的、具有统计意义的元数据，为在线分类提供了良好的数据环境。泛化的主要策略包括在最小分解单位上泛化、属性去除、概念树攀升、增加属性等，相关的泛化算法有面向属性归纳的泛化算法和基于数据立方体的泛化算法等。内、外网数据经过处理后，形成统一格式的规范化第三数据和第四数据。网络隔离单元本文档来自技高网...

【技术保护点】
一种跨网络多源异构数据采集装置，其特征在于，包括：多个网络接口、与所述网络接口一一对应的单刀双掷开关、用于采集内网数据并进行处理的内网数据采集处理模块、用于采集外网数据并进行处理的外网数据采集处理模块、用于将外网数据单向传输至内网并将数据进行合并的网络隔离和数据整合模块、用于存储合并后的数据的数据存储模块，其中，所述网络接口通过所述单刀双掷开关的两个不动端分别连接至所述内网数据采集处理模块和外网数据采集处理模块；所述内网数据采集处理模块和外网数据采集处理模块分别通过所述网络隔离和数据交换模块连接至所述数据存储模块。

【技术特征摘要】
1.一种跨网络多源异构数据采集装置，其特征在于，包括：多个网络接口、与所述网络接口一一对应的单刀双掷开关、用于采集内网数据并进行处理的内网数据采集处理模块、用于采集外网数据并进行处理的外网数据采集处理模块、用于将外网数据单向传输至内网并将数据进行合并的网络隔离和数据整合模块、用于存储合并后的数据的数据存储模块，其中，所述网络接口通过所述单刀双掷开关的两个不动端分别连接至所述内网数据采集处理模块和外网数据采集处理模块；所述内网数据采集处理模块和外网数据采集处理模块分别通过所述网络隔离和数据交换模块连接至所述数据存储模块。2.如权利要求1所述的跨网络多源异构数据采集装置，其特征在于，所述内网数据采集处理模块，包括用于采集内网数据的内网数据采集单元和用于将所采集到的内网数据进行格式规范化处理的内网数据处理单元。3.如权利要求1所述的跨网络多源异构数据采集装置，其特征在于，所述外网数据采集处理模块，包括用于采集外网数据的外网数据采集单元和用于将所采集到的外网数据进行格式规范化处理的外网数据处理单元。4.如权利要求1所述的跨网络多源异...

【专利技术属性】
技术研发人员：朱朝阳，邱意民，周亮，应欢，范永，韩丽芳，李梦涛，王新迎，杨祎，马艳，李程启，林颖，耿玉杰，白德盟，
申请(专利权)人：中国电力科学研究院，国网山东省电力公司电力科学研究院，
类型：新型
国别省市：北京,11