多对一型内外网大数据单向传输通信方法技术

本发明专利技术公开了一种多对一型内外网大数据单向传输通信系统及其方法，涉及计算机网络信息处理技术。本系统包括依次连接的采集器单元（100）、外网服务器单元（200）和内网服务器单元（300）；所述的外网服务器单元（200）由数据单向流动的依次交互的网口抓包模块（201）、数据处理重组模块（202）和网口发送模块（203）组成；所述的内网服务器单元（300）设置有内网处理模块（301）。本发明专利技术能保证在数据处理服务器转移至内网的基础上，无需修改采集程序和数据处理分析程序，对已拆包分析的数据，进行协议还原，从而达到信息传输的高效性、可靠性和安全性。

【技术实现步骤摘要】
多对一型内外网大数据单向传输通信方法
本专利技术涉及计算机网络信息处理技术，尤其涉及一种多对一型内外网大数据单向传输通信系统及其方法，具有可扩展性、低成本和高安全性的优势。
技术介绍
随着计算机网络的飞速发展和移动互联网业务市场竞争的加剧，很多厂商的信息回收面临着巨大挑战。很多厂商为了采集本公司的数据，将处理数据的服务器暴露在外网环境中，这无疑是给用户私人信息和厂商的商业机密带了了巨大隐患。在此环境下，很多厂商构建的通信系统包括依次连通的外网采集器、内外网隔离服务器和内网服务器，在处理信息的内网服务器和外网采集器之间架设一个起到防火墙作用的内外网隔离服务器。但是这又带来了另一个巨大的问题，由于在内网服务器和外网采集器之间加了另一个转发数据的内外网隔离服务器，这样会导致由内外网隔离服务器转发给内网服务器在数据信息的结构上发生了很大的变化，可能导致外网采集器的信息处理程序无法正确处理采集器发送的数据；而很多厂商原有的接收处理信息程序往往都是复杂而且代码量巨大的，改动数据协议不仅仅是信息处理服务器一端的问题，数以万计的数据采集器上的发送数据协议也需要修改，这无疑给企业和用户带了巨大的不便，也为企业带了了巨大的经济投入。
技术实现思路
本专利技术的目的在于克服现有技术存在的问题，在不改动原有信息处理程序和发送程序的基础上，提供一种多对一型内外网大数据单向传输通信系统及其方法，即一种在内外网隔离服务器上运行高效可靠的数据处理和重组原协议的程序，从而不影响采集器数据的发送，也可以将采集器原通信协议格式发送给数据处理端，以解决原传输体系面临大量修改代码的问题，同时也为数据传输提供了高可靠性和高安全性。实现本专利技术的目的技术方案是：设计一种具备高读写能力、高数据处理能力、随时可扩充和易于管理的计算机网络海量数据处理程序来代替不必要的代码修改和数据协议的重新定义，它不但能解决目前计算机网络海量数据收集中既要保证数据安全处理的问题，最重要的是能在不改动原有系统的任何代码和结构下保证数据的处理无误。一、多对一型内外网大数据单向传输通信系统包括依次连接的采集器单元、外网服务器单元和内网服务器单元。二、多对一型内外网大数据单向传输通信方法具体地说，本方法包括以下步骤：①设置采集器单元中采集器的配置文件（如目的端口和目的IP）；②将采集器单元采集的数据发送至外网服务器单元；③外网服务器单元的网口抓包模块抓取连接采集器单元一端网口的数据包；④外网服务器单元中的数据处理重组模块运行协议重组算法程序，对外网服务器单元的网口抓包模块抓取的数据包进行数据接收和数据重组，识别采集器单元发送的数据，并进行协议重组；该程序保证在大量爆发性多数据接入时，能高效地抓取外网服务器单元的网卡数据，并进行任意协议层数据分析，丢弃无用数据，重组采集器发送的数据，并对不同的流不同的信息包进行分离重组，保证信息的完整性和原始性，重组完成后，由网口发包模块单向传输给内网服务器单元；⑤内网服务器单元将外网服务器单元传输来的数据进行接收并在内网进行相关处理。本专利技术具有下列特点：①本系统在数据连接上无需在采集器端更改发送代码和数据传输协议格式；②在高峰时段，海量数据涌入的时候，本系统从网口抓取采集器发送的数据信息，进行多线程处理，保证数据无丢失和高速处理；③在重组数据时，采用MAP容器和单向链表并用的方式，对每一条TCP流的目的地址、原地址、目的端口、源端口、传输协议进行hash运算，确定一个唯一的hash值用以确定每一条不同的TCP流，而后再根据不同数据流中的seq号来重组TCP流，从而对每一条TCP流进行重组。依据上述特点，本专利技术在使用中收到下列的积极效果：①利用TCP五元素（目的地址、原地址、目的端口、源端口和传输协议）以确定标识不同TCP流的hash值，并在每一条hash值后挂载链表，使用seq对数据包数据进行重组，这样使得数据包无论在传输过程中是否受到网络干扰造成数据包达到顺序不同都不会影响数据的重组，具有较高的可靠性；②由于分析重组包程序仅在外网服务器运行，这样对于海量的采集器系统和大规模数据分析服务器来说均不需做修改，可靠而安全。总之，本专利技术能保证在数据处理服务器转移至内网的基础上，无需修改采集程序和数据处理分析程序，对已拆包分析的数据，进行协议还原，从而达到信息传输的高效性、可靠性和安全性。附图说明图1是本系统的结构方框图；其中：100—采集器单元，101—第1采集器，102—第2采集器，……10N—第N采集器，N为自然数，N<65535；200—外网服务器单元，201—网口抓包模块，202—数据处理重组模块；203—网口发包模块；300—内网服务器单元，301—内网处理模块；图2是数据接收流程图；图3是数据重组流程图。具体实施方式以下结合附图和实施例详细说明：一、系统1、总体如图1，本系统包括依次连接的采集器单元100、外网服务器单元200和内网服务器单元300。2、功能块1）采集器单元100采集器单元100包括第1采集器101、第2采集器102……第N采集器10N，N是自然数，1≤N<65535；数据由第1采集器101到第N采集器10N采集，并根据前期配置的目的端口和目的IP发送至外网服务器单元200。2）外网服务器单元200外网服务器单元200的硬件配置是服务器主机；外网服务器单元200的软件由数据单向流动的依次交互的网口抓包模块201、数据处理重组模块202和网口发送模块203组成。（1）网口抓包模块201网卡抓包模块201的硬件配置是一块千兆网卡；网卡抓包模块201的软件主要是适配服务器的网卡驱动，数据处理重组模块202可调用系统函数从该网卡抓包模块201的硬件设备千兆网卡上抓取收到的网络数据包。（2）数据处理重组模块202数据处理重组模块202的硬件配置是服务器主机；数据处理重组模块202的软件主要是协议重组算法程序。（3）网口发送模块203网卡抓包模块203的硬件配置是一块千兆网卡；网卡抓包模块203的软件主要是适配服务器的网卡驱动，数据处理重组模块202可调用系统函数将重组后的数据经该网卡发送至内网服务器300。3）内网服务器单元300内网服务器单元300的硬件配置是服务器主机。内网服务器单元300的软件为内网处理模块301；由内网服务器单元300接收外网服务器单元200发送来的数据，并根据需求进行相应处理。内网服务器单元300设置有内网处理模块301；内网处理模块301的硬件配置是服务器主机；内网处理模块301的软件为根据内网对数据的处理要求而设计的网络数据分析及处理程序。3、工作原理：①从第1采集器单元101到第N采集器10N，分别将采集的数据根据配置的目的端口、目的IP发送至外网服务器单元200；②外网服务器单元200的网口抓包模块201对采集器单元100发送而来的数据进行网口抓包,外网服务器单元200中数据处理重组模块202中运行有协议重组算法程序，该程序主要完成数据接收处理和数据重组处理，其主要功能为：首先数据处理重组模块202对网口抓包模块201抓取的数据的进行数据接收处理，将数据按协议归类，将接收到IP数据包进行拆包分析应用层数据，而后将有用数据过滤留下，无用数据丢弃；然后数据处理重组模块202对数据接收处理后本文档来自技高网...

【技术保护点】
一种多对一型内外网大数据单向传输通信系统，其特征在于：包括依次连接的采集器单元（100）、外网服务器单元（200）和内网服务器单元（300）；所述的采集器单元（100）包括第1采集器（101）、第2采集器（102）……第N采集器（10N），N是自然数，1≤N<65535；所述的外网服务器单元（200）由数据单向流动的依次交互的网口抓包模块（201）、数据处理重组模块（202）和网口发送模块（203）组成；所述的内网服务器单元（300）设置有内网处理模块（301）。

【技术特征摘要】
1.一种多对一型内外网大数据单向传输通信方法，系统包括依次连接的采集器单元(100)、外网服务器单元(200)和内网服务器单元(300)；所述的采集器单元(100)包括第1采集器(101)、第2采集器(102)……第N采集器(10N)，N是自然数，1≤N<65535；所述的外网服务器单元(200)由数据单向流动的依次交互的网口抓包模块(201)、数据处理重组模块(202)和网口发送模块(203)组成；所述的内网服务器单元(300)设置有内网处理模块(301)；方法包括以下步骤：①设置采集器单元(100)中采集器的配置文件，包括目的端口和目的IP；②将采集器单元(100)采集的数据发送至外网服务器单元(200)；③外网服务器单元(200)的网口抓包模块(201)抓取连接采集器单元(100)一端网口的数据包；④外网服务器单元(200)中的数据处理重组模块运行协议重组算法程序，对外网服务器单元(200)的网口抓包模块(201)抓取的数据包进行数据接收和数据重组，识别采集器单元(100)发送的数据，并进行协议重组；⑤内网服务器单元(300)将外网服务器单元(200)传输来的数据进行接收并在内网进行相关处理；协议重组算法程序的数据接收的工作流程包括下列步骤：A、网口抓取数据(21)初始化网口抓包模块，开始抓取指定网卡的数据包，数据包由采集器发送给外网服务器网卡，每个采集器发送的端口不同，将数据包存储在指定的内存块上；B、解析数据包(22)对网口抓取的数据包进行拆包分析，分别解析出目的地址、源地址、目的端口、源端口、传输协议、TCP层的seq号、IPID，此外还将判断该包的类型，读取应用层的数据；C、判断是否为TCP协议(23)对解析的数据包内容进行判断，判断是否为TCP协议，是则进入步骤D，否则丢包(27)；D、计算hash值(24)对是TCP协议传输的数据包的TCP五元素：目的地址、源地址、目的端口、源端口和传输协议，进行hash运算，计算出能确定TCP流的唯一标示hash值；E、提取seqnumber(25)提取TCP协议传输的数据包的seqnumber...

【专利技术属性】
技术研发人员：陈博俊，杨蕾，
申请(专利权)人：武汉虹旭信息技术有限责任公司，
类型：发明
国别省市：湖北;42