一种基于互联网的数据信息传输和采集系统技术方案

本发明专利技术涉及互联网领域，尤其是一种基于互联网的数据信息传输和采集系统，包括数据信息中心、互联网模块、数据传输模块、数据采集模块、数据处理模块和数据库组，互联模块通过数据采集模块与数据信息中心连接，数据信息中心通过数据传输模块与数据处理模块连接、数据处理模块与数据库组连接，数据处理模块包括内容提取、网页批量下载和自动分类，数据库组包括全文数据库，关系型数据库和指定文件夹。本发明专利技术有益效果是：基于互联网模块下，利用了数据采集模块和数据传输模块之间的结合传输，使得数据处理更为便携，安全可靠性较好，系统结构简单，同时具有很强的实用性。

【技术实现步骤摘要】

本专利技术涉及互联网领域，尤其是一种基于互联网的数据信息传输和采集系统。
技术介绍
随着互联网的发展，大数据采集和挖掘技术也在不断发展。因此，如何准确、高效、完整地从互联网中获取海量数据，就成为大数据技术群中的一项重要技术点。为了获取互联网中的数据，通常是结合爬行技术，试图下载目标网站所有的网页的HTML源码，理论上这样确实能够保证下载内容的完整性。然而，在具体实践中，如果直接在客户端使用HTTP/HTTPS协议下载目标网站的HTML源码会出现以下问题：部分目标网站使用ajax技术，并通过JavaScript将数据灌入页面中，由于不同网站的ajax方式均不同，需要额外分析XHR数据流；部分目标网站通过登录身份验证等外围手段对网站数据进行保护，因此需要对登录过程进行逆向分析和模拟，由于涉及加解密的JS通常经过了代码混淆，逆向分析的难度很大；直接对目标网站进行HTTP请求时，无法控制缓存Cache，经常会出现重复下载的情况，造成了资源的极大浪费。
技术实现思路
针对上述现有技术中存在的不足，本专利技术的目的在于提供一种基于互联网的数据信息传输和采集系统。为达到上述目的，本专利技术采用的技术方案是：一种基于互联网的数据信息传输和采集系统，包括数据信息中心、互联网模块、数据传输模块、数据
采集模块、数据处理模块和数据库组，所述互联模块通过数据采集模块与数据信息中心连接，所述数据信息中心通过数据传输模块与数据处理模块连接，所述数据处理模块与数据库组连接，所述数据处理模块包括内容提取、网页批量下载和自动分类，所述数据库组包括全文数据库、关系型数据库和指定文件夹。优选地，所述数据采集模块包括控制平台、配置芯片、指示灯、复位模块、子板扩展插槽、时钟模块、以太网接口、USB接口、固态存储器、第一串口和第二串口，所述控制平台包括单片机、总线模块、定时器、三态总线桥、IP核、异步收发传输器、子板接口、SDRAM控制器、输出/输入模块和RAM模块。优选地，所述单片机、SDRAM控制器、子板接口、异步收发传输器、USB接口、IP核和三态总线桥均与总线模块连接。优选地，所述配置芯片与RAM模块连接，所述指示灯和复位模块均与输出/输入模块连接，所述子板扩展插槽与子板接口连接，所述第一串口和第二串口均与异步收发传输器连接，所述以太网接口和固态存储器均与三态总线桥连接，所述时钟模块与定时器连接。由于采用上述技术方案，本专利技术有益效果是：基于互联网模块下，利用了数据采集模块和数据传输模块之间的结合传输，使得数据处理更为便携，安全可靠性较好，系统结构简单，同时具有很强的实用性。附图说明图1是本专利技术的系统框图；图2是本专利技术的数据采集模块原理框图。具体实施方式以下结合附图对本专利技术的实施例进行详细说明，但是本专利技术可以由权利要求限定和覆盖的多种不同方式实施。如图1并结合图2所示，一种基于互联网的数据信息传输和采集系统，包括数据信息中心、互联网模块、数据传输模块、数据采集模块、数据处理模块和数据库组，所述互联模块通过数据采集模块与数据信息中心连接，所述数据信息中心通过数据传输模块与数据处理模块连接，所述数据处理模块与数据库组连接，所述数据处理模块包括内容提取、网页批量下载和自动分类，所述数据库组包括全文数据库，关系型数据库和指定文件夹。进一步的，所述数据采集模块包括控制平台、配置芯片、指示灯、复位模块、子板扩展插槽、时钟模块、以太网接口、USB接口、固态存储器、第一串口和第二串口，所述控制平台包括单片机、总线模块、定时器、三态总线桥、IP核、异步收发传输器、子板接口、SDRAM控制器、输出/输入模块和RAM模块；所述单片机、SDRAM控制器、子板接口、异步收发传输器、USB接口、IP核和三态总线桥均与总线模块连接；所述配置芯片与RAM模块连接，所述指示灯和复位模块均与输出/输入模块连接，所述子板扩展插槽与子板接口连接，所述第一串口和第二串口均与异步收发传输器连接，所述以太网接口和固态存储器均与三态总线桥连接，所述时钟模块与定时器连接。本专利技术有益效果是：基于互联网模块下，利用了数据采集模块和数据传输模块之间的结合传输，使得数据处理更为便携，安全可靠性较好，系统结构简单，同时具有很强的实用性。以上所述仅为本专利技术的优选实施例，并非因此限制本专利技术的专利范围，凡是利用本专利技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
，均同理包括在本专利技术的专利保护范围内。本文档来自技高网...

【技术保护点】
一种基于互联网的数据信息传输和采集系统，其特征在于：包括数据信息中心、互联网模块、数据传输模块、数据采集模块、数据处理模块和数据库组，所述互联模块通过数据采集模块与数据信息中心连接，所述数据信息中心通过数据传输模块与数据处理模块连接，所述数据处理模块与数据库组连接，所述数据处理模块包括内容提取、网页批量下载和自动分类，所述数据库组包括全文数据库、关系型数据库和指定文件夹。

【技术特征摘要】
1.一种基于互联网的数据信息传输和采集系统，其特征在于：包括数据信息中心、互联网模块、数据传输模块、数据采集模块、数据处理模块和数据库组，所述互联模块通过数据采集模块与数据信息中心连接，所述数据信息中心通过数据传输模块与数据处理模块连接，所述数据处理模块与数据库组连接，所述数据处理模块包括内容提取、网页批量下载和自动分类，所述数据库组包括全文数据库、关系型数据库和指定文件夹。2.根据权利要求1所述的一种基于互联网的数据信息传输和采集系统，其特征在于：所述数据采集模块包括控制平台、配置芯片、指示灯、复位模块、子板扩展插槽、时...

【专利技术属性】
技术研发人员：陶军，
申请(专利权)人：全球电气资源深圳有限公司，
类型：发明
国别省市：广东;44