一种基于计算机大数据信息采集系统技术方案

本发明专利技术公开了一种基于计算机大数据信息采集系统，一种基于计算机大数据信息采集系统，包括若干个计算机终端和与计算机终端连接的服务器终端，其特征在于，所述计算机终端和所述服务器终端通过索引单元相连接，索引单元用于根据计算机终端或者服务器终端的索取需求，判断计算机终端和服务器终端之间进行数据直传或者依靠规则索引采集信息。利用大数据获取关联信息，将关联的计算机终端作为独立的信息采集和计算单元，充分的利用计算机终端的计算资源和本地的运算能力，提升效率，解决计算资源占用过度的问题，增加获得结果的速度以及缓解对海量数据进行信息采集的压力，能够提高信息采集需求速度，能够定位和寻找数据来源。能够定位和寻找数据来源。能够定位和寻找数据来源。

【技术实现步骤摘要】
一种基于计算机大数据信息采集系统


[0001]本专利技术涉及数据处理
，尤其涉及基于计算机大数据信息采集系统。

技术介绍

[0002]数据是对事实、概念或指令的一种表达形式，数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
[0003]对于一个集体，如企业、学校、工厂等，在大数据共联的背景下，每天产生的数据以及要处理的数据是庞杂的，并且需要从海量数据中进行所需要的信息采集；
[0004]采集的数据是否全面、快速、是否能够定位到数据来源、是否能够很好的响应索引需求以及对数据处理的方式都会影响到决策，若是数据无法采集、采集的数据无法定位来源都会可能产生损失，并且在计算机终端获得数据集采集信息时，不一定能够很好的准确的获得相关性信息。
[0005]现有技术中，如何从海量的数据中获取对企业等有用的数据成为需要解决的问题，在需要进行索引时，如何从海量数据中，索引、采集相关的、需求的信息也是需要面对的问题。

技术实现思路

[0006]本专利技术的目的是为了解决现有技术中存在的缺陷，而提出的基于计算机大数据信息采集系统。
[0007]为了实现上述目的，本专利技术采用了如下技术方案：
[0008]一种基于计算机大数据信息采集系统，包括若干个计算机终端和与计算机终端连接的服务器终端，所述计算机终端和所述服务器终端通过索引单元相连接，索引单元用于根据计算机终端或者服务器终端的索取需求，判断计算机终端和服务器终端之间进行数据直传或者依靠规则索引采集信息。
[0009]进一步地，索引单元包括实时信息共享模块，用于将计算机终端和服务器终端的规定信息进行实时共享；
[0010]需求信息索求模块，用于根据需求指令或需求信息转换为向计算机终端或服务器终端的索求信息；
[0011]信息匹配传输模块，用于根据索求信息进行数据的匹配和传输。
[0012]进一步地，所述计算机终端包括设备区分模块，用于连接服务器终端生成区分设备的识别码；
[0013]分类空间标记模块，用于绑定设备的识别码并分配计算机终端所需要的资源空间和在服务器终端内的资源空间；
[0014]数据空间传输模块，用于根据设备识别码在相应的资源空间内传输数据和命令指令；
[0015]路线传输模块，用于连接各个信息采集终端，并传输完整的数据；
[0016]空间分配模块，用于划分、分配和调整资源空间；
[0017]采集结果模块，用于对计算机终端获得的采集数据进行信息提取、分析、分类并获得结果；
[0018]采集规则交互模块，用于连接服务器终端相互传输采集规则方式，实现采集不同的信息数据，其中：
[0019]所述路线传输模块连接所述设备区分模块，所述设备区分模块分别连接所述分类空间标记模块、所述数据空间传输模块和所述空间分配模块，所述分类空间标记模块、所述数据空间传输模块和所述空间分配模块均通过所述采集规则交互模块连接所述采集结果模块。
[0020]进一步地，所述空间分配模块的步骤流程为：根据计算机终端的空间资源以及计算机终端所连接的各个信息采集终端，划分能够满足计算和存储的资源空间，并同步要求服务器终端中具备同样属性的资源空间，且进行点对点传输。
[0021]进一步地，设备区分模块的流程步骤为：当前计算连接服务器终端，并同时传输当前计算机终端的位置信息、硬件信息以及应用场景信息；
[0022]服务器终端获取传输的信息，基于信息转化具有相应编号的设备识别码，存储云端同时传输给计算机终端。
[0023]进一步地，服务器终端包括信息采集单元，用于与计算机终端交互采集规则，对传输的数据进行采集；
[0024]区域标注模块，用于根据设备识别码进行区域信息标注和识别；
[0025]区域信息处理模块，用于根据区域信息，匹配相应的采集规则、数据分析规则和数据提取方式；
[0026]数据转化模块，用于提取数据关键信息，转化为相应的可采集的关键信息；
[0027]数据引流模块，用于根据关键信息，将信息进行标准并分配至相应的存储空间，其中：
[0028]所述信息采集模块连接所述区域标注模块，所述区域标注模块通过所述区域信息处理模块连接所述数据转化模块，所述数据转化模块连接所述数据引流模块。
[0029]进一步地，所述数据转化模块和所述数据引流模块的提取的关键信息包括位置信息、信息类型、信息关键词、语句匹配和语义归类，其中，关键信息提取时，每提取一个关键信息时，在提取的信息数据基础上提取下一个关键信息。
[0030]进一步地，所述信息采集单元在计算机终端进行信息采集的完成后，统计有效的采集关键字符、采集流程顺序和采集优先级方式，并记录至当前计算机终端中，作为采集规则，对下一数据集进行同样的采集流程。
[0031]相比于现有技术，本专利技术的有益效果在于：利用大数据获取关联信息，将关联的计算机终端作为独立的信息采集和计算单元，充分的利用计算机终端的计算资源和本地的运算能力，提升效率，解决计算资源占用过度的问题；
[0032]将数据计算分布至运算时间更短、采集结果更加明确的对应终端中，利用计算机终端的位置特性和与其连接的信息采集终端，来增加获得结果的速度以及缓解对海量数据进行信息采集的压力；
[0033]能够提高信息采集需求速度，对海量数据进行提取和划分，计算机终端的本地库不需要完全共享，仅需要发送和处理相应的索求指令，反馈采集结果，达到获取所需要的信息采集目的，根据采集的结果也可以反向定位计算机终端，能够定位和寻找数据来源。
附图说明
[0034]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
[0035]图1为本专利技术提出的基于计算机大数据信息采集系统的流程示意图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0037]基于计算机大数据信息采集系统，包括若干个计算机终端和与计算机终端连接的服务器终端。
[0038]实施例一
[0039]参照图1，基于计算机大数据信息采集系统，所述计算机终端和所述服务器终端通过索引单元相连接，索引单元用于根据计算机终端或者服务器终端的索取需求，判断计算机终端和服务器终端之间进行数据直传或者依靠规则索引采集信息；
[0040]索引单元包括实时信息共享模块，用于将计算机终端和服务器终端的规定信息进行实时共享；
[0041]需求信息索求模块，用于根据需求指令或需求信息转换为向计算机终端或服务器终端的索求信息；
[0042]信息匹配传输模块，用于根据索求信息进行数据的匹配和传输。
[0043]实施例二
[0044]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机大数据信息采集系统，包括若干个计算机终端和与计算机终端连接的服务器终端，其特征在于，所述计算机终端和所述服务器终端通过索引单元相连接，索引单元用于根据计算机终端或者服务器终端的索取需求，判断计算机终端和服务器终端之间进行数据直传或者依靠规则索引采集信息。2.根据权利要求1所述的基于计算机大数据信息采集系统，其特征在于，索引单元包括实时信息共享模块，用于将计算机终端和服务器终端的规定信息进行实时共享；需求信息索求模块，用于根据需求指令或需求信息转换为向计算机终端或服务器终端的索求信息；信息匹配传输模块，用于根据索求信息进行数据的匹配和传输。3.根据权利要求2所述的基于计算机大数据信息采集系统，其特征在于，所述计算机终端包括设备区分模块，用于连接服务器终端生成区分设备的识别码；分类空间标记模块，用于绑定设备的识别码并分配计算机终端所需要的资源空间和在服务器终端内的资源空间；数据空间传输模块，用于根据设备识别码在相应的资源空间内传输数据和命令指令；路线传输模块，用于连接各个信息采集终端，并传输完整的数据；空间分配模块，用于划分、分配和调整资源空间；采集结果模块，用于对计算机终端获得的采集数据进行信息提取、分析、分类并获得结果；采集规则交互模块，用于连接服务器终端相互传输采集规则方式，实现采集不同的信息数据，其中：所述路线传输模块连接所述设备区分模块，所述设备区分模块分别连接所述分类空间标记模块、所述数据空间传输模块和所述空间分配模块，所述分类空间标记模块、所述数据空间传输模块和所述空间分配模块均通过所述采集规则交互模块连接所述采集结果模块。4.根据权利要求3所述的基于计算机大数据信息采集系统，其特征在于，所述空间分配模块的步骤流程为：根据计算机终端的空间资源以及...

【专利技术属性】
技术研发人员：赵璐，董世权，郭勇，石新英，韩晓东，金家康，高双全，
申请(专利权)人：河北省同创交通工程配套产品产业技术研究院，
类型：发明
国别省市：