基于NLP的大数据分析管理系统及方法技术方案

本发明专利技术公开了一种基于NLP的大数据分析管理系统，包括分析管理系统、云端服务器和显示单元，分析管理系统与显示单元连接，所述分析管理系统包括专属数据库、数据采集模块、数据查询模块、数据处理模块、图形处理模块、交互式处理模块和搜索引擎模拟训练模块。本发明专利技术属于大数据分析管理技术领域，具体是提供了一种可同时满足实时数据展示、实时可变维度的数据展示，基于关键字、关键词、指令的全文检索以及选择数据呈现指标的信息的数据查询，通过海量的数据检索，大量的数据渲染，达到良好的体验效果，同时可以更新专属语料库，不断提高数据采集的准确率，减少对人工差错的依赖的基于NLP的大数据分析管理系统及方法。的大数据分析管理系统及方法。的大数据分析管理系统及方法。

【技术实现步骤摘要】
基于NLP的大数据分析管理系统及方法


[0001]本专利技术属于大数据分析管理
，具体是指一种基于NLP的大数据分析管理系统及方法。

技术介绍

[0002]长期以来，很多企业依赖于信息咨询才能继续生存发展，而信息大多除了熟人关系获得以外，很多来源于互联网，互联网的网站很多，网站的数量数以百万，而这些网站信息的出现也时有时无，此系统首先解决的就是网站收集、分拣、识别信息咨询问题，及我们常说的信息采集。
[0003]大数据分析是指对规模巨大的数据进行分析，大数据可以概括为数据量大、速度快、类型多、价值、真实性，大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点，随着大数据时代的来临，大数据分析也应运而生。
[0004]然而目前绝大多数数据系统或工具采集信息的准确率不是很高，最多可以达到40
‑
50％的准确率，学习能力较差。

技术实现思路

[0005]针对上述情况，为克服现有技术的缺陷，本专利技术提供了一种可同时满足实时数据展示、实时可变维度的数据展示，基于关键字、关键词、指令的全文检索，通过海量的数据检索，大量的数据渲染，达到良好的检索体验效果，同时可以更新专属语料库，不断提高数据采集的准确率，减少对人工差错的依赖的基于NLP的大数据分析管理系统及方法。
[0006]本专利技术采取的技术方案如下：本专利技术一种基于NLP的大数据分析管理系统，包括分析管理系统、云端服务器和显示单元，所述云端服务器通过数据协议与显示单元相连接，所述分析管理系统与显示单元连接，所述分析管理系统包括专属数据库、数据采集模块、数据查询模块、数据处理模块、图形处理模块、交互式处理模块和搜索引擎模拟训练模块，
[0007]所述数据采集模块用于通过各大网站上公开的信息对网站进行信息获取；
[0008]所述数据查询模块用于对待检索的问题进行解析处理实现查询；
[0009]所述数据处理模块用于将数据查询模块查询出的结果转化为用于表示计算机图形的数据结构，并汇总成数据结果集；
[0010]所述图形处理模块用于将数据处理模块得到的数据结果集渲染成计算机描述的几何图形；
[0011]所述交互式处理模块为数据处理模块无法智能识别时采用的替补选项；
[0012]所述专属数据库用于对数据采集模块采集到的信息和数据进行分类归档；
[0013]所述搜索引擎模拟训练模块通过数据采集模块、数据查询模块、数据处理模块、图形处理模块、交互式处理模块训练模型。
[0014]进一步地，所述数据查询模块包括数据输入模块和请求查询模块，所述数据输入
模块用于输入关键字、关键词、指令、以及选择数据呈现指标的信息，搜索引擎在接收到数据输入模块的信息后，请求查询模块用于对输入的关键字利用NLP技术进行解析，对选择的数据呈现维度，统计指标进行查询语句转化。
[0015]进一步地，所述交互式处理模块包括但不限于人工审核、人工修正结果，并将人工修正结果进行主动学习，训练模型。
[0016]本专利技术还公开了一种基于NLP的大数据分析管理的方法，包括如下步骤：
[0017]S1首先通过数据采集模块对各大网站上公开的信息对网站进行实时的信息获取，获取后的信息存入专属数据库内，专属数据库可用于对数据采集模块采集到的信息和数据进行分类归档；
[0018]S2通过建立的专属数据库，可通过本数据库进行检索和分析，通过数据查询模块对待检索的问题进行解析处理实现查询，可通过输入关键字、关键词、指令、以及选择数据呈现指标的信息实现查询，搜索引擎在接收到数据输入模块的信息后，请求查询模块用于对输入的关键字利用NLP技术进行解析，对选择的数据呈现维度，统计指标进行查询语句转化，再通过数据处理模块用于将数据查询模块查询出的结果转化为用于表示计算机图形的数据结构，并汇总成数据结果集，图形处理模块用于将数据处理模块得到的数据结果集渲染成计算机描述的几何图形，利用物理引擎增加图形中的动画效果，所有的渲染过程都通过计算机GPU进行计算和渲染，使得渲染速度极大的提升，最后呈现在浏览器上；
[0019]S3过程中数据采集模块、数据查询模块、数据处理模块、图形处理模块、交互式处理模块中采集、查询、处理的结果发送至搜索引擎模拟训练模块达到建立并训练模型的目的；
[0020]S4数据处理模块处理不了的问题与情况，通过交互式处理模块的人工审核、人工修正结果，并将人工修正结果发送至交互式处理模块进行主动学习，达到训练的效果。
[0021]采用上述结构本专利技术取得的有益效果如下：本方案一种基于NLP的大数据分析管理系统及方法，可同时满足实时数据展示、实时可变维度的数据展示，基于关键字、关键词、指令的全文检索以及选择数据呈现指标的信息的数据查询，通过海量的数据检索，大量的数据渲染，达到良好的体验效果，同时可以更新专属语料库，不断提高数据采集的准确率，减少对人工差错的依赖。
附图说明
[0022]图1为本专利技术一种基于NLP的大数据分析管理系统及方法的整体组成示意图。
[0023]附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。
具体实施方式
[0024]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例；基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]如图1所示，本专利技术一种基于NLP的大数据分析管理系统及方法，包括分析管理系
统、云端服务器和显示单元，所述云端服务器通过数据协议与显示单元相连接，所述分析管理系统与显示单元连接，所述分析管理系统包括专属数据库、数据采集模块、数据查询模块、数据处理模块、图形处理模块、交互式处理模块和搜索引擎模拟训练模块，
[0026]所述数据采集模块用于通过各大网站上公开的信息对网站进行信息获取；
[0027]所述数据查询模块用于对待检索的问题进行解析处理实现查询；
[0028]所述数据处理模块用于将数据查询模块查询出的结果转化为用于表示计算机图形的数据结构，并汇总成数据结果集；
[0029]所述图形处理模块用于将数据处理模块得到的数据结果集渲染成计算机描述的几何图形；
[0030]所述交互式处理模块为数据处理模块无法智能识别时采用的替补选项；
[0031]所述专属数据库用于对数据采集模块采集到的信息和数据进行分类归档；
[0032]所述搜索引擎模拟训练模块通过数据采集模块、数据查询模块、数据处理模块、图形处理模块、交互式处理模块训练模型。
[0033]进一步地，所述数据查询模块包括数据输入模块和请求查询模块，所述数据输入模块用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于NLP的大数据分析管理系统，其特征在于：包括分析管理系统、云端服务器和显示单元，所述云端服务器通过数据协议与显示单元相连接，所述分析管理系统与显示单元连接，所述分析管理系统包括专属数据库、数据采集模块、数据查询模块、数据处理模块、图形处理模块、交互式处理模块和搜索引擎模拟训练模块，所述数据采集模块用于通过各大网站上公开的信息对网站进行信息获取；所述数据查询模块用于对待检索的问题进行解析处理实现查询；所述数据处理模块用于将数据查询模块查询出的结果转化为用于表示计算机图形的数据结构，并汇总成数据结果集；所述图形处理模块用于将数据处理模块得到的数据结果集渲染成计算机描述的几何图形；所述交互式处理模块为数据处理模块无法智能识别时采用的替补处理模式；所述专属数据库用于对数据采集模块采集到的信息和数据进行分类归档；所述搜索引擎模拟训练模块通过数据采集模块、数据查询模块、数据处理模块、图形处理模块、交互式处理模块训练模型。2.根据权利要求1所述的基于NLP的大数据分析管理系统及方法，其特征在于：所述数据查询模块包括数据输入模块和请求查询模块，所述数据输入模块用于输入关键字、关键词、指令、以及选择数据呈现指标的信息，搜索引擎在接收到数据输入模块的信息后，请求查询模块用于对输入的关键字利用NLP技术进行解析，对选择的数据呈现维度，统计指标进行查询语句转化。3.根据权利要求1所述的基于NLP的大数据分析管理系统及方法，其特征在于：所述交互式处理模块包括但...

【专利技术属性】
技术研发人员：盛夏，
申请(专利权)人：山东寻声网络科技有限公司，
类型：发明
国别省市：