一款Web端基于大数据技术的可视化数据处理方法技术

本发明专利技术公开了一款Web端基于大数据技术的可视化数据处理方法，包括以下步骤：S1：数据搜索：利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎；S2：数据可视化，利用echarts实现的千万级数据可视化渲染能力；S3：数据挖掘及数据存储：数据由第三方接口并发实时接入；S4：高并发处理及nosql数据库：nosql数据库redis，以内存存储的数据结构服务器；S5：自动预警，通过第三平台提供短信预警，javamail实现邮件预警；S6：Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器。本发明专利技术主要针对一款Web端基于大数据技术的可视化数据处理方法，本发明专利技术能够全网抓取资讯数据，实现自动预警与数据可视化，可对数据进行较好的分析与统计，提供工作效率。

A visual data processing method based on big data technology in Web

【技术实现步骤摘要】
一款Web端基于大数据技术的可视化数据处理方法
本专利技术涉及数据处理
，具体为一款Web端基于大数据技术的可视化数据处理方法。
技术介绍
舆情是指在一定的社会空间内，围绕中介性社会事件的发生、发展和变化，作为主体的民众对作为客体的社会管理者、企业、个人及其他各类组织及其政治、社会、道德等方面的取向产生和持有的社会态度，社会舆情映射到互联网环境中产生了网络舆情，随着因特网在全球范围内的蓬勃发展与应用，互联网环境中的的信息数据也呈几何级数的速度迅速膨胀，而在当今这个大数据时代，不仅给网络舆情的相关工作带来了挑战，同时也带来了机遇，大数据成为了舆情研究的利器，与此同时，数据之间存在着封闭性与关系断裂性会使得我们在整理数据时不好进行统计，也无法对敏感新闻预警进行实时预警，传统的数据跟踪搜集分析手段已经对此力不从心，这就对数据分析的技术手段提出了更高的要求。
技术实现思路
本专利技术的目的在于提供一款Web端基于大数据技术的可视化数据处理方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一款Web端基于大数据技术的可视化数据处理方法，包括以下步骤：S1：数据搜索：利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎；S2：数据可视化，利用echarts实现的千万级数据可视化渲染能力，支持常规的折线图、柱状图、散点图、饼图、K线图，并且支持图与图之间的混搭；jfreechart使用JAVA语言来实现可视化；S3：数据挖掘及数据存储：数据由第三方接口并发实时接入，利用关系型数据库mysql来存储数据，并利用分区，读写分离等技术对应大数据量处理需求；S4：高并发处理及nosql数据库：nosql数据库redis，以内存存储的数据结构服务器，来做关系数据库的补充，高速缓存数据，为数据查询统计并数据可视化提供性能保障；S5：自动预警：通过词库中关键词，及一系列规则匹配符合的新闻资讯，通过第三平台提供短信预警，javamail实现邮件预警；S6：Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器。优选的，在S1中，数据搜索可实现资讯数据的检索，添加，更新和删除，以及文本分析，标记和过滤，各类复杂的搜索查询和聚类查询分析功能。优选的，在S2中，数据可视化支持图例、视觉映射、数据区域缩放、tooltip、数据刷选等交互式数据技术，可以自由选择数据，挖掘数据，对多个图表数据联动查看，进行多维有效分析，可以在折线图柱状图等上面直接交互点击跳转到对应数据列表或者跳转另外的统计图表。优选的，在S3中，通过图表之间的关联可实现数据筛选及数据清洗，并向搜索引擎中做数据索引。优选的，在S4中，高并发处理及nosql数据库支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型，内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过RedisSentinel提供高可用，通过RedisCluster提供自动分区。优选的，在S5中，短信预警为封装短信内容发送post请求，通过第三方短信通道，发送短信预警。优选的，在S5中，邮件预警为javamailjava语言处理email的API。优选的，在S6中，Nginx及文件服务器将对应文件及图片上传至服务器，并可以通过http访问及下载，并通过gzip压缩图片或者css。与现有技术相比，本专利技术的有益效果是：通过词库预警词实现自动预警，将预警新闻通过短信，邮件方式发送目标公司负责人，全网抓取资讯数据，实现自动预警与数据可视化，可对数据进行较好的分析与统计，提供工作效率，根据设定关键词进行专项事件分类，elasticsearch做搜索引擎，提供基于关键词，文本分析的数据统计，mysql关系型数据库的数据筛选统计，通过redis进行缓存提高性能，并通过echarts,jfreechart实现数据可视化，通过后台管理系统提供人工的敏感新闻预警，舆情报告撰写，能够实时跟进，可对数据进行较好的分析与统计，提供工作效率。附图说明图1为本专利技术的整体流程框图。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种技术方案：一款Web端基于大数据技术的可视化数据处理方法，包括以下步骤：S1：数据搜索：利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎，能够实现资讯数据的检索，添加，更新和删除，以及文本分析，标记和过滤，各类复杂的搜索查询和聚类查询分析功能；S2：数据可视化，利用echarts实现的千万级数据可视化渲染能力，支持常规的折线图、柱状图、散点图、饼图、K线图，并且支持图与图之间的混搭，支持图例、视觉映射、数据区域缩放、tooltip、数据刷选等交互式数据技术，可以自由选择数据，挖掘数据，对多个图表数据联动查看，进行多维有效分析，基于软硬件环境、数据量、功能等需求，自由选择Canvas和SVG两种渲染器，并能够以png或jpg格式保存结果图像，jfreechart使用JAVA语言来实现可视化，它有较强的交互能力，可以在折线图柱状图等上面直接交互点击跳转到对应数据列表或者跳转另外的统计图表；S3：数据挖掘及数据存储：数据由第三方接口并发实时接入，利用关系型数据库mysql来存储数据，并利用分区，读写分离等技术对应大数据量处理需求，通过表表之间的关联等实现数据筛选及数据清洗，并向搜索引擎中做数据索引；S4：高并发处理及nosql数据库：nosql数据库redis，以内存存储的数据结构服务器，来做关系数据库的补充，高速缓存数据，为数据查询统计并数据可视化提供性能保障，它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型，内置复制、Lua脚本、LRU收回、事务以及不同级别磁盘持久化功能，同时通过RedisSentinel提供高可用，通过RedisCluster提供自动分区；自动预警：通过词库中关键词，及一系列规则匹配符合的新闻资讯，通过第三平台提供短信预警，javamail实现邮件预警，短信预警：封装短信内容发送post请求，通过第三方短信通道，发送短信预警；邮件预警：javamailjava语言处理email的API，它可以方便地执行一些常用的邮件传输，JavaMail包中用于处理电子邮件的核心类是：Session,Message,Address,Authenticator,Transport,Store,Folder等；S6：Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器，其特点是占有内存少，并发能力强，同时可以配置为文件服务器，将对应文件及图片上传至服务器，并可以通过http访问及下载，并通过gzip压缩图片或者css，js文件来提高网页访问速度。elasticsearch是一个基于Lucene的搜索服务器，它提供了一个分布式多用户能力的全文搜索引擎；lucene是apache本文档来自技高网...

【技术保护点】
1.一款Web端基于大数据技术的可视化数据处理方法，其特征在于，包括以下步骤：S1：数据搜索：利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎；S2：数据可视化，利用echarts实现的千万级数据可视化渲染能力，支持常规的折线图、柱状图、散点图、饼图、K线图，并且支持图与图之间的混搭；jfreechart使用JAVA语言来实现可视化；S3：数据挖掘及数据存储：数据由第三方接口并发实时接入，利用关系型数据库mysql来存储数据，并利用分区，读写分离等技术对应大数据量处理需求；S4：高并发处理及nosql数据库：nosql数据库redis，以内存存储的数据结构服务器，来做关系数据库的补充，高速缓存数据，为数据查询统计并数据可视化提供性能保障；S5：自动预警：通过词库中关键词，及一系列规则匹配符合的新闻资讯，通过第三平台提供短信预警，javamail实现邮件预警；S6：Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器。

【技术特征摘要】
1.一款Web端基于大数据技术的可视化数据处理方法，其特征在于，包括以下步骤：S1：数据搜索：利用elasticsearch实现的基于lucene的分布式多用户能力的全文搜索引擎；S2：数据可视化，利用echarts实现的千万级数据可视化渲染能力，支持常规的折线图、柱状图、散点图、饼图、K线图，并且支持图与图之间的混搭；jfreechart使用JAVA语言来实现可视化；S3：数据挖掘及数据存储：数据由第三方接口并发实时接入，利用关系型数据库mysql来存储数据，并利用分区，读写分离等技术对应大数据量处理需求；S4：高并发处理及nosql数据库：nosql数据库redis，以内存存储的数据结构服务器，来做关系数据库的补充，高速缓存数据，为数据查询统计并数据可视化提供性能保障；S5：自动预警：通过词库中关键词，及一系列规则匹配符合的新闻资讯，通过第三平台提供短信预警，javamail实现邮件预警；S6：Nginx及文件服务器为nginx高性能的HTTP和反向代理web服务器。2.根据权利要求1的透明拉力胶的制备方法，其特征在于：在S1中，数据搜索可实现资讯数据的检索，添加，更新和删除，以及文本分析，标记和过滤，各类复杂的搜索查询和聚类查询分析功能。3.根据权利要求1的透明拉力胶的制备方法，其特征在于：在S2中，数据可视...

【专利技术属性】
技术研发人员：张伟，刘宇，洪佳琪，段萌，
申请(专利权)人：上海胜泰信息技术有限公司，
类型：发明
国别省市：上海,31