基于大数据的可视化分析运营方法及系统技术方案

本发明专利技术公开了基于大数据的可视化分析运营方法及系统，所述基于大数据的可视化分析运营系统，包括：数据采集模块，数据处理模块，数据检测模块，可视化模块；所述数据处理模块连接数据采集模块和数据检测模块；所述可视化模块连接数据处理模块和数据检测模块；所述数据采集模块用于采集数据信息；所述数据处理模块用于接收所述标签数据信息，然后对所述标签数据信息进行安全检测；所述数据检测模块用于接收所述标签数据信息，然后对所述标签数据信息进行安全检测；所述可视化模块用于接收所述安全检测后的标签数据信息进行可视化展示，本申请基于模块间联动，优化数据安全传输和可视化步骤，实现智能有效的大数据可视化分析

【技术实现步骤摘要】
基于大数据的可视化分析运营方法及系统


[0001]本专利技术涉及大数据可视化领域，设计了基于大数据的可视化分析运营方法及系统
。

技术介绍

[0002]可视化分析是一种重要的大数据分析方法，主要应用于海量数据的关联分析，然后做出完整的分析图标呈现复杂数据中蕴含的规律，并支持交互式的数据分析，一个好的可视化结果具有化繁为简和一目了然等特征，可以结构数据中蕴含的复杂信息，进而高效的传达数据，引导用户关注数据的重要属性特征和赋予用户洞察不同数据侧面的能力
[0003]可是，现有可视化分析仍然面临着许多问题，例如数据准备代价高
、
交互响应高延迟
、
效率低的问题，且采用的可视化查询语言对用户的编程和相关技能有着极高的要求，需要用户明确指明对哪部分数据自己进行何种可视化操作，导致手动录入数据异常
、
缺失的情况增加，无法实现智能有效的可视化分析
。

技术实现思路

[0004]有鉴于现有技术的上述缺陷，本专利技术提出基于大数据的可视化分析运营方法及系统，本专利技术设计的技术方案步骤包括：
[0005]所述基于大数据的可视化分析运营系统，包括：数据采集模块，数据处理模块，数据检测模块，可视化模块；所述数据处理模块连接数据采集模块和数据检测模块；所述可视化模块连接数据处理模块和数据检测模块；所述数据采集模块用于采集数据信息；所述数据处理模块用于接收所述数据信息，然后对所述数据信息进行预处理，得到标签数据信息；所述数据检测模块用于接收所述标签数据信息，然后对所述标签数据信息进行安全检测；所述可视化模块用于接收所述安全检测后的标签数据信息，然后设计可视化界面和交互方式，并将所述安全检测后的标签数据信息进行可视化展示
。
[0006]优选地，所述数据采集模块包括：所述数据采集模块选择
Scrapy
‑
Redis
作为爬虫框架，支持分布式，并采用融合的爬虫策略进行数据采集，当需要采集的数据类型单一时，采用普通爬虫策略获取数据信息；当需要采集的数据类型复杂时，采用基于主体的爬虫策略，利用融合的爬虫策略进行相关主体的分析获取数据信息
。
[0007]优选地，所述可视化模块包括：所述可视化模块还用于通过
CompassQL
结合
Voyager2
实现自动数据可视化推荐和用户交互式可视化，当
Voyager2
检测到
CompassQL
存在通配符，自动进入可视化结果的推荐；当
Voyager2
检测到
CompassQL
不存在通配符，根据用户指定的可视化属性和映射方式进行相应的可视化结果推荐
。
[0008]优选地，所述可视化模块包括：所述可视化模块还用于进行实时信息推送的优化，在前后端信息沟通方式上，首选后端服务器推送模型，前端订阅相关信息主体后，等待来自服务器的消息推送；所述可视化模块还用于选用
Redis
组件作为
Voyager2
的高速缓存，定时定量的推送数据
。
[0009]所述基于大数据的可视化分析运营方法，应用于所述的基于大数据的可视化分析运营系统，所述方法包括以下步骤：
S10
：所述数据采集模块采集数据信息；
S20
：所述数据处理模块接收所述数据信息，然后对所述数据信息进行预处理，得到标签数据信息；
S30
：所述数据检测模块接收所述标签数据信息，然后对所述标签数据信息进行安全检测；
S40
：所述可视化模块接收所述安全检测后的标签数据信息，然后设计可视化界面和交互方式，并将所述安全检测后的标签数据信息进行可视化展示
。
[0010]优选地，所述
S10
包括以下步骤：
S101
：根据用户需求确定采集数据信息的数据类型，选择数据来源网站；
S102
：使用
Scrapy
‑
Redis
提供的爬虫框架，然后编写爬虫程序，实现对所述数据来源网站的访问和数据抓取；
S103
：将抓取的数据储存到数据库或文件中，得到所述数据信息；
S104
：定期对爬虫程序进行监控和维护
。
[0011]优选地，所述
S20
包括以下步骤：
S201
：所述数据处理模块接收所述数据信息，得到所述数据信息的数据缺失值，然后采用填充法对所述数据缺失值进行自动填充补正；
S202
：然后对所述自动填充补正后的数据信息进行数据集合操作，将多个数据格式整合为一个单一的数据集；
S203
：对所述数据集进行标准化处理，按比例进行缩放，使数据集处于一个特定的小区间；
S204
：对所述标准化处理后的数据集进行数据标识操作，首先设置数据的点号信息，然后使点号信息与所述标准化处理后的数据集进行关联，得到所述标签数据信息
。
[0012]优选地，所述
S30
包括以下步骤：
S301
：所述数据检测模块接收所述标签数据信息，读取对应的点号信息，对所述点号信息逐个与现有线路的点位信息进行匹配检查，匹配筛选出正常数据和待定数据；
S302
：对所述待定数据进行二次检查，进一步筛选和纠正；
S303
：对所述正常数据进行变形值检查，输出所述安全检测后的标签数据信息
。
[0013]优选地，所述
S302
包括以下步骤：
S3001
：读取所述待定数据的点号信息；
S3002
：使用预分配的点号信息替代所述待定数据的点号信息；
S3003
：对所述替代后的点号信息进行匹配检查，筛选出正常数据和异常数据；
S3004
：对所述异常数据进行剔除
。
[0014]优选地，所述
S303
包括：首先将所述正常数据随机排序，得到2个序列的所述正常数据，表示为：
[0015]{x1，
x2，
…
，
x
n
}
[0016]然后利用
Hampel
识别器，对所述序列里的数据的中值和标准值进行估计，所述中值
m
i
公式为：
[0017]m
i
＝
median(x
i
‑
k
，
…
，
x
i+k
)
[0018]式中，
i
为序列里预设的第
i
个数据，
median
为中值函数表达，
k
为
Hampel
内预设的滑动窗口本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于大数据的可视化分析运营系统，其特征在于，包括：数据采集模块，数据处理模块，数据检测模块，可视化模块；所述数据处理模块连接数据采集模块和数据检测模块；所述可视化模块连接数据处理模块和数据检测模块；所述数据采集模块用于采集数据信息；所述数据处理模块用于接收所述数据信息，然后对所述数据信息进行预处理，得到标签数据信息；所述数据检测模块用于接收所述标签数据信息，然后对所述标签数据信息进行安全检测；所述可视化模块用于接收所述安全检测后的标签数据信息，然后设计可视化界面和交互方式，并将所述安全检测后的标签数据信息进行可视化展示
。2.
根据权利要求1所述的基于大数据的可视化分析运营系统，其特征在于，所述数据采集模块包括：所述数据采集模块选择
Scrapy
‑
Redis
作为爬虫框架，支持分布式，并采用融合的爬虫策略进行数据采集，当需要采集的数据类型单一时，采用普通爬虫策略获取数据信息；当需要采集的数据类型复杂时，采用基于主体的爬虫策略，利用融合的爬虫策略进行相关主体的分析获取数据信息
。3.
根据权利要求1所述的基于大数据的可视化分析运营系统，其特征在于，所述可视化模块包括：所述可视化模块还用于通过
CompassQL
结合
Voyager2
实现自动数据可视化推荐和用户交互式可视化，当
Voyager2
检测到
CompassQL
存在通配符，自动进入可视化结果的推荐；当
Voyager2
检测到
CompassQL
不存在通配符，根据用户指定的可视化属性和映射方式进行相应的可视化结果推荐
。4.
根据权利要求3所述的基于大数据的可视化分析运营系统，其特征在于，所述可视化模块包括：所述可视化模块还用于进行实时信息推送的优化，在前后端信息沟通方式上，首选后端服务器推送模型，前端订阅相关信息主体后，等待来自服务器的消息推送；所述可视化模块还用于选用
Redis
组件作为
Voyager2
的高速缓存，定时定量的推送数据
。5.
基于大数据的可视化分析运营方法，其特征在于，应用于如权利要求1‑4任一项所述的基于大数据的可视化分析运营系统，所述方法包括以下步骤：
S10
：所述数据采集模块采集数据信息；
S20
：所述数据处理模块接收所述数据信息，然后对所述数据信息进行预处理，得到标签数据信息；
S30
：所述数据检测模块接收所述标签数据信息，然后对所述标签数据信息进行安全检测；
S40
：所述可视化模块接收所述安全检测后的标签数据信息，然后设计可视化界面和交互方式，并将所述安全检测后的标签数据信息进行可视化展示
。6.
根据权利要求5所述的基于大数据的可视化分析运营方法，其特征在于，所述
S10
包括以下步骤：
S101
：根据用户需求确定采集数据信息的数据类型，选择数据来源网站；
S102
：使用
Scrapy
‑
Redis
提供的爬虫框架，然后编写爬虫程序，实现对所述数据来源网站的访问和数据抓取；
S103
：将抓取的数...

【专利技术属性】
技术研发人员：胡军，
申请(专利权)人：深圳君南信息系统有限公司，
类型：发明
国别省市：