一种进行实时反馈的大数据挖掘分析系统技术方案

本发明专利技术涉及大数据分析技术领域。本发明专利技术涉及一种进行实时反馈的大数据挖掘分析系统。其包括数据收集单元、分布储存单元、实时处理单元、数据传输单元以及方案更新单元；数据收集单元用于对市场数据进行采集，并对采集的数据进行处理分析；本发明专利技术通过实时将采集的数据进行快速分类，并进行分析，使得能够即时响应数据的到达，并实时生成挖掘和分析结果，使得用户能够及时获取最新的数据分析结果，能够更好地支持决策和行动，通过对清洗完毕的数据进行评估，保证了分析结果的准确性和实时性，通过采集用户反馈需求数据，用户灵活地设置分析参数和策略，以满足不同的分析需求，直观地展示分析结果，使用户能快速理解和应用分析成果。使用户能快速理解和应用分析成果。使用户能快速理解和应用分析成果。

【技术实现步骤摘要】
一种进行实时反馈的大数据挖掘分析系统


[0001]本专利技术涉及大数据挖掘分析
，具体地说，涉及一种进行实时反馈的大数据挖掘分析系统。

技术介绍

[0002]随着大数据时代的到来，大量的数据被生成和积累，利用这些数据进行有效的挖掘和分析，可以揭示隐藏在数据背后的关联和规律，为决策提供有力支持，然而，传统的大数据挖掘分析系统在实时性和反馈性方面，由于数据的重复以及数据的分类的差异性，导致对数据实时分析显示较慢，鉴于此，提出一种进行实时反馈的大数据挖掘分析系统。

技术实现思路

[0003]本专利技术的目的在于提供一种进行实时反馈的大数据挖掘分析系统，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，提供了一种进行实时反馈的大数据挖掘分析系统，包括数据收集单元、分布储存单元、实时处理单元、数据传输单元以及方案更新单元；所述数据收集单元用于对市场数据进行采集，并对采集的数据进行处理分析，所述分布储存单元用于根据数据收集单元采集的数据进行分类标记，并将其分配至各个运行节点；所述实时处理单元用于对分布储存单元各个运行节点内的进行分析，并根据分析结果结合评估生成市场趋势报告；所述数据传输单元用于将实时处理单元生成的市场趋势报告进行显示转换，并上传至云端；所述方案更新单元用于采集用户云端反馈数据，并结合运行节点进行更新。
[0005]作为本技术方案的进一步改进，所述数据收集单元包括信息采集模块和数据清洗模块；所述信息采集模块用于对市场供应商使用API端口连接采集市场数据；所述数据清洗模块用于根据信息采集模块采集的市场数据进行清洗处理。
[0006]作为本技术方案的进一步改进，所述分布储存单元包括数据分类模块和数据分配模块；所述数据分类模块用于对数据清洗模块清理完毕的数据进行评估，并根据评估结果将其进行分类；所述数据分配模块用于根据数据分类模块的分类结果采用分布式存储系统对市场数据进行分布储存。
[0007]作为本技术方案的进一步改进，所述数据分配模块采用分布式存储系统对市场数据进行分布储存的表达式如下：；
中最小的那个；其中，：将某一节点i映射为0~1的概率空间；：将数据d映射到概率空间；：分布式存储节点数量，数据d将存储在节点n中。
[0008]实时处理单元包括特征采集模块和趋势预测模块；所述特征采集模块用于对分布储存的数据进行特征提取和情感分析；所述趋势预测模块将特征采集模块的分析数据结合市场数据进行趋势预测分析，根据分析数据生成市场趋势报告。
[0009]作为本技术方案的进一步改进，所述趋势预测模块根据分析数据生成市场趋势报告的步骤如下：在特征提取和情感分析结果上，使用RNN模型进行趋势预测，其中时间序列数据可以输入到RNN的每个时序步骤中，以便网络根据序列的先前信息制定下一个时间步骤的预测，公式如下所示：；其中，是市场趋势预测隐藏状态向量，代表网络学习到的时间步的信息，是输入序列在时间步的值，和是权重矩阵，分别表示隐藏状态和输入状态的权重，是偏差项，表示激活函数，是RNN在时间步的输出，是输出权重矩阵，是输出偏差，是用于分类任务的激活函数，将输出转换为概率值。
[0010]作为本技术方案的进一步改进，所述数据传输单元包括报告生成模块和数据加密模块；所述报告生成模块用于将趋势预测模块生成的市场趋势报告进行可视化显示格式转换；所述数据加密模块用于将转换完毕的报告采用数字加密的方式上传至云端。
[0011]作为本技术方案的进一步改进，所述报告生成模块市场趋势报告进行可视化显示格式转换的步骤如下：将数据以柱形图、折线图、散点图以及饼图形式进行可视化展示；折线图：用于显示一段时间内的连续数据变化情况，如股票价格、销售额；形图：用于比较不同类别之间的数据差异，如不同产品的销售情况；散点图：用于显示两个变量之间的相关性情况，如营收和成本之间的相关性；饼图：用于显示不同类别数据占总数的比例，如市场份额。
[0012]作为本技术方案的进一步改进，所述方案更新单元包括需求采集模块和报告更新模块；所述需求采集模块用于采集用户查看报告后对其反馈的数据，并对数据进行评估生成分析需求数据；所述报告更新模块用于将需求采集模块生成的分析需求数据输送至特征采集模块生成的市场趋势报告进行数据替换更新，获取新的市场趋势报告。
[0013]与现有技术相比，本专利技术的有益效果：该一种进行实时反馈的大数据挖掘分析系统中，通过实时将采集的数据进行快速分类，并进行分析，使得能够即时响应数据的到达，并实时生成挖掘和分析结果，使得用户能够及时获取最新的数据分析结果，能够更好地支持决策和行动，通过对清洗完毕的数据进行评估，保证了分析结果的准确性和实时性，通过采集用户反馈需求数据，用户可以灵活地设置分析参数和策略，以满足不同的分析需求，直观地展示分析结果，使用户能够快速理解和应用分析成果。
附图说明
[0014]图1为本专利技术的整体结构原理图；图2为本专利技术的对市场数据进行采集的结构原理图；图3为本专利技术的分配至各个运行节点的结构原理图；图4为本专利技术的生成市场趋势报告的结构原理图；图5为本专利技术的进行显示转换的结构原理图；图6为本专利技术的结合运行节点进行更新的结构原理图。
[0015]图中各个标号意义为：10、数据收集单元；11、信息采集模块；12、数据清洗模块；20、分布储存单元；21、数据分类模块；22、数据分配模块；30、实时处理单元；31、特征采集模块；32、趋势预测模块；40、数据传输单元；41、报告生成模块；42、数据加密模块；50、方案更新单元；51、需求采集模块；52、报告更新模块。
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]实施例：请参阅图1
‑
图6所示，本实施例目的在于，提供了一种进行实时反馈的大数据挖掘分析系统，括数据收集单元10、分布储存单元20、实时处理单元30、数据传输单元40以及方案更新单元50；数据收集单元10用于对市场数据进行采集，并对采集的数据进行处理分析；数据收集单元10包括信息采集模块11和数据清洗模块12；信息采集模块11用于对市场供应商使用API端口连接采集市场数据；通过与市场数据供应商的API接口连接，采集实时的市场数据流，包括交易数据、社交媒体数据和新闻数据；数据清洗模块12用于根据信息采集模块11采集的市场数据进行清洗处理。清洗步骤如下：交易数据清洗：删除不完整的或者无效的交易记录；
去掉重复的交易记录；格式化交易时间以便于分析；处理异常的交易数据，例如超出正常范围的交易价格或者成交量；将交易数据转换为适合分析的格式，例如时间序列格式。
[0018]社交媒体数据清洗：删除无关的或者广告信息；对文本进行词干提取和词性标注；处理异常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种进行实时反馈的大数据挖掘分析系统，其特征在于：包括数据收集单元（10）、分布储存单元（20）、实时处理单元（30）、数据传输单元（40）以及方案更新单元（50）；所述数据收集单元（10）用于对市场数据进行采集，并对采集的数据进行处理分析，所述分布储存单元（20）用于根据数据收集单元（10）采集的数据进行分类标记，并将其分配至各个运行节点；所述实时处理单元（30）用于对分布储存单元（20）各个运行节点内的进行分析，并根据分析结果结合评估生成市场趋势报告；所述数据传输单元（40）用于将实时处理单元（30）生成的市场趋势报告进行显示转换，并上传至云端；所述方案更新单元（50）用于采集用户云端反馈数据，并结合运行节点进行更新。2.根据权利要求1所述的进行实时反馈的大数据挖掘分析系统，其特征在于：所述数据收集单元（10）包括信息采集模块（11）和数据清洗模块（12）；所述信息采集模块（11）用于对市场供应商使用API端口连接采集市场数据；所述数据清洗模块（12）用于根据信息采集模块（11）采集的市场数据进行清洗处理。3.根据权利要求2所述的进行实时反馈的大数据挖掘分析系统，其特征在于：所述分布储存单元（20）包括数据分类模块（21）和数据分配模块（22）；所述数据分类模块（21）用于对数据清洗模块（12）清理完毕的数据进行评估，并根据评估结果将其进行分类；所述数据分配模块（22）用于根据数据分类模块（21）的分类结果采用分布式存储系统对市场数据进行分布储存。4.根据权利要求3所述的进行实时反馈的大数据挖掘分析系统，其特征在于：所述数据分配模块（22）采用分布式存储系统对市场数据进行分布储存的表达式如下：；中最小的那个；其中，：将某一节点i映射为0~1的概率空间；：将数据d映射到概率空间；：分布式存储节点数量，数据d将存储在节点n中。5.根据权利要求1所述的进行实时反馈的大数据挖掘分析系统，其特征在于：所述实时处理单元（30）包括特征采集模块（31）和趋势预测模块（32）；所述特征采集模块（31）用于对分布储存的数据进行特征提取和情感分析；所述趋势预测模块（32）将特征采集模块（3...

【专利技术属性】
技术研发人员：谭金彪，
申请(专利权)人：图林科技深圳有限公司，
类型：发明
国别省市：