【技术实现步骤摘要】
本申请实施例涉及数据分析，尤其涉及一种基于深度学习的大数据分析与处理方法及系统。
技术介绍
1、随着互联网、物联网等技术的快速发展，企业每天都会产生大量的数据，这些数据不仅包含结构化的数据库记录，还包括图片、视频、文本等非结构化信息。对于金融、零售、制造等行业而言，如何从这些海量且多样化的数据中提取有价值的信息，以支持实时决策成为了关键挑战。
2、目前市面上已经存在一些针对大数据分析与处理的技术解决方案，主要包括传统的统计分析方法以及较为先进的机器学习算法。近年来，随着深度学习技术的进步，出现了许多基于深度神经网络的大数据分析工具和服务平台。这类系统通常采用分布式计算框架来处理大规模数据集，并利用复杂的模型如卷积神经网络(cnn)或循环神经网络(rnn)来进行特征提取和模式识别。
3、尽管现有的大数据分析方案在一定程度上满足了企业的需求，但大多数现有系统主要针对特定类型的数据设计（比如图像或时间序列），难以灵活应对多种格式混合的数据流。尤其是在面对实时性要求较高的应用场景时，传统方法由于计算量大而导致响应速度慢，无法实现即时反馈。
技术实现思路
1、本申请实施例提供一种基于深度学习的大数据分析与处理方法及系统，用以解决现有技术中数据分析处理效果差的问题。
2、第一方面，本申请实施例提供了一种基于深度学习的大数据分析与处理方法，包括：
3、利用实时数据收集系统，对来自多个异构数据源的包含结构化数据及非结构化数据的实时数据流进行采集处理，
4、根据分布式计算框架，对所述数据流集合进行即时模式识别处理，得到行为模式信息；
5、基于所述行为模式信息，构建能够反映不同数据节点之间关联性的动态数据图谱；
6、利用图神经网络模型，对所述动态数据图谱中的节点与边的关系进行分析处理，得到各节点间的影响因子并预测未来趋势；
7、根据所述影响因子及预测结果，生成决策支持信息；
8、将所述决策支持信息反馈至实时数据源，形成闭环控制机制。
9、第二方面，本申请实施例提供了一种基于深度学习的大数据分析与处理系统，包括:
10、采集模块，用于利用实时数据收集系统，对来自多个异构数据源的包含结构化数据及非结构化数据的实时数据流进行采集处理，得到数据流集合；
11、识别模块，用于根据分布式计算框架，对所述数据流集合进行即时模式识别处理，得到行为模式信息；
12、构建模块，用于基于所述行为模式信息，构建能够反映不同数据节点之间关联性的动态数据图谱；
13、分析模块，用于利用图神经网络模型，对所述动态数据图谱中的节点与边的关系进行分析处理，得到各节点间的影响因子并预测未来趋势；
14、生成模块，用于根据所述影响因子及预测结果，生成决策支持信息；
15、反馈模块，用于将所述决策支持信息反馈至实时数据源，形成闭环控制机制。
16、第三方面，本申请实施例了一种计算设备，包括处理组件以及存储组件；所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，实现如上述第一方面任一项所述的一种基于深度学习的大数据分析与处理方法。
17、第四方面，本申请实施例提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被计算机执行时，实现如上述第一方面任一项所述的一种基于深度学习的大数据分析与处理方法。
18、本申请实施例中，对来自多个异构数据源的包含结构化数据及非结构化数据的实时数据流进行采集处理，得到数据流集合；根据分布式计算框架，对数据流集合进行即时模式识别处理，得到行为模式信息；基于行为模式信息，构建能够反映不同数据节点之间关联性的动态数据图谱；利用图神经网络模型，对动态数据图谱中的节点与边的关系进行分析处理，得到各节点间的影响因子并预测未来趋势；根据影响因子及预测结果，生成决策支持信息；将决策支持信息反馈至实时数据源，形成闭环控制机制。本申请提供的技术方案能够快速整合来自不同源的数据，识别出行为模式信息，并基于此进行趋势预测，最终为业务提供及时有效的决策支持。
19、本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的大数据分析与处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用图神经网络模型，对所述动态数据图谱中的节点与边的关系进行分析处理，得到各节点间的影响因子并预测未来趋势,包括：
3.根据权利要求2所述的方法，其特征在于，所述利用所述全局表示，通过回归算法，对所述动态数据图谱中的节点间的影响因子进行分析处理，得到量化节点间相互作用程度的影响因子，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述影响因子，利用循环神经网络扩展的图神经网络模型，对历史动态数据图谱的变化趋势进行预测处理，得到未来节点的状态及其相互间的影响，包括：
5.根据权利要求2所述的方法，其特征在于，所述在所述图神经网络模型的每一层中，对所述动态数据图谱中的节点以及与所述节点的相邻节点的信息进行交换处理，以更新每个节点的特征表示，得到更新后的节点特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述行为模式信息，构建能够反映不同数据节点之间关联性的动态数据图谱,包括：
7
8.一种基于深度学习的大数据分析与处理系统，其特征在于，包括:
9.一种计算设备，其特征在于，包括处理组件以及存储组件；所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，实现如权利要求1~7任一项所述的一种基于深度学习的大数据分析与处理方法。
10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被计算机执行时，实现如权利要求1~7任一项所述的一种基于深度学习的大数据分析与处理方法。
...【技术特征摘要】
1.一种基于深度学习的大数据分析与处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述利用图神经网络模型，对所述动态数据图谱中的节点与边的关系进行分析处理，得到各节点间的影响因子并预测未来趋势,包括：
3.根据权利要求2所述的方法，其特征在于，所述利用所述全局表示，通过回归算法，对所述动态数据图谱中的节点间的影响因子进行分析处理，得到量化节点间相互作用程度的影响因子，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述影响因子，利用循环神经网络扩展的图神经网络模型，对历史动态数据图谱的变化趋势进行预测处理，得到未来节点的状态及其相互间的影响，包括：
5.根据权利要求2所述的方法，其特征在于，所述在所述图神经网络模型的每一层中，对所述动态数据图谱中的节点以及与所述节点的相邻节点的信息进行交换处理，以更新每个节点...
【专利技术属性】
技术研发人员：朱瑾鹏，任东英，王永祥，吴棣，商标，
申请(专利权)人：北京数洋智慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。