【技术实现步骤摘要】
本专利技术涉及数据处理，具体而言，涉及一种基于多模态数据融合的大规模数据处理方法及系统。
技术介绍
1、随着信息技术的飞速发展，社会各领域的数据规模和复杂性急剧增加，从而对大规模数据处理技术的需求度也急剧增强。现有的大数据处理技术大多依赖于分布式计算框架(例如hadoop、spark等)，这些框架在处理传统的结构化和半结构化数据时表现非常出色，然而对于当前大量涌现的非结构化数据(例如文本、图像、音频、视频等)和多模态数据，传统的大数据处理技术显得捉襟见肘。例如在智能制造领域、医疗健康领域、社交媒体领域等。数据主要来源于图像、视频、文本、语音等。因此，如何高效融合和处理不同模态的数据成为一个亟待解决的问题。
2、现有数据处理技术采用独立的处理模块分别处理不同模态的数据，并且对数据进行融合，缺乏统一的融合机制，导致数据处理流程复杂，数据一致性较差，难以实现实时性分析。
技术实现思路
1、本专利技术提供一种基于多模态数据融合的大规模数据处理方法及系统，解决了现有数据处理技术缺乏统一的融合机制，导致数据处理流程复杂，数据一致性较差，难以实现实时性分析的问题。
2、在第一方面，本专利技术实施例中提供一种基于多模态数据融合的大规模数据处理方法，所述方法包括以下流程：
3、采用适配器连接配置的方式获取多模态数据，并且对多模态数据进行预处理；其中，所述多模态数据包括结构化数据、半结构化数据、非结构化数据以及多媒体数据；
4、采用深度学习技术和多模态注
5、采用深度学习技术和在线学习技术相结合的方式对综合特征向量进行数据分析以及数据更新，以得到大规模数据的分析结果；
6、对分析结果以及综合特征向量进行异步并行存储以及可视化交互展示。
7、于上述实施例中，本专利技术基于深度学习技术和多模态注意力机制对多模态数据进行特征提取以及特征融合，能够在特征提取和融合过程中充分利用深层次的语义信息，使得融合后的综合特征向量更具代表性和预测能力；并且在特征提取以及特征融合的基础上采用深度学习技术和在线学习技术对综合特征向量进行数据分析以及数据更新，能够满足数据分析的实时性需求。
8、作为本申请一些可选实施方式，所述预处理包括对多模态数据进行数据清洗、数据标准化以及数据格式转换。
9、于上述实施例中，本专利技术在特征提取以及特征融合之前对数据进行数据清洗、数据标准化以及数据格式转换，能够快速处理噪声和异常数据，并且将不同模态的数据转换为统一的格式，为后续的实时分析提供保障。
10、作为本申请一些可选实施方式，采用深度学习技术和多模态注意力机制相结合的方式对预处理的多模态数据进行特征提取以及特征融合，以生成综合特征向量的流程如下：
11、采用卷积神经网络对预处理的非结构化数据以及多媒体数据进行特征提取，采用自编码器对预处理的半结构化数据进行特征提取，采用循环神经网络对预处理的结构化数据进行特征提取，以得到多模态的特征；
12、在特征提取过程中采用多模态注意力机制对多模态数据的特征进行特征加权融合处理以及特征增强处理，以得到综合特征向量。
13、于上述实施例中，本专利技术在深度学习的基础上引入多模态注意力机制，能够自动关注不同模态数据的关键部分，并且加权融合这些信息，多模态注意力机制能够动态调整不同模态特征的权重，使得融合后的综合特征向量更具代表性和预测能力。
14、作为本申请一些可选实施方式，所述数据分析和数据更新基于异步处理构架实现。
15、于上述实施例中，本专利技术异步处理架构进行数据分析以及数据更新，使得数据分析和数据更新能够并行进行，能够在毫秒级响应时间内提供准确的数据分析结果，适用于需要快速响应的应用场景。
16、作为本申请一些可选实施方式，采用深度学习技术和在线学习技术相结合的方式对综合特征向量进行数据分析以及数据更新的流程如下：
17、采用深度学习模型和在线学习模型对综合特征向量同时进行数据分析；
18、采用异步处理架构对多模态数据预处理、特征提取、数据分析以及数据更新进行数据同步。
19、作为本申请一些可选实施方式，对分析结果以及综合特征向量进行异步并行存储以及可视化交互展示的流程如下：
20、采用分布式数据库技术和数据湖技术对分析结果以及综合特征向量进行数据分片存储；
21、采用图形、图表的形式对分析结果进行可视化展示，并且同时支持分析结果以及综合特征向量的数据调度和请求任务。
22、于上述实施例中，本专利技术采用分布式数据库技术能够将不同数据自动分布到不同节点上，并且支持海量数据高效存储和访问；采用数据湖技术能够同时存储结构化数据、半结构化数据、非结构化数据以及多媒体数据，并且提供统一的存储和管理界面，支持多种数据类型的统一管理，提升了数据存储的灵活性。
23、在第二方面，本专利技术提供一种基于多模态数据融合的大规模数据处理系统，所述系统包括：
24、数据获取单元，所述数据获取单元用于采用适配器连接配置的方式获取多模态数据；其中，所述多模态数据包括结构化数据、半结构化数据、非结构化数据以及多媒体数据；
25、数据预处理单元，所述数据预处理单元用于对多模态数据进行预处理；
26、特征融合单元，所述特征融合单元用于采用深度学习技术和多模态注意力机制相结合的方式对预处理的多模态数据进行特征提取以及特征融合，以生成综合特征向量；
27、数据分析单元，所述数据分析单元用于采用深度学习技术和在线学习技术相结合的方式对综合特征向量进行数据分析以及数据更新，以得到大规模数据的分析结果；
28、数据存储单元，所述数据存储单元用于对分析结果以及综合特征向量进行存储；
29、数据交互单元，所述数据交互单元用于对分析结果以及综合特征向量进行可视化交互展示。
30、在第三方面，本专利技术提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行计算机程序时实现所述一种基于多模态数据融合的大规模数据处理方法。
31、在第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种基于多模态数据融合的大规模数据处理方法。
32、在第五方面，本专利技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述一一种基于多模态数据融合的大规模数据处理方法。
33、本专利技术的有益效果如下：
34、1.本专利技术基于深度学习技术和多模态注意力机制对多模态数据进行特征提取以及特征融合，能够在特征提取和融合过程中充分利用深层次的语义信息，使得融合后的综合特征向量更具代表性和预测能力。
35、本文档来自技高网...
【技术保护点】
1.一种基于多模态数据融合的大规模数据处理方法，其特征在于，所述方法包括以下流程：
2.根据权利要求1所述的一种基于多模态数据融合的大规模数据处理方法，其特征在于，所述预处理包括对多模态数据进行数据清洗、数据标准化以及数据格式转换。
3.根据权利要求1所述的一种基于多模态数据融合的大规模数据处理方法，其特征在于，采用深度学习技术和多模态注意力机制相结合的方式对预处理的多模态数据进行特征提取以及特征融合，以生成综合特征向量的流程如下：
4.根据权利要求1所述的一种基于多模态数据融合的大规模数据处理方法，其特征在于，所述数据分析和数据更新基于异步处理构架实现。
5.根据权利要求1所述的一种基于多模态数据融合的大规模数据处理方法，其特征在于，采用深度学习技术和在线学习技术相结合的方式对综合特征向量进行数据分析以及数据更新的流程如下：
6.根据权利要求1所述的一种基于多模态数据融合的大规模数据处理方法，其特征在于，对分析结果以及综合特征向量进行异步并行存储以及可视化交互展示的流程如下：
7.一种基于多模态数据融合的大
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行计算机程序时实现权利要求1-6中任一项所述一种基于多模态数据融合的大规模数据处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述一种基于多模态数据融合的大规模数据处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一项所述一种基于多模态数据融合的大规模数据处理方法。
...【技术特征摘要】
1.一种基于多模态数据融合的大规模数据处理方法，其特征在于，所述方法包括以下流程：
2.根据权利要求1所述的一种基于多模态数据融合的大规模数据处理方法，其特征在于，所述预处理包括对多模态数据进行数据清洗、数据标准化以及数据格式转换。
3.根据权利要求1所述的一种基于多模态数据融合的大规模数据处理方法，其特征在于，采用深度学习技术和多模态注意力机制相结合的方式对预处理的多模态数据进行特征提取以及特征融合，以生成综合特征向量的流程如下：
4.根据权利要求1所述的一种基于多模态数据融合的大规模数据处理方法，其特征在于，所述数据分析和数据更新基于异步处理构架实现。
5.根据权利要求1所述的一种基于多模态数据融合的大规模数据处理方法，其特征在于，采用深度学习技术和在线学习技术相结合的方式对综合特征向量进行数据分析以及数据更新的流程如下：
6.根据权利要求...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：成都数之联科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。