【技术实现步骤摘要】
本专利技术涉及一种数据融合方法及系统，尤其是面向离散制造的多模态工业数据融合方法及系统。
技术介绍
1、离散制造业中广泛使用的传感器技术已经产生了大量数据。这些数据源涵盖了生产环境中的各个方面，包括设备运行状态、温度、压力、湿度等信息。这种数据多样性和大规模性为数据融合提供了丰富的信息来源。随着物联网技术的快速发展，设备和系统之间的关联性大幅提升。这意味着来自各个设备和系统的数据可以更轻松地收集、传输和整合。这种关联性改善了生产过程的监控、优化和控制，从而提高了生产效率和质量水平。
2、工厂数字化转型正在成为离散制造业的主要趋势。这意味着生产环境中涉及的数据量不断增加，从传感器获取的数据到生产流程的实时监控数据，以及与供应链相关的信息，数据无处不在，数据融合成为将这些多来源数据整合、分析和应用的关键方式。
3、多模态数据融合技术这种技术涉及将来自不同传感器或数据源的多模态数据整合在一起。这些数据可能包括图像、视频、声音、文本等不同类型的数据，通过融合这些数据源来提供更全面的信息。由于各个数据源可能存在质量差异，包括数据不一致、缺失值、错误或噪音等，数据融合技术可能受到这些数据质量问题的影响，导致融合结果不准确或不可靠。同时，现有的数据融合技术无法满足实时处理和决策的需求。特别是在需要快速响应的工业应用中，处理和融合大量数据可能导致延迟，影响实时决策的有效性。此外，传统的数据融合技术无法自适应不断变化的工业环境，对于数据变化频繁、复杂性高的情况显得不够灵活。
技术实现思路
1、专利技术目的：本专利技术的目的是提供一种面向离散制造的多模态工业数据融合方法及系统，通过对环境和大量数据的交互学习，动态地处理复杂环境问题，通过带有记忆自适应离散制造环境的奖励形式，最大限度优化数据结构与维度，获得数据融合结果，进而指导离散制造决策者。
2、技术方案：本专利技术所述的面向离散制造的多模态工业数据融合方法，包括如下步骤：
3、实时采集离散制造工业数据并进行特征提取得到特征数据，将所述特征数据输入可微分计算机网络，得到数据融合结果，所述可微分计算机还用于根据数据融合结果完成预测目标；
4、所述离散制造工业数据包括视频、文本、图像和声音数据；
5、所述可微分计算机网络包括数据融合模块和记忆系统，所述数据融合模块将特征数据在智能体中融合，记忆系统用于存储并读写智能体重融合后的数据；将所述记忆系统中的数据输入到评价系统中计算奖励值，根据所述奖励值指导智能体的数据融合并更新记忆系统。
6、进一步地，所述实时采集离散制造工业数据并进行特征提取得到特征数据包括：提取文本数据的语义特征、提取图像数据的图像特征、提取视频数据的帧特征以及提取声音数据的频谱特征。
7、进一步地，提取文本数据的语义特征，将文本转换为单词的集合，为每个单词赋予权重，所述权重根据该单词在文本中的频率以及在语料库中的分布设置；将所述单词映射到高维空间得到文本数据的语义特征；
8、提取图像数据的图像特征，利用canny算法提取图像边缘，使用卷积神经网络提取图像特征；
9、提取视频数据的帧特征，从视频中提取关键帧，使用卷积神经网络提取帧特征；
10、提取声音数据的频谱特征，提取声音数据的频谱，使用卷积神经网络提取频谱特征。
11、进一步地，所述数据融合模块将特征数据在智能体中融合包括：
12、在 t时刻，控制器接收特征数据输入向量，在记忆系统的存储矩阵中获取r个读向量，经过智能体网络处理，得到输出向量；
13、在每一时刻，智能体网络都计算得到一个网络输出向量和一个交互向量，其中交互向量用于参数化 t时刻智能体和记忆系统的交互，，，为 t时刻智能体第 l层的输出，和为抽头系数；
14、智能体通过在计算中创建循环将信息传递回来，进而得到和；智能体的输出向量为：，为读取权重。
15、进一步地，所述控制器为长短时记忆网络。
16、进一步地，在评价系统中，计算模型对预测目标的预测与实际目标之间的误差，将预测误差作为奖励值指导可微分计算机网络的训练。
17、进一步地，在评价系统中，计算所述奖励值的博弈组合权重，根据所述博弈组合权重进行加权求和，得到加权奖励值，根据所述加权奖励值调整可微分计算机网络的参数。
18、本专利技术所述的面向离散制造的多模态工业数据融合系统，包括：
19、特征提取单元，用于实时采集离散制造工业数据并进行特征提取得到特征数据；所述离散制造工业数据包括视频、文本、图像和声音数据；
20、数据融合单元，用于将所述特征数据输入可微分计算机网络，得到数据融合结果，所述可微分计算机还用于根据数据融合结果完成预测目标；所述可微分计算机网络包括数据融合模块和记忆系统，所述数据融合模块将特征数据在智能体中融合，记忆系统用于存储并读写智能体重融合后的数据；
21、评价单元，用于根据记忆系统中的数据计算奖励值，根据所述奖励值指导智能体的数据融合并更新记忆系统。
22、本专利技术所述的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现所述的面向离散制造的多模态工业数据融合方法。
23、本专利技术所述的计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的面向离散制造的多模态工业数据融合方法。
24、有益效果：与现有技术相比，本专利技术的优点在于：本专利技术将实时采集的复杂多模态数据进行融合，本专利技术的记忆增强型神经网络将网格训练参数与记忆系统容量相分离，因此增大记忆系统的容量，不会导致训练参数的增加，减少了大量的训练时间，方便离散制造工业节省更多的时间来决策。
本文档来自技高网...【技术保护点】
1.一种面向离散制造的多模态工业数据融合方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，所述实时采集离散制造工业数据并进行特征提取得到特征数据包括：提取文本数据的语义特征、提取图像数据的图像特征、提取视频数据的帧特征以及提取声音数据的频谱特征。
3.根据权利要求2所述的面向离散制造的多模态工业数据融合方法，其特征在于，提取文本数据的语义特征，将文本转换为单词的集合，为每个单词赋予权重，所述权重根据该单词在文本中的频率以及在语料库中的分布设置；将所述单词映射到高维空间得到文本数据的语义特征；
4.根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，所述数据融合模块将特征数据在智能体中融合包括：
5.根据权利要求4所述的面向离散制造的多模态工业数据融合方法，其特征在于，所述控制器为长短时记忆网络。
6.根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，在评价系统中，计算模型对预测目标的预测与实际目标之间的误差，将预测误差作为奖励
7.根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，在评价系统中，计算所述奖励值的博弈组合权重，根据所述博弈组合权重进行加权求和，得到加权奖励值，根据所述加权奖励值调整可微分计算机网络的参数。
8.一种面向离散制造的多模态工业数据融合系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-7任一项所述的面向离散制造的多模态工业数据融合方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-7任一项所述的面向离散制造的多模态工业数据融合方法。
...【技术特征摘要】
1.一种面向离散制造的多模态工业数据融合方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，所述实时采集离散制造工业数据并进行特征提取得到特征数据包括：提取文本数据的语义特征、提取图像数据的图像特征、提取视频数据的帧特征以及提取声音数据的频谱特征。
3.根据权利要求2所述的面向离散制造的多模态工业数据融合方法，其特征在于，提取文本数据的语义特征，将文本转换为单词的集合，为每个单词赋予权重，所述权重根据该单词在文本中的频率以及在语料库中的分布设置；将所述单词映射到高维空间得到文本数据的语义特征；
4.根据权利要求1所述的面向离散制造的多模态工业数据融合方法，其特征在于，所述数据融合模块将特征数据在智能体中融合包括：
5.根据权利要求4所述的面向离散制造的多模态工业数据融合方法，其特征在于，所述控制器为长短时记忆网络。
6.根据权利要求1所述的面向...
【专利技术属性】
技术研发人员：杨海根，杨状，戴尔晗，葛艳，刘佶鑫，曾凡玉，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。