【技术实现步骤摘要】
本专利技术涉及图像检测技术，尤其涉及一种结合机器视觉与深度学习的纸袋机故障检测方法及系统。
技术介绍
1、纸袋机是一种广泛应用于包装行业的自动化设备，其主要功能是将纸张或复合材料制成各种规格和形状的纸袋。
2、纸袋机的工作原理可以概括为"输送-成型-压合-输出"四个阶段。首先，纸张或复合材料通过输送部件被送入机器。输送部件通常包括传送带、导向辊和张力控制装置等，其目的是确保材料以恒定的速度和张力进入下一个工序。在成型阶段，材料经过一系列的折叠、剪切和成型操作，逐步成型为纸袋的基本形状。这一过程通常由机械凸轮、气动或液压驱动的折叠器、刀具等完成。接下来，在压合阶段，袋子的边缘和底部被压合、粘合或热封，使其成为一个完整的纸袋。最后，成品纸袋通过输出部件被送出机器，完成整个制袋过程。
3、尽管现代纸袋机的设计和制造工艺不断改进，但由于其复杂的机械结构和高速运转的特点，在实际生产中仍然存在一些常见的故障类型。例如，输送部件中的传送带磨损或打滑、张力控制不稳定等问题，可能导致纸张进给不均匀或堆积。在成型部分，折叠器和刀具的定位精度下降、刀具磨损等因素，可能引起纸袋尺寸不一致或外观缺陷。压合部件中的胶轮磨损、加热装置故障等，则可能影响纸袋的封合强度和密封性能。此外，纸袋机的电气控制系统，如传感器失灵、伺服电机故障等，也是导致设备停机或产品质量下降的常见原因。
技术实现思路
1、本专利技术实施例提供一种结合机器视觉与深度学习的纸袋机故障检测方法及系统，能够解决现有技术中的
2、本专利技术实施例的第一方面，
3、提供一种结合机器视觉与深度学习的纸袋机故障检测方法，包括：
4、收集多个传感器采集的多视角的设备运行数据，并对多视角的设备运行数据进行预处理得到预处理后的设备运行数据，所述多个传感器设置于纸张输送部分、成型部分、压合部分中的任一处或多处，所述传感器包括振动传感器、温度传感器、压力传感器、图像传感器长的任一种或多种；
5、构建目标神经网络，所述目标神经网络包括多视角卷积神经网络和长短期记忆网络，针对每个视角的预处理后的设备运行数据利用所述多视角卷积神经网络对该视角的特征进行提取得到该视角对应的特征图，基于交叉注意力机制对多个视角的特征图进行融合，得到预设时间步长的融合后的特征图；
6、利用所述长短期记忆网络基于不同时间步的特征之间的长短期依赖关系对所述融合后的特征图进行处理，得到故障检测结果，所述故障检测结果用于指示不同的纸袋机故障类别，所述预设步长与故障的持续时间和采样频率相关联。
7、在一种可选的实施例中，
8、对多视角的设备运行数据进行预处理得到预处理后的设备运行数据，包括：
9、基于基准时钟对多视角的设备运行数据按照时间戳与所述基准时钟进行时间对齐处理，并对不同采样频率的设备运行数据进行插值处理或下采样处理，以对齐多视角的设备运行数据采样频率；
10、利用中值滤波或高斯滤波方法对图像传感器采集的设备运行数据进行平滑处理以去除其中的椒盐噪声，并利用中值滤波或卡尔曼滤波对方法对图像传感器以外的其他传感器采集的设备运行数据进行滤波处理以去除高频噪声，得到预处理后的设备运行数据。
11、在一种可选的实施例中，
12、针对每个视角的预处理后的设备运行数据利用所述多视角卷积神经网络对该视角的特征进行提取得到该视角对应的特征图，包括：
13、针对每个视角利用所述多视角卷积神经网络的卷积层和池化层对该视角下预处理后的设备运行数据进行局部特征提取，得到该视角对应的特征图；
14、基于交叉注意力机制对多个视角的特征图进行融合，得到预设时间步长的融合后的特征图，包括：
15、将多个视角的特征图转换为多个特征图组，每个特征图组中包括两个不同视角的特征图，针对每个特征图组计算该特征图组对应的注意力权重；
16、基于每个特征图组对应的注意力权重计算多视角拼接后的加权特征，利用多视角卷积神经网络的卷积层对多视角拼接后的加权特征进行特征融合，并经过归一化处理和激活处理后得到融合后的特征图。
17、在一种可选的实施例中，
18、针对每个特征图组计算该特征图组对应的注意力权重，包括：
19、针对每个特征图组，将该特征图组中的特征图输入多视角卷积神经网络的全连接层得到该特征图组对应的中间特征表示，基于所有特征图组对应的中间特征表示分别进行归一化处理得到每个特征图组对应的注意力权重；
20、基于每个特征图组对应的注意力权重计算多视角拼接后的加权特征，包括：
21、针对每个视角，将该视角的特征图分别与特征图所在的多个特征图组对应的注意力权重相乘得到多个加权特征分量，对该视角下的多个加权特征分量进行求和得到该视角下的加权特征，并将所有视角的加权特征进行拼接后得到多视角拼接后的加权特征；
22、利用多视角卷积神经网络的卷积层对多视角拼接后的加权特征进行特征融合，包括：
23、将多视角拼接后的加权特征与多视角的特征图进行残差连接处理，得到残差连接后的特征图，利用多视角卷积神经网络的卷积层对残差连接后的特征图进行卷积处理，对卷积处理后的特征结合多视角的特征图进行预定次数的残差连接处理，以得到融合后的特征图。
24、在一种可选的实施例中，
25、长短期记忆网络包括存储器和控制器，存储器用于利用存储槽存储上下文信息，控制器用于在每个时间步根据当前的隐藏状态向量从存储器中读取关联的上下文信息，利用所述长短期记忆网络基于不同时间步的特征之间的长短期依赖关系对所述融合后的特征图进行处理，得到故障检测结果，包括：
26、针对预设时间步长的融合后的特征图在每个时间步中基于融合后的特征图确定当前时间步的隐藏状态向量，利用全连接层对当前时间步的隐藏状态向量进行处理得到查询向量，并利用全连接层对存储器的值进行处理得到每个存储槽的键向量和值向量；
27、利用余弦相似度方法或点积方法计算所述查询向量与每个存储槽的键向量之间的相似度得到每个存储槽的注意力权重，对每个存储槽的注意力权重进行归一化处理后，将各存储槽的值向量与该存储槽对应的归一化处理后的注意力权重进行加权求和，得到上下文向量；
28、将所述上下文向量与当前时间步的隐藏状态向量基于门控机制进行融合进行融合得到当前时间步更新后的隐藏状态向量，利用全连接层对更新后的隐藏状态向量进行处理得到写入查询向量，并利用全连接层对存储器的值进行处理得到每个存储槽的写入键向量；
29、计算所述写入查询向量与所述写入键向量之间的相似度得到每个存储槽的写入权重，利用全连接层对更新后的隐藏状态向量进行处理得到写入值向量，针对每个存储槽对所述存储器的值进行归一化处理后与所述写入权重相乘，将相乘后的向量与所述写入值向量相加得到更新后的存储器的值，将所述更新后的存储器的值写入存储器；
30、在最后本文档来自技高网...
【技术保护点】
1.一种结合机器视觉与深度学习的纸袋机故障检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对多视角的设备运行数据进行预处理得到预处理后的设备运行数据，包括：
3.根据权利要求1所述的方法，其特征在于，针对每个视角的预处理后的设备运行数据利用所述多视角卷积神经网络对该视角的特征进行提取得到该视角对应的特征图，包括：
4.根据权利要求3所述的方法，其特征在于，针对每个特征图组计算该特征图组对应的注意力权重，包括：
5.根据权利要求1所述的方法，其特征在于，长短期记忆网络包括存储器和控制器，存储器用于利用存储槽存储上下文信息，控制器用于在每个时间步根据当前的隐藏状态向量从存储器中读取关联的上下文信息，利用所述长短期记忆网络基于不同时间步的特征之间的长短期依赖关系对所述融合后的特征图进行处理，得到故障检测结果，包括：
6.根据权利要求1所述的方法，其特征在于，构建目标神经网络，包括：
7.根据权利要求6所述的方法，其特征在于，所述预设奖励函数包括第一预设奖励函数、第二预设奖励函数和第三预设奖励
8.一种结合机器视觉与深度学习的纸袋机故障检测系统，用于实现前述权利要求1-7中任一项所述的方法，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
...【技术特征摘要】
1.一种结合机器视觉与深度学习的纸袋机故障检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对多视角的设备运行数据进行预处理得到预处理后的设备运行数据，包括：
3.根据权利要求1所述的方法，其特征在于，针对每个视角的预处理后的设备运行数据利用所述多视角卷积神经网络对该视角的特征进行提取得到该视角对应的特征图，包括：
4.根据权利要求3所述的方法，其特征在于，针对每个特征图组计算该特征图组对应的注意力权重，包括：
5.根据权利要求1所述的方法，其特征在于，长短期记忆网络包括存储器和控制器，存储器用于利用存储槽存储上下文信息，控制器用于在每个时间步根据当前的隐藏状态向量从存储器中读取关联的上下文信息...
【专利技术属性】
技术研发人员：张和平，
申请(专利权)人：孝感市吉联食品包装有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。