【技术实现步骤摘要】
本专利技术涉及音频信号处理，是一种基于多模数据的机器异常音频投票检测方法、终端设备及存储介质。
技术介绍
1、异常声音检测(anomalysounddetection)是一种广泛应用于工业、安防、医疗等领域的技术，其主要目标是通过分析声音信号识别异常情况。声音信号是包含丰富信息的非常重要的传感信号，能够传递物体的运动、碰撞、振动等信息。在许多场景下，异常声音往往是一些潜在问题或突发事件的指示器，因此异常声音检测技术对于实时监测和预警具有重要意义。异常声音检测的背景可以追溯到传统的工业自动化和机械检测领域。在这些领域，机器设备的运行状态往往通过声音来判断。异常声音可能表示机器设备存在故障、摩擦、磨损等问题，通过监测这些异常声音，可以提前发现并修复问题，从而降低维护成本，延长设备寿命。随着计算机技术的发展，尤其是深度学习等人工智能技术的兴起，异常声音检测得到了更为精细和高效地实现。
2、近年来，异常声音检测技术在各个领域都得到了广泛应用。在工业生产中，通过对机器声音的监测，可以实现对生产线状态的实时评估，预防潜在故障。在安防领域，异常声音检测可用于监控公共场所，及时发现异常事件，如爆炸、枪声等。在医疗健康领域，异常声音检测被应用于听诊仪器，用于识别心脏和肺部异常。此外，异常声音检测还在智能家居、车辆健康监测等领域展现了潜在的应用前景。但是异常声音检测最大的困难在于实际生活中，异常的数据非常少，且机器异常时的声音又各不相同，更不可能故意损坏设备去获取异常声音的数据。于是，在2013年，dcase开始发起了一项任务2关于异常
3、在机器异常声音检测领域，与传统的声音异常检测相比，考虑到机器工作状态的离散点文本数据成为一项关键挑战。机器的工作状态通常通过离散的观测点来表示，这可能包括工作中的传感器数据、设备运行状态等。这些信息在异常检测中提供了关键的上下文，但也增加了数据的复杂性。同时，声音信号在多模态数据中是一种重要的检测维度，然而，它存在一些缺点，比如容易受到机器本身的运行噪音或周围环境的杂音，这种噪音可能会掩盖或误导对异常声音的准确检测。声音信号还具有较高的复杂性，可能包含多个频率、时域变化和非线性特征，这增加了对信号处理和特征提取的挑战。最后，声音信号可能是不稳定的，尤其在涉及机器工作状态变化或故障时，需要考虑时序性和动态性。
技术实现思路
1、本专利技术提供了一种基于多模数据的机器异常音频投票检测方法、终端设备及存储介质，克服了上述现有技术之不足，其能有效解决噪音可能会掩盖或误导对异常声音的准确检测、声音信号具有较高的复杂性和不稳定性、信号处理和特征提取难度大的问题。
2、本专利技术的技术方案之一是通过以下措施来实现的：一种基于多模数据的机器异常音频投票检测方法，包括以下步骤：
3、步骤s1、建立机器工作音频数据库；
4、步骤s2、建立机器工作的文本数据库；
5、步骤s3、建立拟合原始数据的gamma分布；
6、步骤s4、建立投票决策系统；
7、步骤s5、建立异常声音检测模型。
8、下面是对上述专利技术技术方案之一的进一步优化或/和改进：
9、上述步骤s1具体可包括以下步骤：
10、步骤s1.1：收集来自多台机器的多个监测点音频数据，并保存到数据库；
11、步骤s1.2：对音频数据库中的音频信号提取特征，并转换为梅尔频谱图；
12、步骤s1.3：使用转换后的梅尔频谱图对数据进行归一化。
13、上述步骤s2具体可包括以下步骤：
14、步骤s2.1：从数据库中提取同一台机器的各个检测点样本特征；
15、步骤s2.2：移除与任务无关的信息，处理数据中的缺失值；
16、步骤s2.3：将离散的机器工作状态文本数据划分为词汇单元；
17、步骤s2.4：将每个词汇单元映射为一个唯一的整数，并使用one-hot编码将其转换为二进制向量，保存到文本数据库中。
18、上述步骤s3具体可包括以下步骤：
19、步骤s3.1：从数据库中提取同一台机器的各个检测点样本特征；
20、步骤s3.2：把数据传入训练完成的模型中，过负对数归一化指数函数计算模型预测的类别概率；
21、步骤s3.3：使用scipy库对整个数据集的得分分布进行gamma分布的参数拟合。
22、上述步骤s4具体可包括以下步骤：
23、步骤s4.1：将预处理后的语音特征和离散点文本数据特征输入到模型中，获取到相对应的预测结果；
24、步骤s4.2：设计投票算法来综合两个模型输出的信息，以产生最终的结果；
25、步骤s4.3：投票的权重以语音输入的模型分类结果为主。
26、上述步骤s5具体可包括以下步骤：
27、步骤s5.1：读取数据库中的音频信息和离散点文本信息；
28、步骤s5.2：对待测的语音信息经过抽样转换为抽样信号，进一步处理为梅尔频谱图特征信息；
29、步骤s5.3：使模型加载预先训练好的模型参数，对语音和离散点文本信息分别产生对应的预测向量；
30、步骤s5.4：对两种预测向量做对数归一化指数函数，得到数值稳定的概率向量；
31、步骤s5.5：分别检索出最大的值作为异常分数；
32、步骤s5.6：把异常分数分别与之前在训练过程中进行gamma分布拟合原始数据产生的阈值做比较，如果异常分数大于阈值，则该样本为异常，标记为1；否则为正常，标记为0；
33、步骤s5.7：获取产生的两个预测值，根据设计的投票算法，综合考虑两种模态数据的结果产生最后的判断。
34、建立上述异常声音检测模型时，可引入余弦退火算法。
35、建立上述异常声音检测模型时，可采用交叉熵作为损失函数。
36、本专利技术的技术方案之二是通过以下措施来实现的：一种终端设备，包括存储器和处理器，存储器上存储有可在处理器上运行的程序，处理器执行程序时实现上述的基于多模数据的机器异常音频投票检测方法。
37、本专利技术的技术方案之三是通过以下措施来实现的：一种存储介质，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述的基于多模数据的机器异常音频投票检测方法。
38、本专利技术通过采用多模态数据的投票方式进行综合判断，特别是结合机器工作时的文本状态数据，可以提高异常检测的准确性和鲁棒性。本专利技术能够更全面地理解机器的运行状况，从而增强异常检测的可靠性。考虑到机器异常时的声音表现可能因不同工作状态而异，通过并行引入离散点文本文档来自技高网...
【技术保护点】
1.一种基于多模数据的机器异常音频投票检测方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤S1具体包括以下步骤：
3.根据权利要求1所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤S2具体包括以下步骤：
4.根据权利要求1或2或3所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤S3具体包括以下步骤：
5.根据权利要求1或2或3所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤S4具体包括以下步骤：
6.根据权利要求1或2或3所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤S5具体包括以下步骤：
7.根据权利要求1或2或3所述的基于多模数据的机器异常音频投票检测方法，其特征在于建立异常声音检测模型时，引入余弦退火算法。
8.根据权利要求1或2或3所述的基于多模数据的机器异常音频投票检测方法，其特征在于建立异常声音检测模型时，采用交叉熵作为损失函数。
9.一种终端设备，包括存储器和处
10.一种存储介质，其特征在于，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8中任意一项所述的基于多模数据的机器异常音频投票检测方法。
...【技术特征摘要】
1.一种基于多模数据的机器异常音频投票检测方法，其特征在于包括以下步骤：
2.根据权利要求1所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤s1具体包括以下步骤：
3.根据权利要求1所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤s2具体包括以下步骤：
4.根据权利要求1或2或3所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤s3具体包括以下步骤：
5.根据权利要求1或2或3所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤s4具体包括以下步骤：
6.根据权利要求1或2或3所述的基于多模数据的机器异常音频投票检测方法，其特征在于步骤s5具体包括以下步骤：
【专利技术属性】
技术研发人员：李德高，肖靖峰，张建业，郭江涛，王涛，王楷，王天军，曹澍，孟欣欣，于文海，高坤恒，王晓卓，
申请(专利权)人：国网新疆电力有限公司信息通信公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。