【技术实现步骤摘要】
本专利技术涉及语音处理，具体涉及基于多模态深度特征层级融合的鸟类声音质量分析方法。
技术介绍
1、在野外自然环境中，鸟类分布广泛且对生态环境的变化十分敏感，所以，鸟类是生态环境健康的指示物种之一。同时，鸟类多样性可以很好地反映生物多样性，可以通过分析鸟类生物多样性来分析生物的多样性。所以，可以通过采集鸟类声音并进行分析，实现对生态环境的监测与生物多样性的评估等多项生态任务。在对鸟类声音进行分析时，鸟类声音质量决定了能否较好的完成生态任务，因此，需要对鸟类声音质量进行分析。
2、传统的对鸟类声音质量进行分析的方法主要为单一模态的分析，如通过计算音频信号中的信噪比等对鸟类声音质量进行分析，但对于复杂场景下的鸟类声音，通过单一模态得到的鸟类声音质量分析结果准确率可能较低，因此，需要通过多模态特征融合的方式对鸟类声音质量进行分析。多模态特征融合可以提供更全面、多角度的信息，能够更准确的评估鸟类声音质量，但不同模态之间的异构性可能会使特征融合的效果降低，导致无法通过特征融合结果准确的分析鸟类声音质量。
技术实现思路
1、本专利技术提供基于多模态深度特征层级融合的鸟类声音质量分析方法，以解决多模态特征融合的特征融合的效果不佳，使鸟类声音质量判断不准确的问题，所采用的技术方案具体如下：
2、本专利技术一个实施例提供了基于多模态深度特征层级融合的鸟类声音质量分析方法，该方法包括以下步骤：
3、采集原始鸟类音频信号，对原始鸟类音频信号进行预处理，获取鸟类音频信号，
4、建立鸟类音频语谱图中像素点的局部监测窗口，获取局部监测窗口中的主连通域，根据主连通域确定上轮廓点和下轮廓点，获取上轮廓点集和下轮廓点集，根据像素点的局部监测窗口内的上轮廓点集和下轮廓点集，确定像素点的鸣肌发声辨识指数；
5、根据鸣肌发声辨识指数获取聚类簇，确定聚类簇的编号，根据聚类簇编号和像素点的鸣肌发声辨识指数，确定鸟类音频语谱图中每个时间点的鸟鸣易染指数；
6、根据鸟类音频梅尔频谱图中包含的梅尔频率，获取每个梅尔频率对应的噪声权重，根据鸟鸣易染指数、噪声权重和鸟类音频梅尔频谱图中像素点的灰度值，获取鸟类音频梅尔频谱图中每个时间点的梅尔谱鸟鸣变异指数，根据同一时间点的鸟鸣易染指数和梅尔谱鸟鸣变异指数，获取该时间点的鸣质特征向量；
7、根据鸣质特征向量和鸟类音频信号确定鸣叫特征融合序列，根据鸣叫特征融合序列，获取鸟类音频信号的鸣叫质量指数，根据鸣叫质量指数实现鸟类声音质量分析。
8、进一步，所述获取局部监测窗口中的主连通域，根据主连通域确定上轮廓点和下轮廓点，包括的具体方法为：
9、对局部监测窗口内像素点的灰度值二值化后进行连通域分析，获取若干个连通域，将包含像素点数量最多的连通域记为主连通域；
10、将同一时间的主连通域的轮廓包含的像素点中，频率最大的像素点记为该时间点的上轮廓点，频率最小的像素点记为该时间点的下轮廓点。
11、进一步，所述鸣肌发声辨识指数获取的具体方法为：
12、将像素点的局部监测窗口内，上、下轮廓点集的拟合直线与时间轴的夹角的绝对值之和与协调系数的和记为夹角和，将像素点的局部监测窗口内，上、下轮廓点集的拟合优度的和记为拟合优度和，将拟合优度和与夹角和的比值记为像素点的鸣肌发声辨识指数。
13、进一步，所述聚类簇的编号获取的具体方法为：
14、将聚类簇内包含的所有鸣肌发声辨识指数的均值进行降序排列，按照排列顺序对聚类簇从1开始进行编号，获取第一数量个编号的聚类簇。
15、进一步，所述鸟鸣易染指数的具体方法为：
16、将鸟类音频语谱图中同一时间点和频率的像素点所在聚类簇的编号与鸣肌发声辨识指数的乘积记为像素点的第一乘积，将同一时间点的像素点的第一乘积的均值记为该时间点的鸟鸣易染指数。
17、进一步，所述梅尔谱鸟鸣变异指数获取的具体方法为：
18、
19、式中，表示鸟类音频梅尔频谱图中时间点的梅尔谱鸟鸣变异指数；表示鸟类音频梅尔频谱图中对应时间点的像素点中，灰度值最大的像素点的噪声权重；表示鸟类音频梅尔频谱图中对应时间点的像素点中灰度值的最大值；表示鸟类音频梅尔频谱图中梅尔频率对应的噪声权重；表示鸟类音频梅尔频谱图中在时间点，且梅尔频率为的像素点的灰度值；表示鸟类音频语谱图中，时间点的鸟鸣易染指数；表示鸟类音频梅尔频谱图中梅尔频率轴的长度。
20、进一步，所述鸣质特征向量获取的具体方法为：
21、将同一时间点的鸟鸣易染指数和梅尔谱鸟鸣变异指数组成的向量记为该时间点的鸣质特征向量。
22、进一步，所述鸣叫特征融合序列获取的具体方法为：
23、将所有时间点的鸣质特征向量和鸟类音频信号输入向量融合神经网络，获取所有时间点的鸣质特征向量融合后的结果，将融合后的结果按照时间点的先后顺序排列，获取鸣叫特征融合序列。
24、进一步，所述根据鸣叫特征融合序列，获取鸟类音频信号的鸣叫质量指数，包括的具体方法为：
25、将根据鸟类音频信号获取的鸣叫特征融合序列中所有数值的均值与标准差和协调系数的和的比值，记为鸟类音频信号的鸣叫质量指数。
26、进一步，所述根据鸣叫质量指数实现鸟类声音质量分析，包括的具体方法为：
27、将鸣叫质量指数聚类为鸣叫质量指数的三个聚类簇，将鸣叫质量指数的聚类簇内包含的所有鸣叫质量指数的均值按照升序排列，根据排列顺序，将鸣叫质量指数的聚类簇分别记为低质量鸟鸣音频、中质量鸟鸣音频、高质量鸟鸣音频。
28、本专利技术的有益效果是：
29、本专利技术从多模态特征融合的特征融合的效果不佳，使鸟类声音质量判断不准确的问题出发，根据鸟类音频信号，获取鸟类音频语谱图和鸟类音频梅尔频谱图，分别对鸟类音频语谱图和鸟类音频梅尔频谱图进行分析，首先，根据鸟类声音频率较高，鸣叫声较为尖锐，与周围环境声音具有明显的区别，且鸟类鸣叫会持续一定时间的特征，确定像素点的鸣肌发声辨识指数，当像素点的鸣肌发声辨识指数越大时，鸟类音频语谱图对应的鸟类鸣叫声音的频率越为单一，越可能为鸣肌数量较少的鸟类发出的鸣叫声音；为提高对鸟类声音质量分析的准确率，重点对存在鸟类鸣叫时的噪声进行评估，确定鸟类音频语谱图中每个时间点的鸟鸣易染指数，鸟鸣易染指数可反映各时间点出现噪声时对鸟类声音质量的实际影响程度，避免无效噪声对鸟类声音质量分析的影响，提高对鸟类声音质量分析的准确率；然后，根据梅尔频谱图更关注人类听觉感知中的频率刻度，在野外复杂的自然环境中更容易识别出噪声的特征，根据鸟类音频梅尔频谱图，确定鸟类音频梅尔频谱图中每个时间点的梅尔谱鸟鸣变异指数，进一步确定每一时间点的鸣质特征向量，鸣质特征向量可综合反映各时间点的实际噪声特征，提高后续步骤中对鸟类声音质量进行分析的精度；最后根据鸣质特征向量和鸟类音频信号确定鸣叫本文档来自技高网...
【技术保护点】
1.基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述获取局部监测窗口中的主连通域，根据主连通域确定上轮廓点和下轮廓点，包括的具体方法为：
3.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述鸣肌发声辨识指数获取的具体方法为：
4.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述聚类簇的编号获取的具体方法为：
5.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述鸟鸣易染指数的具体方法为：
6.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述梅尔谱鸟鸣变异指数获取的具体方法为：
7.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述鸣质特征向量获取的具体方法为：
8.根据权利要求1所述的基于多
9.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述根据鸣叫特征融合序列，获取鸟类音频信号的鸣叫质量指数，包括的具体方法为：
10.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述根据鸣叫质量指数实现鸟类声音质量分析，包括的具体方法为：
...【技术特征摘要】
1.基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述获取局部监测窗口中的主连通域，根据主连通域确定上轮廓点和下轮廓点，包括的具体方法为：
3.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述鸣肌发声辨识指数获取的具体方法为：
4.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述聚类簇的编号获取的具体方法为：
5.根据权利要求1所述的基于多模态深度特征层级融合的鸟类声音质量分析方法，其特征在于，所述鸟鸣易染指数的具体方法为：
6.根据权利要求1所述的...
【专利技术属性】
技术研发人员：丁清清，黄世浩，李可扬，
申请(专利权)人：百鸟数据科技北京有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。