基于短时傅里叶变换和深度学习的鼾声检测方法及装置制造方法及图纸

本申请提出了一种基于短时傅里叶变换和深度学习的鼾声检测方法及装置，涉及人工智能领域，包括以下步骤：采集用户在睡眠中产生的音频；对音频进行短时傅里叶变换，获取音频的频谱图像；根据训练后的检测网络模型检测频谱图像，确定音频的类别。本申请通过短时傅里叶变换处理音频，引用轻量级卷积神经网络MobileNetv3网络作为原始主干网络，引用深度可分离卷积的思想修改模型，确定H

【技术实现步骤摘要】
基于短时傅里叶变换和深度学习的鼾声检测方法及装置


[0001]本申请涉及人工智能领域，尤其涉及一种基于短时傅里叶变换和深度学习的鼾声检测方法及装置。

技术介绍

[0002]随着健康教育的发展，睡眠呼吸暂停低通气综合征 (OSAS)，已经是一种极为常见是病症了。这种以晚上睡觉打呼噜、白天嗜睡为主要特征的疾病，由于患者在打呼噜期间会伴有反复的呼吸停止，会造成大脑皮层的反复觉醒，引起血液内氧含量降低，造成大脑、心脏等重要器官慢性缺氧。因此，鼾声检测已经成为人工智能领域的一大研究热点。
[0003]然而，目前诊断睡眠呼吸暂停低通气综合征(OSAS)的常用标准为多导睡眠监测 (PSG)，患者需要在专业的睡眠中心进行鼾声以及呼吸的监测，有几十个身体接触传感器，具有极大的局限性，而且耗费极大的成本，不适合用于大规模人群筛查，因此需要有更加简便、家庭化的技术进行监测及初步筛查。
[0004]如何做到快速、准确、低成本地检测到睡眠期间的鼾声，将是未来睡眠医学领域和人工智能领域内一个必须要深度研究的问题。

技术实现思路

[0005]针对上述问题，提出了一种基于短时傅里叶变换和深度学习的鼾声检测方法及装置。
[0006]本申请第一方面提出了一种基于短时傅里叶变换和深度学习的鼾声检测方法，包括：
[0007]采集用户在睡眠中产生的音频；
[0008]对所述音频进行短时傅里叶变换，获取所述音频的频谱图像；
[0009]根据训练后的检测网络模型检测所述频谱图像，确定所述音频的类别。
[0010]可选的，所述对所述音频进行短时傅里叶变换，包括：
[0011][0012]其中，m表示时域变量，n表示频域变量，k表示中间变量，j表示虚数单位，a(k)表示所输入的音频信号，b(m)表示分析窗函数，STFT(m,n)表示时频分布。
[0013]可选的，在检测所述频谱图像之前，包括：
[0014]获取混合音频数据集，其中，根据分类标准将所述混合音频数据集分为鼾声音频和非鼾声音频；
[0015]对所述混合音频数据集进行短时傅里叶变换，确定所述混合音频数据集的混合频谱图像；
[0016]根据所述分类标准标注所述混合频谱图像，并存放标注文件；
[0017]根据所述混合频谱图像与标注文件，训练所述检测网络模型。
[0018]可选的，所述检测网络模型，包括：
[0019]确定轻量级卷积神经网络MobileNetv3网络作为原始主干网络；
[0020]将预设部分标准3
×
3卷积修改为深度可分离卷积；
[0021]确定H
‑
SMish激活函数作为激活函数，所述H
‑
SMish激活函数的表达式为：
[0022][0023]其中，ReLu函数的计算公式为：
[0024]ReLU(x)＝max(0,x)。
[0025]可选的，所述训练检测网络模型，包括：
[0026]根据所述混合频谱图像与标注文件预训练所述检测网络模型，确定所述检测网络模型的预训练权重；
[0027]根据预训练权重初始化所述检测网络模型，通过所述鼾声音频的频谱图像训练所述检测网络模型。
[0028]可选的，在预设时间记录所述音频的类别，将记录结果发送给用户。
[0029]本申请第二方面提出了一种基于短时傅里叶变换和深度学习的鼾声检测装置，包括：
[0030]睡眠声音监听模块，用于采集用户在睡眠中产生的音频；
[0031]音频转换模块，用于对所述音频进行短时傅里叶变换，获取所述音频的频谱图像；
[0032]频谱图像检测模块，用于根据训练后的检测网络模型检测所述频谱图像，确定所述音频的类别；
[0033]睡眠鼾声监测记录模块，用于在预设时间记录所述音频的类别，将记录结果发送给用户。
[0034]本申请第三方面，提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述第一方面中任一所述的方法。
[0035]本申请第四方面，提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一所述的方法。
[0036]本申请的实施例提供的技术方案至少带来以下有益效果：
[0037]通过短时傅里叶变换处理音频方法，引用轻量级卷积神经网络MobileNetv3网络作为原始主干网络，引用深度可分离卷积的思想修改模型，确定H
‑
SMish激活函数作为激活函数，检测并记录用户睡眠时产生音频的类别，实现了高精度的鼾声检测，降低成本。
[0038]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0039]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0040]图1是根据本申请示例性实施例示出的一种基于短时傅里叶变换和深度学习的鼾声检测方法的流程图；
[0041]图2是根据本申请示例性实施例示出的一种训练检测网络YMMNet模型的流程图；
[0042]图3是根据本申请示例性实施例示出的检测网络YMMNet模型的结构图；
[0043]图4是根据本申请示例性实施例示出的一种基于短时傅里叶变换和深度学习的鼾声检测装置的框图；
[0044]图5是一种电子设备的框图。
具体实施方式
[0045]下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0046]图1是根据本申请示例性实施例示出的一种基于短时傅里叶变换和深度学习的鼾声检测方法的流程图，如图1所示：
[0047]步骤101，采集用户在睡眠中产生的音频。
[0048]本申请实施例中，可以通过具有接收系统的设备来采集用户在睡梦中发出的呼吸声和鼾声。
[0049]一种可能的实施例中，具有接收系统的设备为移动手机。
[0050]步骤102，对音频进行短时傅里叶变换，获取音频的频谱图像。
[0051]本申请实施例中，短时傅里叶变换STFT对音频处理过程为：在音频信号做傅里叶变换之前乘一个时间有限的窗函数，并假定非平稳信号在分析窗的短时间隔内是平稳的，通过窗函数在时间轴上的移动，对信号进行逐段分析得到信号的一组局部的频谱。
[0052]具体来说，音频的短时傅里叶变换定义为：
[0053][0054]其中，m表示时域变量；n表示频域变量；k表示中间变量；j表示虚数单位；a(k)表示所输入的音频信号，b(m)表示分析窗函数；STFT(m,n)表示时频分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于短时傅里叶变换和深度学习的鼾声检测方法，其特征在于，包括：采集用户在睡眠中产生的音频；对所述音频进行短时傅里叶变换，获取所述音频的频谱图像；根据训练后的检测网络模型检测所述频谱图像，确定所述音频的类别。2.根据权利要求1所述的方法，其特征在于，所述对所述音频进行短时傅里叶变换，包括：其中，m表示时域变量，n表示频域变量，k表示中间变量，j表示虚数单位，a(k)表示所输入的音频信号，b(m)表示分析窗函数，STFT(m,n)表示时频分布。3.根据权利要求1所述的方法，其特征在于，在检测所述频谱图像之前，包括：获取混合音频数据集，其中，根据分类标准将所述混合音频数据集分为鼾声音频和非鼾声音频；对所述混合音频数据集进行短时傅里叶变换，确定所述混合音频数据集的混合频谱图像；根据所述分类标准标注所述混合频谱图像，并存放标注文件；根据所述混合频谱图像与标注文件，训练所述检测网络模型。4.根据权利要求2所述的方法，其特征在于，所述检测网络模型，包括：确定轻量级卷积神经网络MobileNetv3网络作为原始主干网络；将预设部分标准3
×
3卷积修改为深度可分离卷积；确定H
‑
SMish激活函数作为激活函数，所述H
‑
SMish激活函数的表达式为：其中，ReLu函数...

【专利技术属性】
技术研发人员：张树东，刘文瑾，周丽娟，罗宁，韦冰，
申请(专利权)人：海南大学，
类型：发明
国别省市：