语音数据处理方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及数据处理领域，提供一种语音数据处理方法、装置、电子设备和存储介质，该方法包括：通过第一语音处理模块对语音数据流进行分帧处理，并对每一语音数据帧进行时间戳标记；提取语音处理模块中的目标语音数据帧的时间戳；所述时间戳与当前系统时间的时间差大于预设阈值，确定语音数据流的数据处理过程发生异常。本申请方法通过提取语音处理模块中的语音数据帧对应的时间戳并计算时间戳与当前系统时间的时间差，根据时间差与设定阈值进行比较判断当前系统是否发生语音数据流的阻塞，从而能够及时检测语音数据处理的异常。而能够及时检测语音数据处理的异常。而能够及时检测语音数据处理的异常。

Voice data processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
语音数据处理方法、装置、电子设备和存储介质


[0001]本申请涉及数据处理
，尤其涉及语音数据处理方法、装置、电子设备和存储介质。

技术介绍

[0002]语音唤醒技术通过在设备或软件中预置唤醒词,当用户发出该语音指令时,设备便从休眠状态中被唤醒,并作出指定响应,大大提升了人机交互的效率。为了保护用户隐私，在设备唤醒之前不能将语音数据上传，因此，语音唤醒往往要在本地设备实现。
[0003]在进行语音唤醒之前，需要经过多个语音信号的处理流程，包括语音获取、语音预处理、语音端点检测、唤醒词判断以及最终得到唤醒结果。在该流水线中，各个处理模块会对语音数据逐帧进行处理，不同模块之间会通过缓存进行语音数据的传输。
[0004]受到成本的限制，本地设备往往算力不足、内存有限，某些特殊情况下不能及时处理数据，出现数据堆积的现象，唤醒词判断模块不能及时处理实时数据，导致用户在说出唤醒词后要过数秒才能得到回应，造成实际使用体验变差。
[0005]因此，语音唤醒流程中，如何及时发现语音唤醒过程中的数据流阻塞情况，成为影响系统稳定性的关键。

技术实现思路

[0006]本申请旨在至少解决相关技术中存在的技术问题之一。为此，本申请提出一种语音数据处理方法，能够及时发现语音唤醒过程中的数据流阻塞情况。
[0007]本申请还提出一种语音数据处理装置。
[0008]本申请还提出一种电子设备。
[0009]本申请还提出一种存储介质。
[0010]本申请还提出一种计算机程序产品。
[0011]根据本申请第一方面实施例的语音数据处理方法，包括：
[0012]通过第一语音处理模块对语音数据流进行分帧处理，并根据当前系统时间对分帧处理后得到的每一语音数据帧进行时间戳标记；
[0013]提取语音处理模块中的目标语音数据帧的时间戳；
[0014]所述时间戳与当前系统时间的时间差大于预设阈值，确定所述语音数据流的数据处理过程发生异常；
[0015]其中，所述目标语音数据帧为所述语音数据流被分帧处理后得到的其中一语音数据帧。
[0016]根据本申请实施例的语音数据处理方法，通过提取语音处理模块中的语音数据帧对应的时间戳并计算时间戳与当前系统时间的时间差，根据时间差与设定阈值进行比较判断当前系统是否发生语音数据流的阻塞，从而能够及时检测语音数据处理的异常。
[0017]根据本申请的一个实施例，所述语音数据流的数据处理过程依次包括多个处理步
骤，所述语音处理模块为多个，且多个所述处理步骤与多个所述语音处理模块为一一对应关系；
[0018]所述时间戳与当前系统时间的时间差大于预设阈值，确定所述语音数据流的数据处理过程发生异常，包括：
[0019]根据所述语音处理模块对应的处理步骤在所述数据处理过程中的次序，确定与所述语音处理模块对应的第一阈值；
[0020]所述时间戳与当前系统时间的时间差大于所述第一阈值，确定所述语音数据流的数据处理过程发生异常。
[0021]根据本申请实施例的语音数据处理方法，通过依次排列的多个语音处理模块分别对语音数据流的语音数据帧进行处理，由于语音数据帧流转到不同的语音处理模块具有不同的时延，因此通过语音处理模块在整个数据处理过程中所处的环节来确定相应的判断阈值，进而判断语音数据帧在各个语音处理模块中是否时延过大，能够提高语音数据帧传输或处理时延监测的准确性。
[0022]根据本申请的一个实施例，在所述时间戳与当前系统时间的时间差大于预设阈值，确定所述语音数据流的数据处理过程发生异常之后，还包括：
[0023]根据所述语音处理模块对应的处理步骤在所述数据处理过程中的次序确定资源调度策略；
[0024]执行所述资源调度策略，以使多个所述语音处理模块优先处理所述语音数据流的语音数据帧。
[0025]根据本申请实施例的语音数据处理方法，通过语音处理模块对应的步骤在整个处理过程中的次序有针对性地确定资源调度策略，能够快速地对当前处理的语音数据流进行紧急处理，从而能够及时发现并处理语音数据滞后的问题，增强了系统鲁棒性。
[0026]根据本申请的一个实施例，所述第一语音处理模块为与所述数据处理过程的起始步骤对应的语音处理模块。
[0027]根据本申请实施例的语音数据处理方法，通过采用数据处理过程的起始步骤对应的语音处理模块对语音数据流进行分帧处理，并对每一语音数据帧打时间戳标识，通过最接近语音数据获取的源头来确定数据帧的时间戳，能够进一步提高语音数据帧传输或处理时延监测的准确性。
[0028]根据本申请的一个实施例，所述提取语音处理模块中的目标语音数据帧的时间戳，包括：
[0029]确定所述语音处理模块未对所述目标语音数据帧进行数据处理，并提取所述语音处理模块中的目标语音数据帧的时间戳。
[0030]根据本申请实施例的语音数据处理方法，对于每一语音处理模块，在其进行语音数据帧的处理之前，即提取该语音数据帧的时间戳进行时延判断，从而能够更加及时地发现语音数据处理过程的数据滞后问题。
[0031]根据本申请的一个实施例，所述多个处理步骤依次包括语音获取步骤、语音预处理步骤、语音端点检测步骤和语音数据判断步骤。
[0032]根据本申请实施例的语音数据处理方法，分别通过语音获取步骤、语音预处理步骤、语音端点检测步骤和语音数据判断步骤来实现包括语音唤醒数据在内的语音数据的处
理，进一步提高了语音数据处理的效率和准确性。
[0033]根据本申请的一个实施例，所述语音数据处理方法应用于与语音处理系统对应的边缘计算端。
[0034]根据本申请实施例的语音数据处理方法，通过边缘计算端来实现该方法，避免额外增加语音处理系统本地设备的计算开销，从而在对语音数据处理异常监测的同时不影响原语音处理系统的运行，提高语音处理系统的鲁棒性。
[0035]根据本申请第二方面实施例的语音数据处理装置，包括：
[0036]标记模块，用于通过第一语音处理模块对语音数据流进行分帧处理，并根据当前系统时间对分帧处理后得到的每一语音数据帧进行时间戳标记；
[0037]提取模块，用于提取语音处理模块中的目标语音数据帧的时间戳；
[0038]确定模块，用于所述时间戳与当前系统时间的时间差大于预设阈值，确定所述语音数据流的数据处理过程发生异常；
[0039]其中，所述目标语音数据帧为所述语音数据流被分帧处理后得到的其中一语音数据帧。
[0040]根据本申请第三方面实施例的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述语音数据处理方法。
[0041]根据本申请第四方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述语音数据处理方法。
[0042]根据本申请第五方面实施例的计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音数据处理方法，其特征在于，包括：通过第一语音处理模块对语音数据流进行分帧处理，并根据当前系统时间对分帧处理后得到的每一语音数据帧进行时间戳标记；提取语音处理模块中的目标语音数据帧的时间戳；所述时间戳与当前系统时间的时间差大于预设阈值，确定所述语音数据流的数据处理过程发生异常；其中，所述目标语音数据帧为所述语音数据流被分帧处理后得到的其中一语音数据帧。2.根据权利要求1所述的语音数据处理方法，其特征在于,所述语音数据流的数据处理过程依次包括多个处理步骤，所述语音处理模块为多个，且多个所述处理步骤与多个所述语音处理模块为一一对应关系；所述时间戳与当前系统时间的时间差大于预设阈值，确定所述语音数据流的数据处理过程发生异常，包括：根据所述语音处理模块对应的处理步骤在所述数据处理过程中的次序，确定与所述语音处理模块对应的第一阈值；所述时间戳与当前系统时间的时间差大于所述第一阈值，确定所述语音数据流的数据处理过程发生异常。3.根据权利要求2所述的语音数据处理方法，其特征在于，在所述时间戳与当前系统时间的时间差大于预设阈值，确定所述语音数据流的数据处理过程发生异常之后，还包括：根据所述语音处理模块对应的处理步骤在所述数据处理过程中的次序确定资源调度策略；执行所述资源调度策略，以使多个所述语音处理模块优先处理所述语音数据流的语音数据帧。4.根据权利要求2所述的语音数据处理方法，其特征在于，所述第一语音处理模块为与所述数据处理过程的起始步骤对应的语音处理模块。5.根据权利要求1所述的语音数据处理方法...

【专利技术属性】
技术研发人员：赵东宇，夏立超，刘宁，张法朝，奉飞飞，唐剑，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：