语音处理方法、装置、设备和系统制造方法及图纸

本发明专利技术提供一种语音处理方法、装置、设备和系统，方法包括获取同步采集的音频信号和视频信号；从所有视频信号中提取位于所述音频信号的方向上的目标视频信号；若所述目标视频信号包括发声人员的人脸图像，确定所述发声人员的人脸图像中所述发声人员的唇部状态；若所述唇部状态表示处于说话状态，对所述音频信号进行增强处理，得到增强音频信号；对所述增强音频信号进行语音识别，实现了语音识别前对音频信号的有效性的确认，提高了音频信号的指令，并得到增强音频信号后，对增强音频信号进行语音识别。采用本发明专利技术的技术方案，能够提高语音识别的识别结果准确率、降低无效的语音识别的概率。

【技术实现步骤摘要】
语音处理方法、装置、设备和系统
本专利技术涉及语音处理
，尤其涉及一种语音处理方法、装置、设备和系统。
技术介绍
目前的语音识别技术，都是由语音识别设备对接收的音频信号后，基于接收的音频信号进行直接识别，在整个语音识别过程中采用的主要方法，是通过对输入的音频信号进行分析，得出音频信号中的语音文本内容。但是，人们传递语音信息的过程常常不可避免会受到外界噪声的干扰，这些干扰可能会导致音频信号质量下降、无效信息的增加、有效信息的滤除等，从而导致语音识别的识别结果准确率较低、无效的语音识别的概率较大。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种语音处理方法、装置、设备和系统，以解决现有技术中语音识别的识别结果准确率较低、无效的语音识别的概率较大的问题。基于上述目的，本专利技术提供了一种语音处理方法，包括：获取同步采集的音频信号和视频信号；从所有视频信号中提取位于所述音频信号的方向上的目标视频信号；若所述目标视频信号包括发声人员的人脸图像，确定所述发声人员的人脸图像中所述发声人员的唇部状态；若所述唇部状态表示处于说话状态，对所述音频信号进行增强处理，得到增强音频信号；对所述增强音频信号进行语音识别。进一步地，上述所述的语音处理方法中，所述获取同步采集的音频信号和视频信号，包括：利用通用串行总线USB获取同步采集的音频信号和视频信号。进一步地，上述所述的语音处理方法，还包括：若所述唇部状态表示未处于说话状态，滤除所述音频信号。进一步地，上述所述的语音处理方法中，确定所述发声人员的唇部状态，包括：根据所述目标视频信号，确定所述发声人员的唇部动作频率；根据预设的唇部动作频率与唇部状态的关联关系，确定与所述发声人员的唇部特征相对应的唇部状态。进一步地，上述所述的语音处理方法中，对所述音频信号进行增强处理，得到增强音频信号之前，还包括：基于预设的行为数据库，确定所述发声人员的行为；确定所述发声人员的行为属于当前业务场景的可语音识别的行为。进一步地，上述所述的语音处理方法中，所述确定所述发声人员的行为属于当前业务场景的可语音识别的行为，包括：将所述发声人员的行为与当前业务场景预设的禁止语音识别的行为进行比对，得到比对结果；若所述比对结果表示不一致，确定所述发声人员的行为属于当前业务场景的可语音识别的行为。本专利技术还提供一种语音处理装置，包括：获取模块，用于获取同步采集的音频信号和视频信号；提取模块，用于从所述视频信号中提取位于所述音频信号的方向上的目标视频信号；确定模块，用于若所述目标视频信号包括发声人员的人脸图像，确定所述发声人员的人脸图像中所述发声人员的唇部状态；处理模块，用于若所述唇部状态表示处于说话状态，对所述音频信号进行增强处理，得到增强音频信号；识别模块，用于对所述增强音频信号进行语音识别。本专利技术还提供一种语音处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至6任意一项所述的语音处理方法。本专利技术还提供一种语音处理系统，包括语音采集设备、视频采集设备和如上所述的语音处理设备；所述语音采集设备和所述视频采集设备分别与所述语音处理设备相连；所述语音采集设备用于采集音频信号；所述视频采集设备用于采集视频信号；所述语音处理设备用于实现如上任意一项所述的语音处理方法。进一步地，上述所述的语音处理系统，所述语音采集设备设置有麦克阵列。从上面所述可以看出，本专利技术提供的语音处理方法、装置、设备和系统，通过获取同步采集的音频信号和视频信号，并从视频信号中提取位于音频信号的方向上的目标视频信号后，若检测到目标视频信号包括发声人员的唇部，且发声人员的唇部状态表示处于说话状态，才对音频信号进行增强处理，实现了语音识别前对音频信号的有效性的确认，提高了音频信号的指令，并得到增强音频信号后，对增强音频信号进行语音识别。采用本专利技术的技术方案，能够提高语音识别的识别结果准确率、降低无效的语音识别的概率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的语音处理方法实施例的流程图；图2为本专利技术的语音处理装置实施例的结构示意图；图3为本专利技术的语音处理设备实施例的结构示意图；图4为本专利技术的语音处理系统实施例的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，除非另外定义，本专利技术实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。图1为本专利技术的语音处理方法实施例的流程图，如图1所示，本实施例的语音处理方法具体可以包括如下步骤：100、获取同步采集的音频信号和视频信号；在一个具体实现过程中，可以利用声音采集设备采集周围的音频信号，利用视频采集设备采集周围的视频信号。本实施例中，可以获取同步采集的音频信号和视频信号，也就是说获取的音频信号对应地时间段和视频信号对应的时间段一致。其中，视频采集设备优选为摄像头。在实际应用中，声音采集设备中若设置单双麦克风可以在低噪声、无混响、距离声源很近的情况下获得符合语音识别需求的声音信号，但是，若声源距离麦克风距离较远，并且真实环境存在大量的噪声、多径反射和混响，导致拾取信号的质量下降，这会严重影响语音识别率。另外，单双麦克风接收的音频信号，是由多个声源和环境噪声叠加的，很难实现各个声源的分离，人声噪杂的环境下，无法实现定向拾音，因此，本实施例中优选为在声音采集设备中设置麦克阵列，由麦克阵列采集音频信号。这样，可以采集的不同空间方向的声音信号进行空时处理，实现噪声抑制、混响去除、人声干扰抑制、声源测向、声源跟踪、阵列增益等功能，进而提高语音信号处理质量，以提高真实环境下的语音识别率。其中，本实施例中的麦克阵列优选为8个麦克风。101、从获取的所有视频信号中提取位于音频信号本文档来自技高网...

【技术保护点】
1.一种语音处理方法，其特征在于，包括：/n获取同步采集的音频信号和视频信号；/n从所有视频信号中提取位于所述音频信号的方向上的目标视频信号；/n若所述目标视频信号包括发声人员的人脸图像，确定所述发声人员的人脸图像中所述发声人员的唇部状态；/n若所述唇部状态表示处于说话状态，对所述音频信号进行增强处理，得到增强音频信号；/n对所述增强音频信号进行语音识别。/n

【技术特征摘要】
1.一种语音处理方法，其特征在于，包括：
获取同步采集的音频信号和视频信号；
从所有视频信号中提取位于所述音频信号的方向上的目标视频信号；
若所述目标视频信号包括发声人员的人脸图像，确定所述发声人员的人脸图像中所述发声人员的唇部状态；
若所述唇部状态表示处于说话状态，对所述音频信号进行增强处理，得到增强音频信号；
对所述增强音频信号进行语音识别。


2.根据权利要求1所述的语音处理方法，其特征在于，所述获取同步采集的音频信号和视频信号，包括：
利用通用串行总线USB获取同步采集的音频信号和视频信号。


3.根据权利要求1所述的语音处理方法，其特征在于，还包括：
若所述唇部状态表示未处于说话状态，滤除所述音频信号。


4.根据权利要求1所述的语音处理方法，其特征在于，确定所述发声人员的唇部状态，包括：
根据所述目标视频信号，确定所述发声人员的唇部动作频率；
根据预设的唇部动作频率与唇部状态的关联关系，确定与所述发声人员的唇部特征相对应的唇部状态。


5.根据权利要求1所述的语音处理方法，其特征在于，对所述音频信号进行增强处理，得到增强音频信号之前，还包括：
基于预设的行为数据库，确定所述发声人员的行为；
确定所述发声人员的行为属于当前业务场景的可语音识别的行为。


6.根据权利要求5所述的语音处理方法，其特征在于，所述确定所述发声人员的行为属于当前业务场...

【专利技术属性】
技术研发人员：路博，李旭滨，
申请(专利权)人：云知声智能科技股份有限公司，厦门云知芯智能科技有限公司，
类型：发明
国别省市：北京;11