研讨会稳定记录发言的系统及方法技术方案

本发明专利技术公开了研讨会稳定记录发言的系统及方法，包括声音采集模块，分布安装在研讨会现场，对每个声音采集模块划分采集区域，与处理模块连接；图像采集模块，采集研讨会现场的人员图像信息，与处理模块连接；处理模块，对音源信息进行噪音以及串音处理后获得稳定的音源信号，根据处理后的音源信号以及人员图像信息进行发言人与音源的匹配后进行音源输出；本发明专利技术通过声音采集模块进行研讨会分区域音源信号采集，结合图像采集模块进行发言人员图像采集，处理模块对采集的信息进行音源增益、噪音识别以及串音识别处理后，获得稳定的音源信息，并与发言人匹配后进行稳定的音源输出，实现研讨会发言的稳定记录，减少串音和噪音干扰。扰。扰。

【技术实现步骤摘要】
研讨会稳定记录发言的系统及方法


[0001]本专利技术涉及声音信号处理
，尤其涉及研讨会稳定记录发言的系统及方法。

技术介绍

[0002]目前应用的语音识别系统保证高识别准确率具有诸多前提，其中最重要的包括1)发言人讲话稳定清晰明了，且能被拾音设备平稳采集；2)发言人逐一讲话，多人同时发言易出现错误的识别结果，最常见的错误现象是其他人讲话的识别结果在自己识别界面上出现；3)实录现场环境较为安静，白噪音少，且具有均匀的收音环境。目前主要有两种策略对上述现象进行优化：
[0003]其一，调整各现场的硬件设施和限制发言人距离，确保发言人的音源被正确的麦克风拾音设备采集，从而有效采集声音信号和避免其被其他麦克风接受，达到优化实录过程的效果。此外，各硬件设备也具备多项参数，包括麦克风灵敏度、收音范围和阈值等，以便实时进行调整。但该方法受限于具体的现场环境和采音设备,不具备泛化性，即需要对每一个现场进行过程繁琐的观测记录、重复测试，此外，由于现场情形多变，不同的目标声源人讲话声音、讲话习惯也不尽相同，通过硬件调整的方式往往难以解决上述提出的问题。
[0004]其二,针对串音现象，一般语音识别系统在采集到各通道的声源数字信号后，对其进行预设计的数学变化和策略计算，预测该帧识别结果的输出通道并进行相应的输出。该方法将串音过程中的声音信号采集和串音识别输出分离进行，并不能抑制或消除声源的串音音源部分，因此该方法依赖于硬件的采集结果，易受现场硬件设施和环境结构影响，如音源的反射衍射现象易使某些麦克风采集的音源更容易被串音。
[0005]目前，对于研讨会的发言，大部分都需要进行发言记录以及将发言信息通过广播设备播放出去，而在发言过程中，存在多人同时发言时，已发生串音、噪音现象，导致播放设备难以稳定的播放对应发言人的语音信息。
[0006]例如，中国专利CN202010497438.0公开了会议声音采集、会议记录以及会议记录呈现方法和装置。通过人声分离进行发言记录；但是其依然无法解决发言过程中的声音采集的稳定性，导致播放设备难以稳定的播放对应发言人的语音信息。

技术实现思路

[0007]本专利技术主要解决现有的技术中研讨会的发言信息难以被稳定记录的问题；提供一种研讨会稳定记录发言的系统及方法。
[0008]本专利技术的上述技术问题主要是通过下述技术方案得以解决的：研讨会稳定记录发言的系统，包括声音采集模块，设置有若干个，分布安装在研讨会现场，对每个声音采集模块划分采集区域，每个声音采集模块均包括若干个麦克风，用于采集研讨会音源信息并转换成数字信号，若干个所述麦克风均与处理模块连接；图像采集模块，设置有若干个，与声音采集模块配对，采集研讨会现场的人员图像信息，与处理模块连接；处理模块，对采集区
域进行分区标记，获取每个采集区域内麦克风传递的语音通道的音源信息以及图像采集模块传递的人员图像信息，对音源信息进行噪音以及串音处理后获得稳定的音源信号，根据处理后的音源信号以及人员图像信息进行发言人与音源的匹配后进行音源输出。通过声音采集模块进行研讨会分区域音源信号采集，结合图像采集模块进行发言人员图像采集，处理模块对采集的信息进行处理后，获得稳定的音源信息，并与发言人匹配后进行稳定的音源输出，实现研讨会发言的稳定记录，减少串音和噪音干扰。
[0009]作为优选，还包括安装支架，所述安装支架包括与墙体或地面固定的安装座以及转动安装在安装座上的转轴，所述图像采集模块包括摄像头和陀螺仪，所述安装座上设置有用于安装所述麦克风的若干个安装槽，所述摄像头安装在转轴上，所述陀螺仪安装在摄像头上，用于检测摄像头的转动角度，所述转轴与电机连接，所述电机以及陀螺仪均与MCU连接，所述MCU获取麦克风的音源信息，并根据获取的音源信息控制电机工作带动转轴转动使所述摄像头拍摄发言人的图像。通过、陀螺仪、电机和转轴实现摄像头快速对准发言人进行拍摄，实时获取发言人的图像信息，使得发言人与音源的匹配度更快、更好。
[0010]作为优选，所述的处理模块包括音源信号预处理模块、音源增益模块、噪音识别模块、串音识别模块、图像处理模块以及音频输出模块，所述音源信号预处理模块与声音采集模块连接，所述音源增益模块与音源信号预处理模块连接，所述噪音识别模块与音源增益模块连接，所述串音识别模块与噪音识别模块连接，所述图像处理模块分别与串音识别模块和图像采集模块连接，所述音频输出模块分别与图像处理模块以及串音识别模块连接。通过音源信号预处理模块进行音源信号特征提取，通过音源增益模块进行音源放大，通过噪音识别模块进行噪音识别，结合串音识别模块进行串音识别后提供稳定的音源信号。
[0011]作为优选，所述的安装槽内设置有电磁铁，所述麦克风上设置有永磁铁，所述电磁铁吸附或排斥所述永磁体，所述麦克风的侧边设置有卡槽，所述安装槽的侧壁设置有卡块，所述卡块和卡槽相匹配，将所述麦克风卡接在安装槽内。电磁铁通电后，具有磁性，其南北极可以随着通入电流的方向进行改变，当控制电磁铁与永磁体相吸时，通过磁铁的吸附力使得麦克风固定卡接在安装槽内，卡块和卡槽用于安装限位。
[0012]作为优选，所述的卡块为圆弧形卡块。当卡块为圆弧形时，若出现麦克风更换问题，需要拆除麦克风，电磁铁改变南北极，使得电磁铁与永磁铁相斥，电磁排斥力大于圆弧形卡块与卡槽的摩擦力，使得麦克风弹出安装槽，方便麦克风的更换。
[0013]作为优选，所述的卡块为矩形卡块，所述安装槽的侧壁设置有用于收纳矩形卡块的收纳槽，所述矩形卡块内部设置有弹簧，所述弹簧不通电时处于自然状态使得矩形卡块与卡槽卡接，所述弹簧通电时弹簧收缩进入收纳槽。弹簧通电收缩时完全收入收纳槽内，矩形卡块与卡槽不在启动限位作用，更换麦克风时更加快速，同时，当电磁铁突然断电时，麦克风也不会因为颠簸等原因从安装槽内掉出来，安全性更高。
[0014]本专利技术还提供一种研讨会稳定记录发言的方法，包括以下步骤：
[0015]声音采集模块进行不同音源信号采集，图像采集模块进行发言人员图像采集；
[0016]对采集到的音源信号进行特征提取；
[0017]将音源信号进行自适应音源增益、噪音识别和串音识别；
[0018]将优化后的音源信号与发言人匹配后进行音源输出。
[0019]作为优选，自适应音源增益的方法为：获取当前帧某一音源通道内的音源信号，并
获取该帧音源信号声音提供者K帧历史帧信号，将K+1帧音源信号输入前馈记忆网络得到增益后的音源信号。
[0020]作为优选，所述的串音识别的方法为：对各通道的特征数据进行相似度计算，对相似度高的通道，再通过时序马尔可夫过程进行数字信号的时序对齐，识别出在时间上有向后延迟的相似通道，将识别出的时间上有向后延迟的相似通道判定为串音通道
[0021]作为优选，取每个通道在当前时间的特征和历史时间帧上的特征进行异常检测，识别出麦克风突然采集声音的过程，并计算该过程是串音发生的概率，将串音发生概率和串音通道判定结果进行加权计算，得到最终的串音识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.研讨会稳定记录发言的系统，其特征在于，包括：声音采集模块，设置有若干个，分布安装在研讨会现场，对每个声音采集模块划分采集区域，每个声音采集模块均包括若干个麦克风，用于采集研讨会音源信息并转换成数字信号，若干个所述麦克风均与处理模块连接；图像采集模块，设置有若干个，与声音采集模块配对，采集研讨会现场的人员图像信息，与处理模块连接；处理模块，对采集区域进行分区标记，获取每个采集区域内麦克风传递的语音通道的音源信息以及图像采集模块传递的人员图像信息，对音源信息进行噪音以及串音处理后获得稳定的音源信号，根据处理后的音源信号以及人员图像信息进行发言人与音源的匹配后进行音源输出。2.根据权利要求1所述的研讨会稳定记录发言的系统，其特征在于，还包括安装支架，所述安装支架包括与墙体或地面固定的安装座以及转动安装在安装座上的转轴，所述图像采集模块包括摄像头和陀螺仪，所述安装座上设置有用于安装所述麦克风的若干个安装槽，所述摄像头安装在转轴上，所述陀螺仪安装在摄像头上，用于检测摄像头的转动角度，所述转轴与电机连接，所述电机以及陀螺仪均与MCU连接，所述MCU获取麦克风的音源信息，并根据获取的音源信息控制电机工作带动转轴转动使所述摄像头拍摄发言人的图像。3.根据权利要求1所述的研讨会稳定记录发言的系统，其特征在于，所述处理模块包括音源信号预处理模块、音源增益模块、噪音识别模块、串音识别模块、图像处理模块以及音频输出模块，所述音源信号预处理模块与声音采集模块连接，所述音源增益模块与音源信号预处理模块连接，所述噪音识别模块与音源增益模块连接，所述串音识别模块与噪音识别模块连接，所述图像处理模块分别与串音识别模块和图像采集模块连接，所述音频输出模块分别与图像处理模块以及串音识别模块连接。4.根据权利要求2所述的研讨会稳定记录发言的系统，其特征在于，所述安装槽内设置有电磁铁，所述麦...

【专利技术属性】
技术研发人员：麦联韬，唐海江，朱宇，袁宇豪，
申请(专利权)人：杭州云嘉云计算有限公司，
类型：发明
国别省市：