一种基于语音处理技术的执法检测方法及系统技术方案

本发明专利技术提出一种基于语音处理技术的执法检测方法，用于识别执法记录仪录制的视频文件，所述方法包括：获取执法记录仪录制的视频文件中的音频文件；检测所述音频文件中是否有人在说话，提取所述音频文件中有人说话的语音片段；对提取的所述语音片段进行分段分析，使得每一个语音片段只包含一个说话人；提取语音片段中说话人的编码特征，利用谱聚类方法进行说话人数估计和聚类，使得同一说话人的语音片段聚类到一起，得到几个类聚而成的语音文件；识别每一个聚类而成的语音文件中属于执法人员的语音文件，便于协助开展文明执法的督导工作。

【技术实现步骤摘要】
一种基于语音处理技术的执法检测方法及系统
本专利技术涉及执法设备领域，具体涉及一种基于语音处理技术的执法检测方法及系统。
技术介绍
文明执法是对警察以及城管等公安系统的人员出警开展现场执法时的要求，是维护和谐社会的重要一环。出警人员需要按照规定佩戴执法记录仪，记录整个过程的音视频信号。出警归来后，该音视频信息如果通过人工检查，则费时费力，而且传统的人工形式的声音回放检查覆盖面小，并且评价结果不可避免地具有高度的主观性和不可重复性。因此，需要专利技术一款自动化的对执法记录仪采集语音的文明执法检测方法及系统。中国专利201510409897.8揭示了一种语音识别执法记录仪及其识别方法，该专利中语音识别模块是识别语音信号对应的指令类别，并输出对执法记录仪相应的操作指令，而非出警人员的说话内容，且不含语种识别和声纹识别模块。中国专利201720380624.X揭示了一种支持语音识别分类标注的智能执法记录仪，该专利中语音识别模块仅能识别0-9的数字串，是为了文件名存档使用，不能识别出警人员的自然语音，且不含语种识别和声纹识别模块。中国专利201710957271.X揭示了一种智能执法记录仪，该专利使用语音识别芯片去识别警员的语音指令，以及警员的身份，不包含在服务器或计算机上对出警人员的自然语音识别，且不含语种方言识别模块，且其声纹识别是为了识别该人员是否为出警人，是用于身份验证。因此，现有技术并不能识别处境人员是否是文明执法，即现有技术并为揭示说了不文明用语的人是否为出警人员，或者识别出警人员是否有说普通话。
技术实现思路
本专利技术所要解决的技术问题是提供一种文明执法检测方法和系统，既可以识别说了不文明用语的人是否为出警人员，或者识别出警人员是否有说普通话。为了解决上述问题，本专利技术提供了一种基于语音处理技术的执法检测方法，所述方法包括：获取执法记录仪录制的视频文件中的音频文件；检测所述音频文件中是否有人在说话，提取所述音频文件中有人说话的语音片段；对提取的所述语音片段进行分段分析，使得每一个语音片段只包含一个说话人；提取语音片段中说话人的编码特征，利用谱聚类方法进行说话人数估计和聚类，使得同一说话人的语音片段聚类到一起，得到几个类聚而成的语音文件；识别每一个聚类而成的语音文件中属于执法人员的语音文件。优选的，所述检测所述音频文件中是否有人在说话，提取所述音频文件中有人说话的语音片段的步骤包括：利用语音端点检测模块检测每一时刻是否有人在说话，通过端点检测模块输出若干语音片段，提取所述音频文件中有人说话的语音片段。优选的，所述识别每一个聚类而成的语音文件中属于执法人员的语音文件的步骤包括：利用声纹识别模块，识别每一个聚类而成的语音文件，找出与执法人员的声纹相匹配的语音文件。优选的，所述方法还包括：识别属于执法人员的语音文件中的语音是否为普通话。优选的，所述方法还包括：通过关键词检索判断属于执法人员的语音文件中的语音是否有不文明用语。优选的，所述方法还包括：通过移动设备查看识别结果，并对所述结果进行纵向或横向比较。优选的，所述方法还包括：当发生突发情况时自动发送报警信息。本专利技术还提供一种基于音频语音处理技术的执法检测系统，所述系统包括：音频获取模块，用于获取执法记录仪录制的视频文件中的音频文件；语音检测模块，用于检测所述音频文件中是否有人在说话，提取所述音频文件中有人说话的语音片段；分段分析模块，对提取的所述语音片段进行分段分析，使得每一语音片段只包含一个说话人；聚类模块，提取语音片段中说话人的编码特征，利用谱聚类方法进行说话人数估计和聚类，使得同一说话人的语音片段聚类到一起，得到几个类聚而成的语音文件；识别模块，用于识别每一个聚类而成的语音文件中属于执法人员的语音文件。优选的，所述识别模块为声纹识别模块。优选的，所述语音检测模块为语音端点检测模块。相对于现有技术中的方案，本专利技术的优点：本专利技术采用了语音端点检测模块，用于检测每一时刻是否有人在说话，提取音频文件中有人说话的片段，并通过聚类得到同一个说话人的语音片段，同时，本专利技术的识别模块还能识别出说话人是否为执法人员，并识别出执法人员是否文明执法，便于协助开展文明执法的督导工作。附图说明下面结合附图及实施例对本专利技术作进一步描述：图1所示为本专利技术其中一实施例的一种基于音频语音处理技术的执法检测方法的流程示意图。图2所示为本专利技术另一实施例的一种基于音频语音处理技术的执法检测方法的流程示意图。图3所示为本专利技术语音查询项检索系统的结构示意图。图4所示为本专利技术一种基于音频语音处理技术的执法检测系统的结构示意图。具体实施方式以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本专利技术而不限于限制本专利技术的范围。实施例中采用的实施条件可以如具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。请参考图1所示，本专利技术中提供一种基于语音处理技术的执法检测方法，所述方法包括：步骤S1，获取执法记录仪录制的视频文件中的音频文件。具体的，导出执法记录仪录制的视频文件中的音频文件，并将所述音频文件存放于计算机或服务器上。步骤S2，提取音频文件中有人说话的语音片段。在本专利技术的其中一实施例中，利用语音端点检测模块检测音频文件的每一时刻是否有人在说话，通过端点检测模块输出若干语音片段，并提取所述音频文件中有人说话的语音片段，同时删除静音及背景噪音部分，以防止背景噪音的干扰。步骤S3，对提取的语音片段进行分段分析。本专利技术的其中一实施例中对步骤S2中端点检测模块输出的若干个语音片段，进行说话人分段分析，具体的，主要通过寻找说话人转折点，并把每个有可能是多人说话的片段切分成多个小片段，使得每一个语音片段只包含一个说话人。步骤S4，利用谱聚类方法得到几个类聚而成的语音文件。具体的，对每一个只包含一个说话人的小语音片段，提取说话人编码特征，然后利用谱聚类方法进行总说话人个数估计和聚类，使得同一个说话人的片段聚类到一起，得到几个聚类而成的语音文件，每一个文件仅包含一位说话人。提取说话人的小语音片段，使用基于神经网络的语音端点检测技术，神经网络结构如下表：表1当在网络中输入为39×帧数的MFCC语谱图时，输出为1×帧数的01矩阵，静音为1，非静音为0。网络前5层均为卷积层，后三层为全链接层，损失函数选择交叉熵损失函数。在本专利技术的其中一实施例中，当提取到每个说话人的语音片段后使用神经网络的声纹识别系统得到说话人的向量(Speakerembedding)。具体的，由于音频转换为64维logmel-filterbank能量，帧长度为25ms，在最多3秒的滑动窗口内进行均值归一化。帧级基于神经网络的语音边缘检测(VAD)选择对应于语音帧的特征。为了获得更高层次的抽象表示，本专利技术采用了如下表2所示的一个深度卷积神经网络(CNN)。...

【技术保护点】
1.一种基于语音处理技术的执法检测方法，用于识别执法记录仪录制的视频文件，其特征在于，所述方法包括：/n获取执法记录仪录制的视频文件中的音频文件；/n检测所述音频文件中是否有人在说话，提取所述音频文件中有人说话的语音片段；/n对提取的所述语音片段进行分段分析，使得每一个语音片段只包含一个说话人；/n提取语音片段中说话人的编码特征，利用谱聚类方法进行说话人数估计和聚类，使得同一说话人的语音片段聚类到一起，得到几个类聚而成的语音文件；/n识别每一个聚类而成的语音文件中属于执法人员的语音文件。/n

【技术特征摘要】
1.一种基于语音处理技术的执法检测方法，用于识别执法记录仪录制的视频文件，其特征在于，所述方法包括：
获取执法记录仪录制的视频文件中的音频文件；
检测所述音频文件中是否有人在说话，提取所述音频文件中有人说话的语音片段；
对提取的所述语音片段进行分段分析，使得每一个语音片段只包含一个说话人；
提取语音片段中说话人的编码特征，利用谱聚类方法进行说话人数估计和聚类，使得同一说话人的语音片段聚类到一起，得到几个类聚而成的语音文件；
识别每一个聚类而成的语音文件中属于执法人员的语音文件。


2.根据权利要求1所述的基于语音处理技术的执法检测方法，其特征在于，所述检测所述音频文件中是否有人在说话，提取所述音频文件中有人说话的语音片段的步骤包括：
利用语音端点检测模块检测每一时刻是否有人在说话，通过端点检测模块输出若干语音片段，提取所述音频文件中有人说话的语音片段。


3.根据权利要求1所述的基于语音处理技术的执法检测方法，其特征在于，所述识别每一个聚类而成的语音文件中属于执法人员的语音文件的步骤包括：
利用声纹识别模块，识别每一个聚类而成的语音文件，找出与执法人员的声纹相匹配的语音文件。


4.根据权利要求1所述的基于语音处理技术的执法检测方法，其特征在于，所述方法还包括：
识别属于执法人员的语音文件中的语音是否为普通话。


5.根据权利要求4所述...

【专利技术属性】
技术研发人员：李参宏，
申请(专利权)人：江苏网进科技股份有限公司，
类型：发明
国别省市：江苏;32