会议纪要生成方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例涉及一种会议纪要生成方法、装置、计算机设备及存储介质，所述方法包括：调用语音采集设备采集会议过程的全程语音，调用图像采集设备采集会议过程的全程图像；从全程语音中提取单通道语音，从单通道语音中分别提取多个语音分段数据流；针对每个语音分段数据流，从全程图像中截取与该语音分段数据流对应的图像分段数据流；将每个语音分段数据流以及对应的图像分段数据流输入语音发出者检测模型，提取多个对应的语音发出者身份信息以及位置信息；将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音识别模型，提取多个对应的语音转录文字；依次记录每个语音转录文字以及对应的语音发出者身份信息，生成会议纪要。生成会议纪要。生成会议纪要。

【技术实现步骤摘要】
会议纪要生成方法、装置、计算机设备及存储介质


[0001]本专利技术实施例涉及计算机信息自动处理
，尤其涉及一种会议纪要生成方法、装置、计算机设备及存储介质。

技术介绍

[0002]在各类工作和生活环境中，会议是人们沟通信息、完成讨论、制定计划的一个非常重要的场景。在多人的会议当中，通常进行多轮发言和对话，通过一系列上下文相关的语音和内容完成了交流和沟通。其中，语音作为人们进行信息交互最自然、最有效的手段，广泛存在于各种会议场景中。
[0003]在日常生活中，人们通过语言之间的沟通，其实是基于多种感官信号(例如听觉、视觉)共同的刺激而完成的。例如，在日常的一段对话中，除了听觉通路本身的纯语音信号之外，视觉也会带来比如对语音发出者的身份的确认、对语音识别的提升(例如通过唇语动作的辅助)等作用。
[0004]具体到会议类场景中，由于语音发出者的身份不止一个，对会议场景中存在的语音进行简单的转录，而忽略了对语音发出者身份的确认，导致每一段语音缺乏语音发出者的身份信息，后续需要使用人工的方式去确认每一段语音的语音发出者的身份信息，效率比较低。

技术实现思路

[0005]鉴于此，为解决上述技术问题或部分技术问题，本专利技术实施例提供了一种会议纪要生成方法、装置、计算机设备及存储介质。
[0006]第一方面，本专利技术实施例提供了一种会议纪要生成方法，所述方法包括：
[0007]调用语音采集设备采集会议过程中的多个语音发出者对应的全程语音，调用图像采集设备采集会议过程中的多个语音发出者对应的全程图像；
[0008]从所述全程语音中提取单通道语音，从所述单通道语音中分别提取多个语音分段数据流，其中，每个语音分段数据流均属于一个语音发出者；
[0009]针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流对应的图像分段数据流，其中，每个语音分段数据流与对应的图像分段数据流均属于同一语音发出者；
[0010]将每个语音分段数据流以及对应的图像分段数据流输入语音发出者检测模型，提取多个对应的语音发出者身份信息以及位置信息；
[0011]将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音识别模型，提取多个对应的语音转录文字；
[0012]依次记录每个语音转录文字以及对应的语音发出者身份信息，生成会议纪要。
[0013]在一个可能的实施方式中，所述从所述全程语音中提取单通道语音，包括：
[0014]将所述全程语音经过A/D转换，且按照预设的提取率进行提取，以得到单通道语
音。
[0015]在一个可能的实施方式中，所述从所述单通道语音中分别提取多个语音分段数据流，包括：
[0016]对所述单通道语音进行断句切分，以提取多个语音分段数据流。
[0017]在一个可能的实施方式中，所述针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流对应的图像分段数据流，包括：
[0018]针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流位于同一时间段的对应图像分段数据流。
[0019]在一个可能的实施方式中，所述将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音识别模型，提取多个对应的语音转录文字，包括：
[0020]将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音增强去噪模型，得到多个去噪后的语音；
[0021]将每个语音分段数据流以及对应的去噪后的语音输入语音识别模型，提取多个对应的语音转录文字。
[0022]第二方面，本专利技术实施例提供一种会议纪要生成装置，所述装置包括：
[0023]采集模块，用于调用语音采集设备采集会议过程中的多个语音发出者对应的全程语音，调用图像采集设备采集会议过程中的多个语音发出者对应的全程图像；
[0024]语音提取模块，用于从所述全程语音中提取单通道语音；
[0025]数据流提取模块，用于从所述单通道语音中分别提取多个语音分段数据流，其中，每个语音分段数据流均属于一个语音发出者；
[0026]数据流截取模块，用于针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流对应的图像分段数据流，其中，每个语音分段数据流与对应的图像分段数据流均属于同一语音发出者；
[0027]信息提取模块，用于将每个语音分段数据流以及对应的图像分段数据流输入语音发出者检测模型，提取多个对应的语音发出者身份信息以及位置信息；
[0028]文字提取模块，用于将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音识别模型，提取多个对应的语音转录文字；
[0029]纪要生成模块，用于依次记录每个语音转录文字以及对应的语音发出者身份信息，生成会议纪要。
[0030]在一个可能的实施方式中，所述语音提取模块具体用于：
[0031]将所述全程语音经过A/D转换，且按照预设的提取率进行提取，以得到单通道语音。
[0032]在一个可能的实施方式中，所述数据流提取模块具体用于：
[0033]对所述单通道语音进行断句切分，以提取多个语音分段数据流。
[0034]第三方面，本专利技术实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述的会议纪要生成方法。
[0035]第四方面，本专利技术实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的会议纪要生成程序，以实现前述的会议纪要生成方法。
[0036]本专利技术实施例提供的技术方案，可以实现依次记录每个语音转录文字以及对应的语音发出者身份信息，生成会议纪要，在对会议场景中存在的语音进行转录的同时对语音发出者身份进行确认，每一段语音具有语音发出者的身份信息，后续无需使用人工的方式去确认每一段语音的语音发出者的身份信息，显著提高了效率。
附图说明
[0037]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0038]图1为本专利技术实施例的会议纪要生成方法的实施流程示意图；
[0039]图2为本专利技术实施例的会议纪要生成装置的结构示意图；
[0040]图3为本专利技术实施例的计算机设备的结构示意图。
具体实施方式
[0041]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0042]为便于对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种会议纪要生成方法，其特征在于，所述方法包括：调用语音采集设备采集会议过程中的多个语音发出者对应的全程语音，调用图像采集设备采集会议过程中的多个语音发出者对应的全程图像；从所述全程语音中提取单通道语音，从所述单通道语音中分别提取多个语音分段数据流，其中，每个语音分段数据流均属于一个语音发出者；针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流对应的图像分段数据流，其中，每个语音分段数据流与对应的图像分段数据流均属于同一语音发出者；将每个语音分段数据流以及对应的图像分段数据流输入语音发出者检测模型，提取多个对应的语音发出者身份信息以及位置信息；将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音识别模型，提取多个对应的语音转录文字；依次记录每个语音转录文字以及对应的语音发出者身份信息，生成会议纪要。2.根据权利要求1所述的方法，其特征在于，所述从所述全程语音中提取单通道语音，包括：将所述全程语音经过A/D转换，且按照预设的提取率进行提取，以得到单通道语音。3.根据权利要求1所述的方法，其特征在于，所述从所述单通道语音中分别提取多个语音分段数据流，包括：对所述单通道语音进行断句切分，以提取多个语音分段数据流。4.根据权利要求1所述的方法，其特征在于，所述针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流对应的图像分段数据流，包括：针对每个语音分段数据流，从所述全程图像中截取与该语音分段数据流位于同一时间段的对应图像分段数据流。5.根据权利要求1所述的方法，其特征在于，所述将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音识别模型，提取多个对应的语音转录文字，包括：将每个语音分段数据流，以及对应的语音发出者身份信息、位置信息输入语音增强去噪模型，得到多个去噪后的语音；将每个语音分段...

【专利技术属性】
技术研发人员：许家铭，石晶，徐波，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：