【技术实现步骤摘要】
本专利技术涉及字幕生成领域，尤其是涉及一种辅助观众理解和学习外语的字幕生成方法及装置。
技术介绍
1、现代社会，人们对于外语的需求越来越高，许多人会采用观看影片的方式学习外语。然而，在播放以外语为主要语言的视频等可视内容时，常常会有演员说一长段台词，但字幕只在同一时间显示有限的词汇，从而造成断句突兀、观众无法看到一段话的全貌的现象，给观众(尤其是抱着学习外语的心态的观众)带来了理解外语和学习外语上的困难。因此通过分析对话文本中的语速和词汇量，确定哪些部分需要生成多行字幕，以便于观众更好地理解演员对话中的长难句，做到“边看边学”。但是目前对于字幕生成的创新大多停留在字幕提取、字幕定制和编辑上，并没有针对外语学习的字幕生成方法。
2、例如公开号为cn106454486a的中国专利文献公开了一种字幕显示方法及装置，旨在通过对字幕的行号进行自适应调整，从而保证先接收到的字幕在靠前的行中显示。公开号为cn111818280b的中国专利文献公开了一种dvb字幕定制系统和字幕定制方法，旨在解决字幕中的信息不能根据用户需求进行定制的问题。
3、因此，迫切需要一种能够辅助观众更好地理解外语、学习外语的字幕生成装置，让观众能够做到“边看边学”，寓教于乐。
技术实现思路
1、本专利技术提供了一种辅助观众理解和学习外语的字幕生成方法及装置，通过使用多行字幕显示长难句，可以帮助观众在观看电影过程中更好理解语句意思、学习外语。
2、一种辅助观众理解和学习外语的字幕生成方法，
3、(1)在接收到影片时将影片按照不同主题进行分类，根据分类设定词汇丰富度阈值；
4、(2)利用语音识别技术提取影片音频中的对话并将其转化为文本；
5、(3)计算对话文本中的词汇丰富度，与词汇丰富度阈值比较后确定需要字幕多行显示的部分和字幕正常显示的部分；
6、(4)根据步骤(3)确定的结果，使用自动字幕生成技术生成并插入字幕。
7、步骤(1)中，结合自然语言处理和机器学习技术将影片自动按照主题分类为简单内容、一般内容和复杂内容；
8、其中，简单内容包括教育视频、儿童节目或旨在教授基础词汇和日常对话的内容，词汇丰富度阈值设定为0.2；
9、一般内容包括新闻报道、日常生活类节目或是涉及一般知识点的教学视频，词汇丰富度阈值设定为0.4；
10、复杂内容包括学术讲座、专业领域的讨论或是文学作品的讨论，词汇丰富度阈值设定为0.6。
11、步骤(2)中，提取影片音频中的对话并将其转化为文本，标记每句话的开始和结束时间。
12、步骤(3)的具体过程为：
13、计算文本中不同单词的数量除以总词数得出某句话的词汇丰富度，与前面得出的影片的词汇丰富度阈值相比；
14、若高于词汇丰富度阈值，则字幕多行显示；若低于词汇丰富度阈值，则计算文本中的总词数除以说话时间，得出对话文本语速，低于110字/分钟，则字幕正常显示，高于110字/分钟，则字幕多行显示。
15、一种辅助观众理解和学习外语的字幕生成装置，包括：
16、影片接收单元，用于接收影片；
17、主题分类单元，用于按照预设标准，将影片按照不同主题进行自动分类，分为简单内容、一般内容和复杂内容；
18、音频提取单元，用于从影片中提取音频轨道；
19、语音识别单元，用于利用语音识别技术，将提取的音频中的对话转换为文本；
20、文本分析单元，用于分析对话文本中的语速和词汇量；
21、字幕决策单元，用于根据文本分析结果，确定哪些对话部分需要生成多行字幕；
22、字幕生成单元，用于生成字幕；
23、字幕编辑与插入单元，用于对生成的字幕进行编辑和格式化，然后将字幕插入到影片中的适当位置。
24、所述的主题分类单元包括：
25、特征提取子单元，用于从影片的音频、文本或视觉信息中提取特征；
26、模型训练子单元，用于利用已标记的数据集对分类模型进行训练，从特征中学习如何区分不同的主题；
27、分类决策子单元，用于基于训练好的分类模型，对新的影片进行主题分类，确定每个影片属于简单内容、一般内容或复杂内容。
28、所述音频提取单元还用于标记每段对话的开始和结束时间。
29、所述文本分析单元还包括：
30、自然语言处理子单元，用于处理和理解人类语言的文本数据，包括词性标注、句法分析；
31、词汇丰富度计算子单元，用于计算对话文本的词汇丰富度；
32、语速计算子单元，用于计算对话文本的语速。
33、与现有技术相比，本专利技术具有以下有益效果：
34、本专利技术通过把影片按照不同主题分类，匹配对应的词汇丰富度阈值，计算文本的词汇丰富度和速度，综合决定字幕是否需要多行显示可以辅助非母语观众更好地看清长难句、理解长难句，达到一种学习的目的。
本文档来自技高网...【技术保护点】
1.一种辅助观众理解和学习外语的字幕生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的辅助观众理解和学习外语的字幕生成方法，其特征在于，步骤(1)中，结合自然语言处理和机器学习技术将影片自动按照主题分类为简单内容、一般内容和复杂内容；
3.根据权利要求1所述的辅助观众理解和学习外语的字幕生成方法，其特征在于，步骤(2)中，提取影片音频中的对话并将其转化为文本，标记每句话的开始和结束时间。
4.根据权利要求1所述的辅助观众理解和学习外语的字幕生成方法，其特征在于，步骤(3)的具体过程为：
5.一种辅助观众理解和学习外语的字幕生成装置，其特征在于，包括：
6.根据权利要求5所述的辅助观众理解和学习外语的字幕生成装置，其特征在于，所述的主题分类单元包括：
7.根据权利要求5所述的辅助观众理解和学习外语的字幕生成装置，其特征在于，所述音频提取单元还用于标记每段对话的开始和结束时间。
8.根据权利要求5所述的辅助观众理解和学习外语的字幕生成装置，其特征在于，所述文本分析单元还包括：
【技术特征摘要】
1.一种辅助观众理解和学习外语的字幕生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的辅助观众理解和学习外语的字幕生成方法，其特征在于，步骤(1)中，结合自然语言处理和机器学习技术将影片自动按照主题分类为简单内容、一般内容和复杂内容；
3.根据权利要求1所述的辅助观众理解和学习外语的字幕生成方法，其特征在于，步骤(2)中，提取影片音频中的对话并将其转化为文本，标记每句话的开始和结束时间。
4.根据权利要求1所述的辅助观众理解和学习外语的字...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。