所公开的技术是一种用于从口语单词或声音片段中合成和编辑视频节目的系统和计算机实现的方法。所公开的技术导入源音频/视频短片和多种格式中的任何一种格式。口语音频被转写成可搜索的文本。文本转写本通过时间码标记与视频轨道同步。每个口语单词与一时间码标记相对应，该时间码标记继而与一个或多个视频帧相对应。通过使用单词处理操作和文本编辑功能，用户通过选择对应的所转写的文本段来选择视频片段。通过选择文本并排列该文本来合成对应的视频节目。所选择的视频片段由用户以任意选择的顺序在时间线显示上合成。视频片段的序列可以根据需要被重新排序和编辑，以产生用于导出的最终视频节目。导出的最终视频节目。导出的最终视频节目。
【技术实现步骤摘要】
【国外来华专利技术】用于音频和视频合成的文本驱动编辑器
[0001]相关申请的交叉引用
[0002]本申请要求于2020年10月28日提交的、名称为“用于音频和视频合成的文本驱动编辑器”的第63/106,648号美国临时申请、以及于2020年10月28日提交的、名称为“用于音频和视频编辑的文本驱动编辑器”的第63/106,649号美国临时申请的权益。
[0003]所公开的技术总体上涉及用于视频编辑和合成视频节目的计算机实现的方法、系统和计算机程序。更具体地，本公开涉及用于基于从视频短片的音频轨道中的所转写的语音导出的关键字或声音片段来编辑和合成视频节目的方法、系统和计算机程序。
技术介绍
[0004]本部分中所讨论的主题不应仅仅因为其在本部分中的提到而被假定为现有技术。类似地，在本部分中提到的或与作为背景提供的主题相关联的问题不应该被假定为先前在现有技术中已经认识到。本部分的主题仅代表不同的方法，这些方法本身也可以对应于所要求保护的技术的实现。
[0005]视频编辑是将视频素材、视频短片、特效和录音编辑成最终视频节目的过程。在过去，非线性视频编辑(nonlinear video editing，NLE)是在具有专用软件的复杂且昂贵的专用机器上执行，但是随着时间的推移，视频编辑软件已经发展到可在个人计算机甚至平板电脑和智能手机上广泛使用。在过去的十年中，随着越来越多的社交媒体视频平台变得可广泛结合视频，对视频编辑软件的需求也在增长。社交媒体视频平台的指数增长已导致内容创作者的相应增长，内容创作者正在生成视频内容、编辑该视频内容并将该视频内容上传到社交媒体视频平台和其他地方。
[0006]在专业视频编辑中，计算机程序昂贵且复杂，需要用户在使用一般复杂的用户界面方面接受培训。为了变得熟练，非线性视频编辑的用户必须获得专家级的知识和培训，以掌握非线性视频编辑系统的过程和用户界面。已知的非线性视频编辑系统由于复杂性，对普通用户来说可能是令人生畏的。
[0007]此外，这种计算机程序在计算上效率低。例如，这种计算机程序在编辑期间生成视频副本时浪费了处理资源以及存储器资源。举例来说，响应于生成从较大的数字视频中获取视频短片的用户命令，现有的计算机程序将通常要么1)从数字视频中复制帧以生成独立的视频短片，要么2)复制整个数字视频，然后删除不包括在视频短片中的视频帧。因此，现有的计算机程序浪费大量的处理周期，同时使得与视频编辑任务相关的存储器使用量迅速膨胀。
技术实现思路
[0008]根据本公开的第一方面，提供了一种计算机实现的方法，该方法包括：生成转写映射，该转写映射将音频轨道的转写本的单词与数字视频的视频帧相关联，该数字视频包括
该音频轨道和视频轨道；接收从音频轨道的转写本中选择一个或多个单词的指示；通过以下步骤，从数字视频中生成与所选择的一个或多个单词相对应的视频短片：在转写映射中确定与从音频轨道的转写本中选择的一个或多个单词相关联的时间码；以及基于这些时间码生成视频短片。
[0009]该计算机实现的方法还可以包括：通过以下步骤生成音频轨道的转写本：从数字视频中提取音频轨道；基于数字视频的元数据，确定用于音频轨道的增量的时间码；生成音频轨道的转写本；以及将用于音频轨道的增量的时间码分配给音频轨道的转写本的对应增量。
[0010]生成转写映射可以包括：为音频轨道的转写本中的每个单词确定开始时间码和结束时间码；以及生成转写映射，该转写映射包括音频轨道的转写本的单词与对应的开始时间码和结束时间码相关联。
[0011]接收从音频轨道的转写本中选择一个或多个单词的指示可以包括：接收用户在包括音频轨道的转写本的显示内、突出显示一个或多个单词的指示。
[0012]从音频轨道的转写本中确定与所选择的一个或多个单词相关联的时间码可以包括：在转写映射中，确定与从音频轨道的转写本中选择的一个或多个单词中的第一个单词相关联的开始时间码；以及在转写映射中，确定与从音频轨道的转写本中选择的一个或多个单词中的最后一个单词相关联的结束时间码。
[0013]基于时间码生成视频短片可以包括：确定数字视频的第一时间码，该第一时间码和与所选择的一个或多个单词中的第一个单词相关联的开始时间码相对应；确定数字视频的第二时间码，该第二时间码和与所选择的一个或多个单词中的最后一个单词相关联的结束时间码相对应；以及生成视频短片，该视频短片包括来自所述数字视频的、在第一时间码处开始并在第二时间码处结束的多个视频帧。
[0014]生成包括来自所述数字视频的在第一时间码处开始并在第二时间码处结束的多个视频帧的视频短片可以包括：生成HTML代码，该HTML代码包括引用数字视频、第一时间码和第二时间码的媒体片段通用资源标识符。
[0015]根据本公开的第二方面，提供了一种系统，该系统包括：至少一个物理处理器；以及物理存储器，该物理存储器包括多个计算机可执行指令，这些计算机可执行指令在被物理处理器执行时，使得所述物理处理器执行包括以下步骤的动作：生成转写映射，该转写映射将音频轨道的转写本的单词与数字视频的视频帧相关联，该数字视频包括该音频轨道和视频轨道；接收从音频轨道的转写本中选择一个或多个单词的指示；通过以下步骤，从数字视频中生成与所选择的一个或多个单词相对应的视频短片：在转写映射中，确定与从音频轨道的转写本中选择的一个或多个单词相关联的时间码；以及基于这些时间码生成视频短片。
[0016]该物理存储器还可以包括在被物理处理器执行时使物理处理器执行如下动作的多个计算机可执行指令：该动作包括通过以下步骤生成音频轨道的转写本：从数字视频提取音频轨道；基于数字视频的元数据，确定音频轨道的增量的时间码；生成音频轨道的转写本；以及将音频轨道的增量的时间码分配给音频轨道的转写本的对应增量。
[0017]该物理存储器还可以包括在被物理处理器执行时使物理处理器执行如下动作的多个计算机可执行指令：该动作包括通过以下步骤生成转写映射：为音频轨道的转写本中
的每个单词确定开始时间码和结束时间码；以及生成转写映射，该转写映射包括音频轨道的转写本的单词与对应的开始时间码和结束时间码相关联。
[0018]该物理存储器还可以包括在被物理处理器执行时使物理处理器执行如下动作的多个计算机可执行指令：该动作包括通过以下步骤接收从音频轨道的转写本中选择一个或多个单词的指示：接收用户在包括音频轨道的转写本的显示内、突出显示一个或多个单词的指示。
[0019]该物理存储器还可以包括在被物理处理器执行时使物理处理器执行如下动作的多个计算机可执行指令：该动作包括：通过以下步骤从音频轨道的转写本中确定与所选择的一个或多个单词相关联的时间码：在转写映射中，确定与从音频轨道的转写本中选择的一个或多个单词中的第一个单词相关联的开始时间码；以及在转写映射中，确定与从音频轨道的转写本中选择的一个或多个单词中的最后一个单词相关联的结束时间码。
[0020]该物理存储器还可以包括在被物理处理器执行时使物理处理器执行如下动作的多个计算机本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：生成转写映射，所述转写映射将音频轨道的转写本的单词关联到数字视频的视频帧，所述数字视频包括所述音频轨道和视频轨道；接收从所述音频轨道的所述转写本中选择一个或多个单词的指示；以及通过以下步骤，从所述数字视频中生成与所选择的所述一个或多个单词相对应的视频短片：在所述转写映射中，确定与从所述音频轨道的所述转写本选择的所述一个或多个单词相关联的时间码；以及基于所述时间码生成所述视频短片。2.根据权利要求1所述的计算机实现的方法，还包括：通过以下步骤生成所述音频轨道的所述转写本：从所述数字视频中提取所述音频轨道；基于所述数字视频的元数据，确定用于所述音频轨道的增量的时间码；生成所述音频轨道的转写本；以及将用于所述音频轨道的增量的所述时间码，分配给所述音频轨道的所述转写本的对应增量。3.根据权利要求2所述的计算机实现的方法，其中，生成所述转写映射包括：为所述音频轨道的所述转写本中的每个单词确定开始时间码和结束时间码；以及生成所述转写映射，所述转写映射包括所述音频轨道的所述转写本的单词与对应的开始时间码和结束时间码相关联。4.根据权利要求1所述的计算机实现的方法，其中，接收从所述音频轨道的所述转写本中选择所述一个或多个单词的指示，包括：接收用户在包括所述音频轨道的所述转写本的显示内、突出显示所述一个或多个单词的指示。5.根据权利要求1所述的计算机实现的方法，其中，从所述音频轨道的所述转写本中确定与所选择的所述一个或多个单词相关联的时间码，包括：在所述转写映射中，确定与从所述音频轨道的所述转写本中选择的所述一个或多个单词中的第一个单词相关联的开始时间码；以及在所...
【专利技术属性】
技术研发人员：沙米尔，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。