编码的媒体的音频视频回放同步制造技术

技术编号:15127134 阅读:161 留言:0更新日期:2017-04-10 04:45
描述了用于将编码的标记插入到编码的音频-视频内容中的技术。例如,编码的音频-视频内容可被接收,而对应的编码的音频和视频标记可被插入。编码的音频和视频标记可被插入而不改变编码的音频和视频流的总持续时间,以及不改变编码的音频和视频流的大多数或全部属性。对应的编码的音频和视频标记可被插入在编码的音频和视频流中的多个位置(例如同步位置)处。可使用具有插入的编码的音频-视频标记的编码的音频-视频内容来执行音频-视频同步测试。

【技术实现步骤摘要】
【国外来华专利技术】背景人们正越来越多地使用不同类型的设备和软件应用来播放多媒体内容。例如,人们使用诸如台式计算机和移动设备之类的计算设备来观看电影和视频剪辑,下载点播或流式多媒体内容,记录并捕捉音频-视频内容(如视频聊天或在线会议),以及执行使用多媒体内容的其他记录和回放任务。为了使用户在产生或消费多媒体内容时具有积极体验,重要的是多媒体内容中的音频和视频信息应被同步。例如,如果用户正在观看电影,视频内容应与音频内容同步(例如,使得演员的嘴在时间上与该演员正在说的话语一起移动)。然而,随着用于消费和产生多媒体内容的不同类型的软件和硬件的不断增加的数量,对音频-视频同步的测试可能是有问题的且耗时的。已经开发了一些解决方案以使用未压缩的音频和视频内容来帮助测试音频-视频同步。然而,这样的解决方案可能仅在编码或创作阶段检测同步问题时有用,且可能不能在回放阶段检测或隔离问题。因此,存在足够机会来改进涉及测试音频-视频同步的技术。概述提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。描述了用于将编码的标记插入到编码的音频-视频内容中的技术和工具。例如,编码的视频标记可被插入到编码的视频流中而不增加该编码的视频流的总持续时间。此外,原始视频流可保持基本不改变,保留所有原始(或几乎所有原始)视频属性。编码的音频标记可被插入到编码的音频流中(例如在对应于插入的视频标记的同步位置处),而不增加该编码的音频流的总持续时间。此外,原始音频流可保持基本不改变,保留所有原始(或几乎所有原始)音频属性。可使用具有插入的编码的音频-视频标记的编码的音频-视频内容来执行音频-视频同步测试。例如,可提供一种用于将编码的标记插入到编码的音频-视频内容中的方法。该方法包括接收包括编码的视频流和编码的音频流的编码的音频-视频内容,在视频同步位置处将编码的视频标记插入到所述编码的视频流中,在对应于所述视频同步位置的音频同步位置处将编码的音频标记插入到所述编码的音频流中,以及输出具有插入的编码的视频标记的编码的视频流以及具有插入的编码的音频标记的编码的音频流。所述编码的视频标记可被插入而不用解码或编码(或重新编码)所述编码的视频流,并且所述编码的音频标记可被插入而不用解码或编码(或重新编码)所述编码的音频流。作为另一示例,可提供一种用于将编码的标记插入到编码的音频-视频内容中的方法。该方法包括接收包括编码的视频流和编码的音频流的编码的音频-视频内容,分析所述编码的视频流以确定视频编码参数,至少部分地使用所确定的视频编码参数来编码视频标记,以创建与所述编码的视频流兼容的编码的视频标记,在视频同步位置处将所述编码的视频标记插入到所述编码的视频流中,分析所述编码的音频流以确定音频编码参数,至少部分地使用所确定的音频编码参数来编码音频标记,以创建与所述编码的音频流兼容的编码的音频标记,在对应于所述视频同步位置的音频同步位置处将所述编码的音频标记插入到所述编码的音频流中,以及输出具有插入的编码的视频标记的编码的视频流以及具有插入的编码的音频标记的编码的音频流。所述编码的视频标记可被插入而不用解码或编码(或重新编码)所述编码的视频流,且在所述编码的视频标记被插入之后,所述编码的视频流的总持续时间可保持不变。所述编码的音频标记可被插入而不用解码或编码(或重新编码)所述编码的音频流,且在所述编码的音频标记被插入之后,所述编码的音频流的总持续时间可保持不变。作为另一示例,可提供一种用于测试编码的音频-视频内容的同步的方法。该方法包括接收包括编码的视频流和编码的音频流的编码的音频-视频内容,所述编码的视频流包括一个或多个视频标记,而所述编码的音频流包括一个或多个对应的音频标记,发起所述编码的音频-视频内容的回放,在所述编码的音频-视频内容的回放期间:捕捉解码的视频内容(例如,所捕捉到的视频内容是以降低的分辨率被捕捉的),以及捕捉解码的音频内容(例如,所捕捉到的音频内容是以减少数量的音频声道和/或降低的质量被捕捉的),根据所捕捉到的视频内容和所捕捉到的音频内容,匹配所述一个或多个视频标记和所述一个或多个对应的音频标记,以及基于所述匹配,输出音频-视频同步信息。作为另一示例,可提供包括处理单元和存储器的用于执行本文所述的操作的计算设备。例如,一计算设备可接收编码的音频-视频内容,插入编码的音频-视频标记,以及输出具有插入的标记的编码的音频-视频内容(例如作为测试音频-视频内容来输出)。一计算设备可通过接收具有插入的标记的编码的音频-视频内容,在回放期间捕捉音频-视频内容,以及匹配音频-视频标记以确定同步结果,来测试音频-视频同步。如本文所述的,各种其它特征和优点可按照需要被结合到所述技术中。附图简述图1是描绘将编码的音频-视频标记插入到编码的音频-视频流中的示例示图。图2是描绘将编码的音频-视频标记插入到编码的音频-视频流中的示例示图,包括解复用和复用音频内容。图3是用于将编码的标记插入到编码的音频-视频内容中的示例方法的流程图。图4是用于插入编码的视频标记同时保持相同的总持续时间的示例方法的流程图。图5是用于基于音频-视频编码参数来创建编码的音频-视频标记的示例方法的流程图。图6是示例视频流和视频时间戳表的现有技术示图。图7是示出插入的编码的视频标记帧的示例视频流和视频时间戳表的示图。图8是示出在同步位置具有插入的视频和音频标记的示例视频和音频流的示图。图9是用于测试具有插入的编码的音频-视频标记的编码的音频-视频内容的同步的示例方法的流程图。图10是其中可实现某些所描述的实施例的示例性计算系统的示图。图11是可以连同本文所述的技术被使用的示例性移动设备。图12是可以连同本文所述的技术被使用的示例性云支持环境。详细描述示例1—概览如本文所述,各种技术和解决方案可被应用于测试编码的音频流和编码的视频流之间的同步。例如,编码的视频标记可被插入到一个或多个编码的视频流中,而编码的音频标记可被插入到一个或多个编码的音频流中。编码的视频标记和编码的音频标记可被插入在音频和视频流中的相应位置处(如同步位置或同步点),诸如具有相应时间戳的位置(如具有相同或近似相同的时间戳)。存在许多用于测试音频-视频同步的现有解决方案,这些现有解决方案将可检测的内容添加到未本文档来自技高网...

【技术保护点】
一种至少部分地由计算设备实现的用于将编码的标记插入到编码的音频‑视频内容中的方法,所述方法包括:由所述计算设备接收包括编码的视频流和编码的音频流的编码的音频‑视频内容;由所述计算设备在视频同步位置处将编码的视频标记插入到所述编码的视频流中,其中所述编码的视频标记被插入而不用解码或重新编码所述编码的视频流;由所述计算设备在对应于所述视频同步位置的音频同步位置处将编码的音频标记插入到所述编码的音频流中,其中所述编码的音频标记被插入而不用解码或重新编码所述编码的音频流;以及由所述计算设备输出具有插入的编码的视频标记的编码的视频流以及具有插入的编码的音频标记的编码的音频流。

【技术特征摘要】
【国外来华专利技术】2013.08.30 US 14/015,2781.一种至少部分地由计算设备实现的用于将编码的标记插入到编码的音
频-视频内容中的方法,所述方法包括:
由所述计算设备接收包括编码的视频流和编码的音频流的编码的音频-视
频内容;
由所述计算设备在视频同步位置处将编码的视频标记插入到所述编码的
视频流中,其中所述编码的视频标记被插入而不用解码或重新编码所述编码的
视频流;
由所述计算设备在对应于所述视频同步位置的音频同步位置处将编码的
音频标记插入到所述编码的音频流中,其中所述编码的音频标记被插入而不用
解码或重新编码所述编码的音频流;以及
由所述计算设备输出具有插入的编码的视频标记的编码的视频流以及具
有插入的编码的音频标记的编码的音频流。
2.如权利要求1所述的方法,其中:
所述接收包括对所述编码的音频-视频内容解复用以产生所述编码的视频
流和所述编码的音频流;以及
所述输出包括将具有插入的编码的视频标记的编码的视频流和具有插入
的编码的音频标记的编码的音频流重新复用。
3.如权利要求1所述的方法,进一步包括:
分析所述编码的视频流以确定视频编码参数;以及
至少部分地使用所确定的视频编码参数来编码视频标记,以创建所述编码
的视频标记。
4.如权利要求1所述的方法,其中在所述编码的视频标记被插入之后所述
编码的视频流的总持续时间保持不变,并且其中在所述编码的音频和视频流被
输出之后所述编码的音频流和所述编码的视频流的基本全部原始属性保持不

\t变。
5.如权利要求4所述的方法,其中所述编码的视频标记是编码的视频标记
帧,其中插入所述编码的视频标记帧包括:
选择一现有的关键视频帧,其中所述现有的关键视频帧位于所述视频同步
位置处;
减少所述现有的关键视频帧的持续时间,从而创建一未使用持续时间;以

使用所述未使用持续时间插入所述编码的视频标记帧。
6.如权利要求5所述的方法,其中所述现有的关键视频帧的持续时间被减
半,且其中直接在所述现有的关键视频帧之前,所述编码的视频标记帧使用所
述未使用持续时间作为一关键视频帧被插入。
7.如权利要求4所述的方法,进一步包括:
根据所述现有的关键视频帧的减少的持续时间以及用于所述插入的编码
的视频标记帧的所述未使用持续时间,修改与所述编码的视频流相关联的元数
据表。
8.如权利要求1...

【专利技术属性】
技术研发人员:F·达拉尔Y·吴S·萨德瓦尼J·博纳帕特
申请(专利权)人:微软技术许可有限责任公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1