向客户端提供瓦片视频流制造技术

描述了一种用于向客户端设备提供一个或多个瓦片流以用于再现感兴趣的区域（ROI）的方法，其中所述ROI限定源视频的瓦片表示的区域，并且其中所述方法包括：再现包括所述源视频的ROI的感兴趣的区域（ROI）视频流；接收所述ROI视频流的至少一个帧的ROI位置信息；以及接收基于所述ROI位置信息和空间清单文件而请求的一个或多个瓦片流，所述空间清单文件定义所述源视频的一个或多个瓦片表示，瓦片表示包括一个或多个瓦片标识符以用于标识一个或多个瓦片流并且瓦片位置信息限定所述瓦片流的空间位置。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及向客户端提供瓦片（tile）视频流，以及特别地尽管非排他地，涉及用于向客户端提供一个或多个瓦片视频流的toad方法，包括被配置用于基于所述瓦片视频流来再现感兴趣的区域的客户端的设备，用于形成感兴趣的区域（ROI）流的视频处理器，用于存储视频流和数据结构的非暂时性计算机可读存储介质以及使用这样的方法的计算机程序产品。
技术介绍
摄像机和图像处理技术中的进展使得能够以日益更高的分辨率和更大的图像格式来记录和处理内容。为了处理和控制这样的格式的高带宽需求以及允许在具有有限显示能力的用户设备上播出这些格式，这样的高分辨率的流的帧的大视场图像区域可以在空间上被划分成区段的网格（其通常称为瓦片、分段或切片）。图像区域的这些瓦片区段中的数据可以被编码为分离的流，以使得它们可以独立于彼此地被存储和分布。在本公开中，这样的流可以被称为瓦片流，其可以与术语“瓦片视频流”可互换地使用。瓦片流可以包括瓦片帧的序列，所述瓦片帧可以根据特定内容、优选地播出时间线来由客户端播出。瓦片流因而包括与在图像区域内具有固定（空间）位置（例如，具有固定/静态的坐标）的图像区域的子区域（例如，“瓦片”或“瓦片区段”）有关的帧。换言之，其在图像区域中的“空间位置”不随时间改变。图像区域内该子区域的（静态）位置可以由所谓的“瓦片位置信息”来限定。用户可以选择高分辨率流的帧的图像区域内的感兴趣的区域（ROI），并且客户端可以随后请求与所选的ROI关联的瓦片流的集合。当接收到所请求的瓦片流时，客户端可以对流进行解码，并将解码的瓦片帧缝合（stitch）在一起，以使得所选的ROI的无缝图像可以显示给用户。该过程可以被称为瓦片化的流式传输。当移动大视场图像区域内的ROI时（例如，经由用户的扫视（panning）、缩放或倾斜动作），不同的瓦片流集合需要被递送给客户端以便向用户再现新选择的ROI的无缝视图。这样，瓦片化的流式传输允许用户与内容交互。通常，使用自适应的流式传输协议来将瓦片（即，瓦片流）递送给客户端。在这些实现方式中，客户端（即，客户端设备）可以被提供有所谓的空间清单文件，其包括源视频（通常为大视场区段、高分辨率源视频）的一个或多个不同瓦片表示，其中瓦片表示可以定义按照例如分辨率和/或瓦片大小和/或瓦片位置的预定瓦片格式的瓦片流集合。空间清单文件还可以包括瓦片流标识符（例如，URL），用于确定网络中被配置用于向客户端递送瓦片流的一个或多个递送节点。基于空间清单文件，客户端可以处理用户选择的ROI和/或瓦片表示中的改变以及针对来自服务器或内容递送网络（CDN）的瓦片流的相关联的请求。在WO2012/168365中描述了被配置用于基于瓦片流来高效地递送内容的内容递送网络（CDN）和被配置用于接收和处理瓦片流的客户端的有利实现方式。然而，在许多用户场景中，没有必要或甚至不期望内容连续地被客户端作为瓦片式流的集合来播出。在足球比赛的情况下，用户可能仅对在某些时间点与媒体流交互感兴趣，例如当做出离屏犯规但摄像机操作者反而决定跟随球时。此外，在客户端的带宽和处理负载方面，期望减少对于显示大视场图像区域的ROI所需的流的数目，因为对于每个瓦片流应该开始解码器的分离的实例。在Mavlankar等人的文章“Interactive region-of-interest video streaming system for online lecture viewing”中，描述了包括跟踪模式和用户控制模式的瓦片化流式传输系统。用户模式是瓦片流模式，其中用户可以选择与瓦片流的集合关联的ROI。瓦片流被客户端接收和处理，以使得再现用户选择的ROI。在跟踪模式中，通过可以跟踪图像中的对象的跟踪算法（“虚拟摄像机操作者”）来确定ROI。ROI流（在文章中称为“跟踪瓦片”）通过直接从（高分辨率广域格式）源视频裁剪（crop）ROI来生成。跟踪模式因而是非瓦片化的模式，其中，ROI在单个流中被流式传输到客户端，并且对于再现ROI的显示，将不存在不同的瓦片流之间的切换。用户可以被动跟随视频中移动的ROI（例如，足球比赛中球的位置），而不必他自己主动在大视场图像区域四处导航。如Mavlankar中描述的跟踪模式概念是在在线讲演观看的上下文内发展的。然而，其不提供在跟踪模式中的ROI和用户控制模式中的ROI之间执行无缝切换的能力。这样的切换功能性在更一般的内容广播和流式传输应用中将会是被期望的。例如，如果用户正在跟踪模式中观看足球比赛（例如，观看由导演编辑的演播室“剪辑（cut）”），用户可能想要以不太有缝的方式探索其中做出犯规的区段，而不必切换到不同的模式从而中断视频，并且不必首先在用户控制模式中寻找大视场“指甲（fingernail）”图片中的特定ROI，因为这样的动作将严重中断连续的用户体验。此外，在某些实现方式中，如由Mavlankar所建议的那样总是提供源视频的“全图像视图”的“指甲”视图可能不合期望或根本不可行。甚至更是这样的是，用于ROI选择的“指甲”视图可能是不充分且繁重的，如果与期望的（用户确定的）ROI相比而言全图像视图很大的话。如果全图像视图很大并提供大量细节，并且更特定地当例如在ROI选择期间执行缩放结合扫视时，可能是这样的情况。因此，在本领域中存在对于使得能够将具有大视场区段的帧中感兴趣的区域高效流式传输给客户端的改进的方法和系统的需要。另外，本领域中存在使得能够实现在基于单个流将感兴趣的区域流式传输给客户端（在非瓦片化的模式中）与基于瓦片流集合将感兴趣的区域流式传输给客户端（在瓦片化模式中）之间的平滑或甚至无缝切换的需要。
技术实现思路
本专利技术的目的在于减少或消除现有技术中已知的缺陷中的至少一个。在第一方面中，本专利技术可以涉及一种用于向客户端设备提供一个或多个瓦片视频流的方法，所述一个或多个瓦片视频流用于在显示器上再现感兴趣的区域（ROI），所述感兴趣的区域在与源视频关联的图像区域内限定子区域。在实施例中，所述方法可以包括：接收感兴趣的区域（ROI）视频流以用于再现第一ROI，所述第一ROI在与所述源视频关联的图像区域内限定第一子区域；提供与所述客户端设备所接收的所述ROI视频流的至少一个视频帧关联的ROI位置信息，所述ROI位置信息包括所述图像区域内的所述第一子区域的至少一个第一位置。在实施例中，所述ROI位置信息和瓦片位置信息可以被用于确定与一个或多个瓦片子区域关联的一个或多个瓦片视频流，所述一个或多个瓦片子区域的至少部分与所述第一子区域重叠，所述瓦片位置信息包括所述图像区域内的所述一个或多个瓦片子区域的位置；以及，请求所述一个或多个瓦片视频流。因此，ROI流可以在源视频的全宽视场图像区域内形成子区域。也就是说，由ROI流所传送的帧当在显示器上再现时可以示出作为源视频的图像视图的子区域（例如，部分）的图像视图。在播出ROI流期间，ROI（子区域）可以在源视频的全宽视场（全景）图像区域内移动。也就是说，由源视频的图像区域内的该子区域所覆盖的区段的位置（例如，ROI位置信息）可以随时间改变。可以按照ROI坐标来限定ROI（子区域）的位置。源视频可以是一个高分辨率视频，或者其可以由多个源视频的例如不同摄像机角度形成。本专利技术至少部分本文档来自技高网...

【技术保护点】
一种用于向客户端设备提供一个或多个瓦片视频流的方法，所述一个或多个瓦片视频流能够用于在显示器上再现感兴趣的区域（ROI），所述感兴趣的区域在与源视频关联的图像区域内限定子区域，所述方法包括：接收优选地MPEG和/或DVB编码的、感兴趣的区域（ROI）视频流以用于再现第一ROI，所述第一ROI在与所述源视频关联的图像区域内限定第一子区域；提供与所述客户端设备所接收的所述ROI视频流的至少一个视频帧关联的ROI位置信息，所述ROI位置信息包括所述图像区域内的所述第一子区域的至少一个第一位置；以及可选地，与所述ROI视频流的尚未被所述客户端设备接收的至少一个视频帧关联的至少一个超前位置；使用所述ROI位置信息和瓦片位置信息用于确定与一个或多个瓦片子区域关联的一个或多个瓦片视频流，所述一个或多个瓦片子区域的至少部分与所述第一子区域重叠，所述瓦片位置信息包括所述图像区域内的所述一个或多个瓦片子区域的位置；以及，请求所述一个或多个瓦片视频流。

【技术特征摘要】
【国外来华专利技术】2013.07.29 EP 13178401.91.一种用于向客户端设备提供一个或多个瓦片视频流的方法，所述一个或多个瓦片视频流能够用于在显示器上再现感兴趣的区域（ROI），所述感兴趣的区域在与源视频关联的图像区域内限定子区域，所述方法包括：接收优选地MPEG和/或DVB编码的、感兴趣的区域（ROI）视频流以用于再现第一ROI，所述第一ROI在与所述源视频关联的图像区域内限定第一子区域；提供与所述客户端设备所接收的所述ROI视频流的至少一个视频帧关联的ROI位置信息，所述ROI位置信息包括所述图像区域内的所述第一子区域的至少一个第一位置；以及可选地，与所述ROI视频流的尚未被所述客户端设备接收的至少一个视频帧关联的至少一个超前位置；使用所述ROI位置信息和瓦片位置信息用于确定与一个或多个瓦片子区域关联的一个或多个瓦片视频流，所述一个或多个瓦片子区域的至少部分与所述第一子区域重叠，所述瓦片位置信息包括所述图像区域内的所述一个或多个瓦片子区域的位置；以及，请求所述一个或多个瓦片视频流。2.根据权利要求1所述的方法，其中提供所述ROI位置信息包括：提供所述ROI视频流的至少第一图像帧的第一ROI坐标以用于基于所述一个或多个瓦片视频流来再现第二ROI，所述第一ROI坐标限定在由所述客户端设备接收到指令、优选地用户发起的指令时所述第一子区域的所述第一位置。3.根据权利要求2所述的方法，其中所述指令包括ROI矢量以用于指示所述第一子区域的改变，并且其中所述ROI矢量用于确定所述一个或多个瓦片视频流。4.根据权利要求2或3所述的方法，还包括：提供所述ROI视频流的至少第二图像帧的第二ROI坐标，所述第二ROI坐标限定在由所述客户端设备处理（例如，接收、缓冲和/或解码）所述一个或多个瓦片流时所述第一子区域的第二位置。5.根据权利要求2-4所述的方法，包括：基于所述一个或多个瓦片子区域和所述第一ROI坐标和/或第二ROI坐标来再现第二ROI。6.根据权利要求2-6中任一项所述的方法，其中所述方法还包括：基于与所述一个或多个瓦片子区域关联的瓦片图像帧来形成第二子区域；从所述第二子区域中裁剪出所述第二ROI；以及可选地如果所述第二子区域基于两个或更多瓦片子区域而形成，则形成所述第二子区域包括：同步所述两个或更多瓦片视频流的两个或更多瓦片图像帧，以及将所述同步的瓦片图像帧缝合成所述第二子区域。7.根据权利要求1-6中任一项所述的方法，其中所述至少一个超前位置包括所述ROI视频流中尚未被所述客户端设备接收的一个或多个图像帧的一个或多个经时间移位的第一ROI坐标，所述经时间移位的第一ROI坐标在所述一个或多个图像帧之前被提供给所述客户端设备，优选地所述经时间移位的ROI坐标还与时间移位信息、优选地时间戳相关联以用于确定所述时间移位。8.根据权利要求1-7中任一项所述的方法，其中基于包括所述瓦片位置信息的空间清单文件来请求所述一个或多个瓦片视频流，所述瓦片位置信息包括所述图像区域内所述一个或多个瓦片子区域的坐标；所述空间清单文件还包括所述源视频的一个或多个瓦片表示，瓦片表示包括一个或多个瓦片标识符以用于标识一个或多个瓦片视频流，优选地，所述一个或多个瓦片视频流是基于HTTP的自适应流式传输类型的流。9.根据权利要求1-8中任一项所述的方法，所述ROI位置信息包括ROI坐标，所述ROI坐标限定所述图像区域内所述第一子区域的至少一个位置，所述第一子区域由所述ROI视频流的至少一个图像帧来限定，其中，所述ROI位置信息的至少部分在所述ROI视频流的位流中传送到所述客户端设备，优选地SEI消息或定义所述位流中所述ROI坐标的位置的ROI坐标标志；或者其中，所述ROI位置信息的至少部分在MPEG传送流中传送到客户端设备，优选地在所述MPEG传送流中的基本传送流中；或者作为所述MPEG传送流中的DVB定义的SAD（同步的辅助数据）分组，可选地所述SAD分组包括经时间移位的ROI坐标；或者其中，所述ROI位置信息的至少部分在MPEG-4流中的预定义盒中被传送，优选地在MPEG-4流的moov、trak和/或stbl盒中；或者其中，所述ROI位置信息的至少部分在MPEG-4...

【专利技术属性】
技术研发人员：R范布兰登伯格，E托马斯，MO范德文特，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰;NL