【技术实现步骤摘要】
本申请涉及视频/图片码处理，尤其涉及允许高效地缩减这种数据流的技术、允许更容易地处理这种数据流的技术和/或允许更高效地随机访问视频数据流的技术。
技术介绍
1、有许多视频编解码器允许视频数据流的可伸缩性而无需转码，即，不需要解码和编码的顺序执行。这种可伸缩视频数据流的示例是如下的数据流，这种数据流通过简单地省去相应可伸缩视频数据流的一些增强层而在例如时间分辨率、空间分辨率或信噪比方面是可伸缩的。然而，迄今为止，还没有视频编解码器允许在场景分段(sectioning)方面具有计算上不复杂的可伸缩性。在hevc中，也存在或者已经提出了用于将hevc数据流限制为图片子区域的技术，但是这些技术在计算上仍然是复杂的。
2、而且，根据应用不同，要编码成数据流的图片内容可能是在通常提供的矩形图片区域内不能有效编码的形式。例如，全景图片内容可以被投影到二维平面上而形成图片区域，其投影方式可以使得投影目标(即全景场景在图片区域上占据的空间)是非矩形的，甚至是非凸的。在那种情况下，图片/视频数据的更有效的码处理将是有利的。
3、此外，在现有视频数据流中，以引起相当大的比特率峰值的方式提供了随机访问点。为了减少由这些比特率峰值产生的负面影响，可以考虑减小这些随机访问点出现的时间粒度。然而，这增大了对这种视频数据流进行随机访问的平均持续时间，因此，有一个可以更有效地解决该问题的思路将是有利的。
技术实现思路
1、因此，本专利技术的一个目的是解决上述问题。根据本申请，这通过独立权利要
2、根据本申请的第一方面，视频数据流以能够缩减的方式提供，这种方式使得该缩减导致将缩减后的视频数据流的图片仅仅限制为原始视频数据流的图片的预定子区域(subarea)，这种方式还可以避免诸如重新量化之类的转码，并且保持缩减后的视频数据流相对于原始视频数据流的编解码器的合规性。这是通过向视频数据流提供包括以下内容在内的信息来实现的：对所述预定子区域的指示；以及替换索引和/或替换参数，所述替换索引用于重定向由有效载荷部分包括的索引以便参考码处理参数设定的第二集合，所述替换参数用于调整码处理参数设定的所述第一集合以便得到码处理参数设定的第二集合。所述视频的图片以使用所述码处理参数设定的第一集合作为参数的方式被编码到所述原始视频数据流的有效载荷部分中，所述第一集合由所述有效载荷部分所包括的索引进行索引。附加地或替代地，对于补充增强信息，类似的措施是可行的。因此，可以通过执行以下操作来将视频数据流缩减为缩减视频数据流：执行重定向和/或调整，以使所述码处理参数设定的第二集合由有效载荷部分的索引进行索引，并因此成为有效的码处理参数设定集；移除所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分；以及改变位置指示(诸如有效载荷部分中的切片地址)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置。作为代替，已经进行了缩减从而不包括有效载荷部分中的、参考预定子区域外部的区域的那些部分的数据流，可以通过参数和/或补充增强信息的实时调整来进行修改。
3、根据本申请的另一方面，图片内容的传输更加高效，因为图片内容不需要以预定方式被整形或排序，所述预定方式例如是对由底层编解码器通常支持的矩形图片区域进行填充。而是，提供了一种编码有图片的数据流，其包括移位信息，该移位信息为图片的至少一个预定子领域(subregion)的集合指示在目标图片区域内的移位，所述移位是相对于所述集合无失真或一对一或全等地复制到所述目标图片区域中而言的。例如，在投影是非矩形的情况下，在图片内传送全景场景的投影时，提供这种移位信息是有用的。在由于数据流缩减而使图片内容不再适合在缩减视频数据流的较小图片内传送的情况(例如，要在缩减视频数据流内传输的感兴趣的全景视图区段与预测的过渡边界交叉等情况)下，该移位信息也是有效的。
4、根据本申请的另一方面，通过向视频数据流提供两组随机访问点，减少了由随机访问点引起的视频数据流中的比特率峰值的负面影响：在将一个或多个图片的第一集合编码到所述视频数据流中时，至少在第一图片子区域内中断时间预测，以便形成一个或多个第一随机访问点的集合，并且在将一个或多个图片的第二集合编码到所述视频数据流中时，在与所述第一图片子区域不同的第二图片子区域内中断时间预测，以便形成一个或多个第二随机访问点的集合。以这种方式，寻求随机访问视频数据流或重新开始视频数据流的解码的解码器可以选择第一和第二随机访问点中的一个，该第一和第二随机访问点可以在时间上分布，并且在第二随机访问点的情况下至少允许关于第二图片子区域的随机访问，在第一随机访问点的情况下至少允许关于第一图片子区域的随机访问。
本文档来自技高网...【技术保护点】
1.一种数据流，在所述数据流中编码有图片(204)，所述数据流包括：
2.根据权利要求1所述的数据流，其中，所述移位信息(206)以以下中的一项为单位指示所述移位(218)：
3.根据权利要求1所述的数据流，其中，所述图片的至少一个子领域的集合是所述图片到子领域阵列的无间隙且无重叠的空间划分的子集。
4.根据权利要求1所述的数据流，其中所述移位信息包括：
5.根据权利要求4所述的数据流，其中，所述移位信息还指示相应子领域在所述目标图片区域内的缩放比例(226)。
6.根据权利要求1所述的数据流，其中，所述数据流还包括默认填充信息(228)，该默认填充信息(228)指示用于填充所述目标图片区域(216)的一部分(130)的默认填充，所述一部分(130)既不被根据所述移位信息进行了移位的所述图片的至少一个预定子领域的集合中的任何一个预定子领域覆盖，并且如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，也不被所述图片的任何未移位部分覆盖。
7.根据权利要求1所述的数据流，其中，在所述数据流中编码有图片
8.一种解码器，用于对编码有图片的数据流进行解码，所述解码器包括：
9.根据权利要求8所述的解码器，其中，所述移位器被配置为：如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，则以未移位的方式将所述图片的任何未移位部分复制到所述目标图片区域(216)中。
10.根据权利要求8所述的解码器，其中，所述移位信息以以下中的一项为单位指示相应子领域的移位：
11.根据权利要求8所述的解码器，其中，所述图片的至少一个子领域的集合是所述图片到子领域阵列的无间隙且无重叠的空间划分的子集。
12.根据权利要求8所述的解码器，其中，所述移位器被配置为：
13.根据权利要求12所述的解码器，其中，所述移位器被配置为通过以下方式来基于所述图片合成目标图片：根据包含在所述数据流中的移位信息，在所述目标图片区域内缩放所述图片的至少一个预定子领域的集合中的每个预定子领域，所述每个预定子领域是相对于所述图片到所述目标图片区域的无失真复制，根据所述移位信息进行了移位后的预定子领域。
14.根据权利要求8所述的解码器，其中，所述移位器被配置为：根据所述数据流中包含的默认填充信息，填充所述目标图片区域的一部分，其中，所述图片的至少一个预定子领域的集合中的任何一个都不会根据所述移位信息移位到所述目标图片区域的所述一部分，并且如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，所述图片的任何未移位部分也不位于所述目标图片区域的所述一部分中。
15.根据权利要求8所述的解码器，其中，所述解码核心被配置为从所述数据流重建图片序列，并且所述移位器被配置为将所述移位信息应用于所述图片序列的图片上。
16.根据权利要求8所述的解码器，还包括：
17.一种编码器，用于将图片编码到数据流，所述编码器被配置为向所述数据流提供：
18.一种网络设备，被配置为将编码有第一图片的数据流(200)缩减为编码有特定于子区域的图片的缩减数据流(232)，所述特定于子区域的图片显示所述第一图片的预定子区域，其中所述数据流(200)包括移位信息(206)，对于所述第一图片的至少一个预定子领域的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域(214)的集合在所述目标图片区域(216)内的移位(218)，其中，
19.一种用于对数据流进行解码的方法，所述数据流中编码有图片，所述方法包括：
20.一种将图片编码到数据流的方法，所述方法包括向所述数据流提供移位信息(206)，对于所述图片(204)的至少一个预定子领域(214)的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域的集合在所述目标图片区域(216)内的移位(218)。
21.一种方法，用于将编码有第一图片的数据流(200)缩减为编码有特定于子区域的图片的缩减数据流(232)，所述特定于子区域的图片显示所述第一图片的预定子区域，其中所述数据流(200)包括移位信息(206)，对于所述第一图片的至少一个预定子领域的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域(214)的集合在所述目标图片区域...
【技术特征摘要】
1.一种数据流，在所述数据流中编码有图片(204)，所述数据流包括：
2.根据权利要求1所述的数据流，其中，所述移位信息(206)以以下中的一项为单位指示所述移位(218)：
3.根据权利要求1所述的数据流，其中，所述图片的至少一个子领域的集合是所述图片到子领域阵列的无间隙且无重叠的空间划分的子集。
4.根据权利要求1所述的数据流，其中所述移位信息包括：
5.根据权利要求4所述的数据流，其中，所述移位信息还指示相应子领域在所述目标图片区域内的缩放比例(226)。
6.根据权利要求1所述的数据流，其中，所述数据流还包括默认填充信息(228)，该默认填充信息(228)指示用于填充所述目标图片区域(216)的一部分(130)的默认填充，所述一部分(130)既不被根据所述移位信息进行了移位的所述图片的至少一个预定子领域的集合中的任何一个预定子领域覆盖，并且如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，也不被所述图片的任何未移位部分覆盖。
7.根据权利要求1所述的数据流，其中，在所述数据流中编码有图片序列，其中所述移位信息对于所述图片序列有效。
8.一种解码器，用于对编码有图片的数据流进行解码，所述解码器包括：
9.根据权利要求8所述的解码器，其中，所述移位器被配置为：如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，则以未移位的方式将所述图片的任何未移位部分复制到所述目标图片区域(216)中。
10.根据权利要求8所述的解码器，其中，所述移位信息以以下中的一项为单位指示相应子领域的移位：
11.根据权利要求8所述的解码器，其中，所述图片的至少一个子领域的集合是所述图片到子领域阵列的无间隙且无重叠的空间划分的子集。
12.根据权利要求8所述的解码器，其中，所述移位器被配置为：
13.根据权利要求12所述的解码器，其中，所述移位器被配置为通过以下方式来基于所述图片合成目标图片：根据包含在所述数据流中的移位信息，在所述目标图片区域内缩放所述图片的至少一个预定子领域的集合中的每个预定子领域，所述每个预定子领域是相对于所述图片到所述目标图片区域的无失真复制，根据所述移位信息进行了移位后的预定子领域。
14.根据权利要求8所述的解码器，其中，所述移位器被配置为：根据所述数据流中包含的默认填充信息，填充所述目标图片区域的一部分，其中，所述图片的至少一个预定子领域的集合中的任何一个都不会根据所述移位信息移位到所述目标图片区域的所述一部分，并且如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，所述图片的任何未移位部分也不位于所述目标图片区域的所述一部分中。
15.根据权利要求8所述的解码器，其中，所述解码核心被配置为从所述数据流重建图片序列，并且所述移位器被配置为将所述移位信息应用于所述图片序列的图片上。
16.根据权利要求8所述的解码器，还包括：
17.一种编码器，用于将图片编码到数据流，所述编码器被配置为向所述数据流提供：
18.一种网络设备，被配置为将编码有第一图片的数据流(200)缩减为编码有特定于子区域的图片的缩减数据流(232)，所述特定于子区域的图片显示所述第一图片的预定子区域，其中所述数据流(200)包括移位信息(206)，对于所述第一图片的至少一个预定子领域的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域(214)的集合在所述目标图片区域(216)内的移位(218)，其中，
19.一种用于对数据流进行解码的方法，所述数据流中编码有图片，所述方法包括：
20.一种将图片编码到数据流的方法，所述方法包括向所述数据流提供移位信息(206)，对于所述图片(204)的至少一个预定子领域(214)的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域的集合在所述目标图片区域(216)内的移位(218)。
21.一种方法，用于将编码有第一图片的数据流(200)缩减为编码有特定于子区域的图片的缩减数据流(232)，所述特定于子区域的图片显示所述第一图片的预定子区域，其中所述数据流(200)包括移位信息(206)，对于所述第一图片的至少一个预定子领域的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个预定子领域(214)的集合在所述目标图片区域内的移位(218)，其中，
22.一种数字存储介质，其上存储有根据权利要求1所述的数据流。
23.一种具有程序代码的计算机程序，所述程序代码用于当在计算机上运行时执行根据权利要求19或20或21所述的方法。
24.一种表示视频(14)的视频数据流，包括：
25.一种表示视频(14)的视频数据流，包括：
26.根据权利要求24或25所述的视频数据流，其中，所述视频数据流和所述缩减视频数据流(62)符合hevc。
27.根据权利要求24或25所述的视频数据流，其中，所述参数集部分包括在sps nal单元和/或vps nal单元和/或pps nal单元中。
28.根据权利要求24或25所述的视频数据流，其中，所述码处理参数设定定义以下中的一项或多项：
29.根据权利要求24或25所述的视频数据流，其中，所述索引(48)包含在所述有效载荷部分(18)的切片(34)的切片头部中，每个切片中编码有图片(12)的对应区域(36)，所述对应区域(36)不跨过所述预定子区域(22)的边界。
30.根据权利要求24或25所述的视频数据流，其中，所述信息包含在sei消息、vui或参数集扩展中。
31.根据权利要求24或25所述的视频数据流，其中，所述视频的图片以拼块(42)为单位编码到所述有效载荷部分中，所述图片被细分为所述拼块，并且所述拼块以列和行的拼块阵列进行排列，其中所述指示(52)将所述预定子区域指示为所述拼块的集合。
32.根据权利要求31所述的视频数据流，其中，所述视频的所述图片以拼块(42)为单位编码到所述有效载荷部分中，使得所述有效载荷部分以切片(34)为单位被细分，每个切片中编码有图片的对应区域，所述对应区域不跨过所述拼块之间的拼块边界(40)。
33.根据权利要求24或25所述的视频数据流，其中，
34.根据权利要求24或25所述的视频数据流，其中，所述视频的所述图片(12)被码处理到所述有效载荷部分(18)中，使得在所述预定子区域(22)内对所述图片进行码处理时中断了跨过所述预定子区域(22)的边界的时间预测。
35.一种用于将视频编码为视频数据流的编码器，包括：
36.一种用于将视频编码为视频数据流的编码器，包括：
37.根据权利要求35或36所述的编码器，其中，所述视频数据流和所述缩减视频数据流符合hevc。
38.根据权利要求35或36所述的编码器，其中，所述参数集部分包括在sps nal单元和/或vps nal单元和/或pps nal单元中。
39.根据权利要求35或36所述的编码器，其中，所述码处理参数设定定义以下中的一项或多项：
40.根据权利要求35或36所述的编码器，其中，所述编码器被配置为将所述索引插入到所述有效载荷部分的切片的切片头部中，并将图片的对应区域编码到每个切片中，所述对应区域不跨过所述预定子区域的边界。
41.根据权利要求35或36所述的编码器，其中，所述编码器被配置为将所述信息插入到sei消息、vui或参数集扩展中。
42.根据权利要求35或36所述的编码器，其中，所述编码器被配置为将所述视频的图片以拼块为单位编码到所述有效载荷部分中，所述图片被细分为所述拼块，并且所述拼块以列和行的拼块阵列进行排列，其中所述指示将所述预定子区域指示为所述拼块的集合。
43.根据权利要求42所述的编码器，其中，所述编码器被配置为将所述视频的所述图片以拼块为单位编码到所述有效载荷部分中，使得所述有效载荷部分以切片为单位被细分，每个切片中编码有图片的对应区域，所述对应区域不跨过所述拼块之间的拼块边界。
44.根据权利要求35或36所述的编码器，其中，
45.根据权利要求35或36所述的编码器，其中，所述编码器被配置为将所述视频的所述图片编码到所述有效载荷部分中，使得在所述预定子区域(22)内对所述图片进行码处理时中断了跨过所述预定子区域(22)的边界的时间预测。
46.一种用于处理视频数据流的网络设备，所述视频数据流包括：
47.一种用于处理视频数据流的网络设备，所述视频数据流包括：
48.根据权利要求46或47所述的网络设备，其中，所述视频数据流和所述缩减视频数据流符合hevc。
49.根据权利要求46或47所述的网络设备，其中，所述参数集部分包括在sps nal单元和/或vps nal单元和/或pps nal单元中。
50.根据权利要求46或47所述的网络设备，其中，所述码处理参数设定定义以下中的一项或多项：
51.根据权利要求46或47所述的网络设备，其中，所述网络设备被配置为在所述有效载荷部分的切片的切片头部中定位所述索引，每个切片中编码有图片的对应区域，所述对应区域不跨过所述预定子区域的边界。
52.根据权利要求46或47所述的网络设备，其中，所述网络设备被配置为从所述视频数据流的sei消息、vui或参数集扩展中读取所述信息。
53.根据权利要求46或47所述的网络设备，其中，所述视频的图片以拼块为单位被码处理到所述有效载荷部分中，所述图片被细分为所述拼块，并且所述拼块以列和行的拼块阵列进行排列，其中所述指示将所述预定子区域指示为所述拼块的集合。
54.根据权利要求53所述的网络设备，其中，所述视频的所述图片以拼块为单位被码处理到所述有效载荷部分中，使得所述有效载荷部分以切片为单位被细分，每个切片中编码有图片的对应区域，所述对应区域不跨过所述拼块之间的拼块边界。
55.根据权利要求46或47所述的网络设备，其中，
56.根据权利要求46或47所述的网络设备，其中，所述视频的所述图片(12)被码处理到所述有效载荷部分(18)中，使得在所述预定子区域(22)内对所述图片进行码处理时中断了跨过所述预定子区域(22)的边界的时间预测。
57.根据权利要求46或47所述的网络设备，其中所述网络设备是以下中之一：
58.根据权利要求46或47所述的网络设备，其中，所述视频数据流包括移位信息(206)，对于所述图片(12)的至少一个预定子领域(214)的集合，所述移位信息(206)指示相对于所述至少一个预定子领域的集合到目标图片区域(216)的无移位复制的、所述至少一个...
【专利技术属性】
技术研发人员：罗伯特·斯库宾，雅戈·桑切斯，托马斯·斯切尔，科尼利厄斯·黑尔格，卡斯滕·格鲁内贝格，托马斯·威甘德，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。