【技术实现步骤摘要】
本专利技术总体上涉及全向视频领域，比如具体地360°、180°等视频。更具体地，本专利技术涉及被捕获以生成此类视频的360°、180°等视图的编码和解码，并且涉及未捕获的中间视点的合成。本专利技术可以具体但非排他地应用于在avc和hevc当前视频编码器及其扩展(mvc、3d-avc、mv-hevc、3d-hevc等)中所实施的视频编码，并且应用于相应的视频解码。
技术介绍
1、为了生成全向视频，比如例如360°视频，通常的做法是使用360°相机。这种360°相机由安装在球形平台上的多个2d(二维)相机形成。每个2d相机捕获3d(三维)场景的特定角度，相机捕获的一组视图使得可以生成代表360°×180°视野的3d场景的视频。也可以使用单个360°相机来捕获360°×180°视野的3d场景。这种视野当然可以更小，例如270°×135°。
2、随后，此类360°视频允许用户观看场景，就好像他们位于该场景的中心，并在360°范围内环顾四周，从而提供了一种观看视频的新方式。此类视频通常在虚拟现实头戴式耳机(也称为“头戴式设备”hmd)上再现。然而，它们也可以在配备有合适的用户交互装置的2d屏幕上显示。用于捕获360°场景的2d相机的数量取决于使用的平台变化。
3、为了生成360°视频，将各种2d相机捕获的发散视图首尾相连放置，并考虑到视图之间的重叠，以便创建全景2d图像。此步骤也称为“拼接”。例如，等矩形投影(erp)是用于获得这种全景图像的一种可能的投影。根据此投影，每个2d相机捕获的视图被投射到球形表面上。其他
4、为了增加沉浸感，可以同时使用上述类型的多个360°相机来捕获场景，这些相机以任意方式定位在场景中。360°相机可以是实际相机(也就是说物理对象)或者虚拟相机(在这种情况下，视图是通过视图生成软件获得的)。具体地，这种虚拟相机使得可以生成代表未被实际相机捕获的3d场景的视点的视图。
5、随后，使用例如以下设备对使用单个360°相机获得的360°视图的图像或使用多个360°相机(实际和虚拟)获得的360°视图的图像进行编码：
6、-常规的2d视频编码器，例如符合hevc(“高效视频编码”的缩写)标准的编码器，
7、-常规的3d视频编码器，例如符合mv-hevc和3d-hevc标准的编码器。
8、考虑到要被编码的一个360°视图的图像的数据量非常大，更不用说要被编码的多个360°视图的图像了，而且使用此类360°视图的3d场景的360°表示具有特定的几何形状，这种编码器在压缩方面不够高效。此外，由于360°相机的2d相机捕获的视图是发散的，上述编码器不适合对360°视图的不同图像进行编码，因为这些编码器几乎不会使用图像间预测。具体而言，在分别由两个2d相机捕获的两个视图之间，几乎没有可以预测的类似内容。因此，360°视图的所有图像以相同的方式压缩。具体地，对于要被编码的当前360°视图的图像，没有在这些编码器中执行分析以确定作为未捕获的中间视图图像合成的一部分，对此图像的全部数据还是此图像的一些数据进行编码是有意义的，该合成将使用编码随后解码的视图的此图像。
技术实现思路
1、本专利技术的目的之一是改正上述现有技术的缺点。
2、为此，本专利技术的一个主题涉及一种由编码设备实施的用于对形成多个视图的一部分的视图的图像进行编码的方法，该多个视图同时从不同视角或位置表示3d场景，该方法包括以下：
3、-选择第一编码方法或第二编码方法用于对所述视图的该图像进行编码，
4、-生成包含指示选择的是该第一编码方法还是该第二编码方法的信息的数据信号，
5、-如果选择了该第一编码方法，则对所述视图的该图像的原始数据进行编码，所述第一编码方法提供编码的原始数据，
6、-如果选择了该第二编码方法：
7、·则对所述视图的该图像的处理后数据进行编码，所述处理后数据与所述视图的该图像的至少一个剩余区域对应，所述剩余区域是通过对所述视图的该图像的该原始数据应用裁剪获得的，所述第二编码方法提供至少一个编码的剩余区域，
8、·对所述裁剪的描述信息进行编码，所述描述信息是关于所述剩余区域在所述视图的该图像中的位置的信息，
9、-所述生成的数据信号进一步包含：
10、·如果已选择了该第一编码方法，则所述视图的该图像的所述编码的原始数据，
11、·如果已选择了该第二编码方法，则所述视图的该图像的所述编码的剩余区域以及所述裁剪的编码的所述描述信息。
12、借助于本专利技术，在上述类型的要被编码的当前视图的多个图像中，所述图像表示要被编码并因此要信传的非常大数量的数据，对于要被编码的每个视图的每个图像，可能组合两种编码技术：
13、-第一编码技术，根据该第一编码技术，按常规方式(例如，hevc，mvc-hevc，3d-hevc)对一个或多个视图的图像进行编码，以便分别获得形成质量非常好的视图的重建图像，
14、-第二创新编码技术，根据该第二创新编码技术，对一个或多个其他视图的图像的处理后数据进行编码，以便在解码时获得不对应于这些图像的原始数据的处理后图像数据，但是具有显著降低这些图像的编码的处理后数据的信传成本的益处。
15、随后，对于每个其他视图的每个图像(已根据该第二编码方法对其处理后数据进行编码)，在解码时将获得的是视图的图像的相应处理后数据，以及在编码时应用于视图的图像的原始数据的图像处理的描述信息。随后可以使用相应的图像处理描述信息来处理这样的处理后数据，以便形成视图的图像，该视图的图像将与根据常规解码的第一方法重建的视图的图像中的至少一个一起使用，使得可以以特别有效且高效的方式合成未捕获的中间视图的图像。
16、本专利技术还涉及一种用于由解码设备实施的对代表形成多个视图的一部分的视图的图像的数据信号进行解码的方法，该多个视图同时从不同视角或位置表示3d场景，该方法包括以下：
17、-在该数据信号中，读取指示将根据第一解码方法还是第二解码方法对所述视图的该图像进行解码的信息，
18、-如果它是该第一解码方法：
19、·则在该数据信号中读取与所述视图的该图像相关联的编码数据，
20、·基于所述编码数据重建所述视图的图像，该重建的视图的所述图像包含所述视图的该图像的原始数据，
21、-如果它是该第二解码方法：
22、·则在该数据信号中读取：
23、-与所述视图的该图像相关联的编码数据，所述编码数据与已经被编码的所述视图的该图像的至少一个剩余区域对应，所述剩余区域是通过对所述视图的当前图像的该原始数据应用裁剪而获得的，
24、-所述裁剪的描述信息本文档来自技高网...
【技术保护点】
1.一种由编码设备实施的用于对形成多个视图的一部分的视图的图像进行编码的方法，该多个视图同时从不同视角或位置表示3D场景，该方法包括以下：
2.如权利要求1所述的方法，其中：
3.如权利要求1所述的方法，其中所述裁剪的描述信息包括位于所述视图的该图像的所述剩余区域中顶部最左侧的像素的一些坐标，以及位于所述视图的该图像的剩余区域中底部最右侧的另一像素的一些坐标。
4.如权利要求1所述的方法，其中所述裁剪的该描述信息包含在所述视图的该图像中删除的多个像素的行和/或列，以及在所述视图的该图像中的所述行和/或列的位置。
5.如权利要求1所述的方法，其中所述裁剪被配置为删除所述视图的当前图像的固定数量的像素。
6.一种由解码设备实施的用于对代表形成多个视图的一部分的视图的图像的数据信号进行解码的方法，该多个视图同时从不同视角或位置表示3D场景，该方法包括以下：
7.如权利要求6所述的方法，其中该剩余区域与对所述视图的该图像应用所述裁剪之后尚未删除的所述视图的该图像的像素对应。
8.如权利要求6所述的方法，其
9.如权利要求6所述的方法，其中所述裁剪的该描述信息包含在所述视图的该图像中删除的多个像素的行和/或列，以及在所述视图的该图像中的所述行和/或列的位置。
10.一种用于对形成多个视图的一部分的视图的图像进行编码的设备，该多个视图同时从不同视角或位置表示3D场景，所述设备包括处理器，该处理器被配置用于实施以下操作：
11.一种用于对代表形成多个视图的一部分的视图的图像的数据信号进行解码的设备，该多个视图同时从不同视角或位置表示3D场景，所述设备包括处理器，该处理器被配置用于实施以下操作：
12.一种存储介质，该存储介质是计算机可读取的，并且包括计算机程序，当该计算机程序在计算机上执行时，实施如权利要求1至9中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种由编码设备实施的用于对形成多个视图的一部分的视图的图像进行编码的方法，该多个视图同时从不同视角或位置表示3d场景，该方法包括以下：
2.如权利要求1所述的方法，其中：
3.如权利要求1所述的方法，其中所述裁剪的描述信息包括位于所述视图的该图像的所述剩余区域中顶部最左侧的像素的一些坐标，以及位于所述视图的该图像的剩余区域中底部最右侧的另一像素的一些坐标。
4.如权利要求1所述的方法，其中所述裁剪的该描述信息包含在所述视图的该图像中删除的多个像素的行和/或列，以及在所述视图的该图像中的所述行和/或列的位置。
5.如权利要求1所述的方法，其中所述裁剪被配置为删除所述视图的当前图像的固定数量的像素。
6.一种由解码设备实施的用于对代表形成多个视图的一部分的视图的图像的数据信号进行解码的方法，该多个视图同时从不同视角或位置表示3d场景，该方法包括以下：
7.如权利要求6所述的方法，其中该剩余区域与对所述视图的该图像应用所述裁剪之后尚未删除...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。