基于超射线表示的使用来处理光场视频的方法技术

在一个实施例中，提出了一种用于处理光场视频的方法，该光场视频包括每单位时间的一组图像视图，该光场视频与没有剪辑的场景相关联。该方法的显著之处在于它包括：确定给定时间处的该组图像视图中包括至少一个参考图像视图的第一超射线表示，所述超射线表示基于质心，并且每个质心与唯一的超射线相关联；基于所述至少一个参考图像视图的质心的去投影和再投影，在所述给定时间之后的后续的一组图像视图中确定至少一个对应参考视图的第二超射线表示；基于跟踪过程确定所述第一超射线表示和所述第二超射线表示之间的质心位移；在所述第二超射线表示的质心上应用确定的位移，以获得修改后的质心的位置。

【技术实现步骤摘要】
【国外来华专利技术】基于超射线表示的使用来处理光场视频的方法
本公开涉及用于处理光场视频的技术。更精确地说，它涉及用于简化光场视频内的内容的编辑以及光场视频的处理的技术。
技术介绍
本部分旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的本专利技术的各个方面相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解本专利技术的各个方面。因此，应该理解的是，这些陈述应该从这个角度来理解，而不是作为对现有技术的承认。光场图像(经由全光相机或相机阵列获得或获取获取)为终端用户提供了更多特征。事实上，光场图像的处理能够实现重新聚焦特征以及视点的改变、或者场景的视场的改变。由于这些提供的可能性，移动设备(诸如平板电脑或移动电话)的制造商开始提出集成若干个相机(即相机阵列)以获取光场图像的移动设备。正如MatthieuHog,NeusSabater和ChristineGuillemot发表在IEEEjournalofselectedtopicsinsignalProcessing中的题为“Super-raysforEfficientLightFieldProcessing”的文章中所详述的，经由超射线(super-ray)的使用可以对(由与不同角度位置相关联的一组图像表示的)光场图像进行分段(segment)。这些超射线可以被视为用于对经典或传统图像进行分段的超像素的等效物或对应物。获得超射线表示的处理受到SLIC方法的启发(该方法由Achanta,Radhakrishna等人在题为“SLICsuperpixelscomparedtostate-of-the-artsuperpixelmethods”的文章中提出，其发表在IEEEtransactionsonpatternanalysisandmachineintelligence34.11(2012)2274-2282)，该方法被认为是静态图像中超像素计算的目前技术。更精确地说，SLIC方法可以被看作是对每个像素颜色和空间位置的k-means问题的重构，包括每个聚类质心分布的紧性先验(compactnessprior)。此外，SLIC方法使用具有有界搜索窗口S的Loyd算法来降低复杂度。一旦光场图像被转换成超射线表示(例如，参见前面提到的文章的图7(b)和图8(b)，其示出了超射线表示)，编辑这样的内容就更容易了，尤其是对于在场景中移除或插入对象。然而，在光场视频由采集设备获取的情况下，在必须获得超射线表示以编辑光场视频的一些帧(即，作为光场图像的帧)或序列的情况下，本领域技术人员将会使用前述文章中描述的方法在选择或识别的时间段期间以相同的方式处理每个帧。然而，这种方法不能保证时间上的一致性。在一个变型中，本领域技术人员将使用超像素方法来代替超射线表示。例如，本领域技术人员可以使用Reso，Matthias等人发表在2013年的期刊IEEEInternationalConferenceonComputerVision中的题为“Temporallyconsistentsuperpixels”的文章中描述的技术，其中在20帧的滑动窗口中计算动态SLIC超像素。密集流(denseflow)用于将分配从一个帧传播到另一个帧，并运行若干次SLIC迭代。像素之间仅共用质心(centroid)颜色。超像素列表更新标准仅基于超像素大小。然而，这种方法有不同的缺点：它需要加载整个视频序列或大的窗口用于存储，这在光场视频的情况下是禁止的；它仅限于密集采样的视频；并且它不适合处理大量数据所必需的GPU实施方式。然而，这种方法不能保证角度一致性。本技术提出了这些方法的替代方案，并且至少克服了所识别的缺点中的一个。
技术实现思路
说明书中对“一个实施例”、“实施例”、“示例实施例”的引用表示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例不一定包括特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合实施例描述特定的特征、结构或特性时，无论是否明确描述，结合其他实施例影响这样的特征、结构或特性都在本领域技术人员的知识范围内。在本公开的一个实施例中，提出了一种用于处理光场视频的方法，该光场视频包括每单位时间的一组图像视图，该光场视频与没有剪辑的场景相关联。该方法的显著之处在于它包括：确定给定时间处的该组图像视图包括至少一个参考图像视图的第一超射线表示，所述超射线表示基于质心，并且每个质心与唯一的超射线相关联；基于所述至少一个参考图像视图的质心的去投影和再投影，在所述给定时间之后的后续的一组图像视图中确定至少一个对应参考视图的第二超射线表示；基于跟踪过程确定所述第一超射线表示和所述第二超射线表示之间的质心位移；在所述第二超射线表示的质心上应用确定的位移，以获得修改后的质心的位置。因此，所提出的技术提供了一种为光场视频处理时间上一致的超射线的方法。但是应该注意到所提出的技术也可以用于其他媒体(例如，RGB-D或多视图加深度视频)。应该注意，跟踪过程可以是最小化过程，也可以使用通过深度匹配技术获得的功能(例如参见PhilippeWeinzaepfel等人的题为“DeepFlow：Largedisplacementopticalflowwithdeepmatching”的文章，或者JamesThewlis等人的题为“Fully-TrainableDeepMatching”的文章)。显然，光场视频可以包括剪辑(例如，视图的改变)。然而，本方法可以仅应用于不发生剪辑的所述光场视频的一组帧。在一个优选实施例中，用于处理的方法还包括将修改后的质心去投影和再投影到所述后续的该组图像视图中的至少一个另一图像视图上，以获得所述后续的该组图像视图的超射线表示。在一个优选实施例中，用于处理的方法还包括通过考虑投影的射线的平均值来更新所述质心的位置，所述射线位于所述第一超射线表示中的质心的附近。在一个优选实施例中，用于处理的方法的显著之处在于，所述跟踪过程是最小化过程，其包括确定其中对应于与帧f相关联的、深度为d的、坐标为(s,t,x,y)的射线r的投影的RGB像素值。在一个优选实施例中，用于处理的方法的显著之处在于，使用了至少两个参考图像视图，并且所述至少两个参考图像视图从视点角度来看彼此远离。在一个优选实施例中，用于处理的方法的显著之处在于，所述光场视频已经由相机阵列获取。在一个优选实施例中，用于处理的方法的显著之处在于，所述光场视频已经由全光相机获取。根据示例性实施方式，前述方法的不同步骤由一个或多个计算机软件程序实施，该软件程序包括被设计成由根据本公开的中继模块的数据处理器执行的软件指令，并且被设计成控制该方法的不同步骤的执行。因此，本公开的一个方面还涉及一种易于由计算机或数据处理器执行的程序，该程序包括用于命令执行如上所述的方法的步骤的指令。该程序可以使用任何编程语言，并且可以是源代码、目标代码或介于源代码和目标代码之间的代码的形式本文档来自技高网...

【技术保护点】
1.一种用于处理光场视频的方法，所述光场视频包括每单位时间的一组图像视图，所述光场视频与没有剪辑的场景相关联，所述方法的特征在于它包括：/n确定给定时间处的该组图像视图中包括至少一个参考图像视图的第一超射线表示，所述超射线表示基于质心，并且每个质心与唯一的超射线相关联；/n基于所述至少一个参考图像视图的质心的去投影和再投影，在所述给定时间之后的后续的一组图像视图中确定至少一个对应参考视图的第二超射线表示；/n基于跟踪过程确定所述第一超射线表示和所述第二超射线表示之间的质心位移；/n在所述第二超射线表示的质心上应用所确定的位移，以获得修改后的质心的位置。/n

【技术特征摘要】
【国外来华专利技术】20171115 EP 17306585.51.一种用于处理光场视频的方法，所述光场视频包括每单位时间的一组图像视图，所述光场视频与没有剪辑的场景相关联，所述方法的特征在于它包括：
确定给定时间处的该组图像视图中包括至少一个参考图像视图的第一超射线表示，所述超射线表示基于质心，并且每个质心与唯一的超射线相关联；
基于所述至少一个参考图像视图的质心的去投影和再投影，在所述给定时间之后的后续的一组图像视图中确定至少一个对应参考视图的第二超射线表示；
基于跟踪过程确定所述第一超射线表示和所述第二超射线表示之间的质心位移；
在所述第二超射线表示的质心上应用所确定的位移，以获得修改后的质心的位置。


2.根据权利要求1所述的用于处理的方法，其中，还包括将修改后的质心去投影和再投影到所述后续的该组图像视图中的至少一个另一图像视图上，以获得后续的该组图像视图的超射线表示。


3.根据权利要求2所述的用于处理的方法，其中，还包括通过考虑投影的射线的平均值来更新所述质心的位置，所述射线位于所述第一超射线表示中的质心的附近。


4.根据权利要求1至3中任一项所述的用于处理的方法，其中，所述跟踪过程是最小化过程，包括确定
其中对应于与帧f相关联的、深度为d且坐标为(s,t,x,y)的射线r的投影的RGB像素值。


5.根据权利要求1至4中任一项所述的用于处理的方法，其中，使用至少两个参考图像视图，并且所述至少两个参考图像视图从视点角度来看彼此远离。


6.根据权利要求1至5中任一项所述的用于处理的方法，其中，所述光场视频已经由相机阵列获取。


7.根据权利要求1至5中任一项所述的用于处理的方法，其中，所述光场视频已经由全光相机获取。


8.一种用于处理光场视频的电子设备，所述光场视频包括每单位时间的一组图像视图，所述光场视频与没有剪辑的场景相关联，其中所述电子设备包...

【专利技术属性】
技术研发人员：N萨巴特，M霍格，C吉尔莫特，
申请(专利权)人：交互数字CE专利控股公司，
类型：发明
国别省市：法国;FR