提供了一种用于图像的时空深度提取的系统和方法。该系统和方法提供了：从场景获取图像的序列（５０２），所述序列包括图像的多个连续帧；对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差（５０４，５０６）；估计第一图像中的至少一个点的运动（６０５）；在序列的正向方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差（５０８），其中利用所估计的运动来补偿所估计的视差；并且在序列的反向方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化（５１２）。
【技术实现步骤摘要】
【国外来华专利技术】
本公开一般地涉及计算机图形处理和显示系统，并更具体地涉及一种利用正向和反向深度预测进行图像的深度提取的系统和方法。
技术介绍
立体成像是在视觉上组合一个场景的从稍微不同的视点取得的至少两个图像以 便产生三维(“3D”)深度的错觉的处理。该技术依赖于如下事实人眼间隔一定距离，并 且因此没有观看完全相同的场景。通过为每只眼睛提供来自不同观察点(perspective)的 图像，欺骗观看者的眼睛感觉到深度。典型地，在提供两个有区别的观察点的情况下，分别 将组成图像称为“左侧”和“右侧”图像，也分别将其已知为基准图像和补充图像。然而，本 领域技术人员将认识到，可以组合多于两个视点来形成立体图像。在3D后期制作、视觉效果(VFX)工作流程和3D显示应用中，一项重要的处理是从 由左眼视像和右眼视像组成的立体图像中推断深度图。例如，最近商业化的自动 立体3D显示器要求图像加深度图(image-plus-d印th-map)输入格式，使得该显示器可以 生成不同的3D视图来支持多个视角。根据立体图像对推断深度图的处理在计算机视觉研究的领域中被称为立体匹配， 因为使用像素或块匹配以发现左眼和右眼视像中的对应点。新近，推断深度图的处理 在3D显示团体中也通常被已知为深度提取。根据各图像中与场景中的相同点对应的两个 像素之间的相对距离推断深度值。在众多计算机视觉应用(诸如，例如用于计算机辅助绘图(CAD)的快速对象建 模和原型成型、用于人机交互(HCI)的对象分割和检测、视频压缩和视觉监控(visual surveillance))中广泛使用数字图像的立体匹配，以便提供三维(3D)深度信息。立体匹配 从场景中位于不同位置和朝向的两个或多个摄像机(camera)获得场景的图像。在大约相 同的时间从每个摄像机获得这些数字图像，并且对应于空间中的3D点来匹配每个图像中 的点。通常，通过搜索一部分图像和使用约束(诸如核线约束)来匹配来自不同图像的点， 以便使一个图像中的点与另一图像中的点相关联。关于深度图提取已经进行了实质性的工作。关于深度提取的大部分先前工作集中 在单个立体图像对上而不是在视频上。然而，视频取代图像成为消费电子界的主导媒体。对 于视频而言，采用立体图像对的序列而不是单个图像对。在常规技术中，向每个帧对应用静 止深度提取算法。在大多数情形下，输出深度图的质量对于3D回放是足够的。然而，对于 具有大量纹理的帧而言，可以看见时间性的(temporal)抖动伪像，这是因为深度图在时间 方向上(即，在图像对序列的时间段中)未精确地对齐。常规系统已经提出通过在图像序 列上强制平滑度约束而使深度图提取处理沿时间方向稳定。然而，如果存在场景的大的运 动，则不得不考虑对象的运动以便沿时间方向精确地预测深度图。因此，存在对于使深度图提取处理沿时间方向稳定以减少时间性的抖动伪像的技 术的需求。存在用于考虑在时间上或者在图像序列上的对象运动的深度图提取的技术的进一步需求。
技术实现思路
提供了一种利用正向和反向深度预测进行图像的时空深度提取的系统和方法。本 公开的系统和方法在考虑对象运动的同时使深度图提取处理沿时间方向稳定，这导致了高 精确度的深度图。根据本公开的一方面，提供了一种将至少两个图像进行立体匹配的方法。该方法 包括从场景获取第一图像和第二图像的序列，所述序列包括第一图像和第二图像的多个 连续帧；对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视 差；估计第一图像中的至少一个点从至少一个帧到至少下一连续帧的运动；在序列的第一 方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差，其中利用所估计的 运动来补偿所估计的至少下一连续帧的视差；并且在序列的第二方向中基于所估计的至少 前一帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化。第一图像包括立体对 的左眼视像而第二图像包括立体对的右眼视像。根据本公开的另一方面，提供了一种将至少两个图像进行立体匹配的系统。该系 统包括用于从场景获取第一图像和第二图像的部件，序列包括第一图像和第二图像的多 个连续帧；运动补偿器，用于估计第一图像中的至少一个点从至少一个帧到至少一个连续 帧的运动；以及视差估计器，被配置为对于至少一个帧估计第一图像中的至少一个点与第 二图像中的至少一个对应点的视差，在序列的第一方向中基于所估计的至少前一帧的视差 来估计至少下一连续帧的视差，其中利用所估计的运动来补偿所估计的至少下一连续帧的 视差，并且在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中 的每一连续帧的视差最小化。根据本公开的又一方面，提供了一种机器可读的程序存储装置，其有形体现该机 器可执行的、用于将至少两个图像进行立体匹配的方法步骤的指令的程序，所述方法包括 从场景获取第一图像和第二图像的序列，所述序列包括第一图像和第二图像的多个连续 帧；对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差； 估计第一图像中的至少一个点从至少一个帧到至少下一连续帧的运动；在序列的第一方向 中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差，其中利用所估计的运动 来补偿所估计的至少下一连续帧的视差；并且在序列的第二方向中基于所估计的至少前一 帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化。附图说明将对本公开的这些以及其他方面、特征和优点进行描述，或者根据要连同附图一 起阅读的优选实施例的以下详细描述，本公开的这些以及其他方面、特征和优点将变得清林 疋。在附图中，贯穿各视图，相同的参考标记表示类似的元件图1是根据本公开的一方面的将至少两个图像进行立体匹配的系统的示例性图 示；图2是根据本公开的一方面的将至少两个图像进行立体匹配的示例性方法的流程图； 图3图示在对场景中感兴趣的点拍摄的两个图像之间的核线(bipolar line)几 何关系；图4图示在视差和深度之间的关系；图5是根据本公开的一方面的用于估计至少两个图像的视差的示例性方法的流 程图；图6是根据本公开的一方面的利用对象运动补偿进行深度提取的示例性方法的 流程图；图7图示用于增强立体图像的连续帧序列的深度图的正向和反向预测处理；以及图8图示根据本公开的一方面的使用正向运动场的正向和反向偏转(warping)。应理解，(各)附图用于例示本公开的构思的目的并且不一定是用于例示本公开 的唯一可能的配置。具体实施例方式应理解可以以各种形式的硬件、软件或其组合来实施附图中所示的元件。优选 地，在一个或多个被适当编程的通用设备上以硬件和软件的组合来实施这些元件，所述通 用设备可以包括处理器、存储器以及输入/输出接口。本描述例示了本公开的原理。因此本领域技术人员应理解将能够设计出虽然未在 此被明确描述或示出、但是体现本公开的原理并且被包括在本公开的精神和范围内的各种布置。在此所叙述的所有示例和条件性语言意在教导性的目的，以帮助读者理解本公开 的原理和由专利技术人为促进本领域技术而贡献的构思，并且要被解释为不限于这种具体叙述 的示例和条件。另外，在此叙述的本公开的原理、方面、以及实施例的所有陈述、以及本公开的具 体示例，意在包含本公开的结构的和功能的两者的等效物。此外，这种等效物意在包本文档来自技高网...
【技术保护点】
一种将至少两个图像进行立体匹配的方法，该方法包括： 从场景获取第一图像和第二图像的序列（５０２），所述序列包括第一图像和第二图像的多个连续帧； 对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差（５０４，５０６）；估计第一图像中的至少一个点从至少一个帧到至少下一连续帧的运动（６０５）； 在序列的第一方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差（５０８），其中利用所估计的运动来补偿所估计的至少下一连续帧的视差；以及 在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化（５１２）。
【技术特征摘要】
【国外来华专利技术】
【专利技术属性】
技术研发人员：张冬青，伊扎特伊扎特，尹永实，
申请(专利权)人：汤姆森特许公司，
类型：发明
国别省市：FR[]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。