用于匹配移动质量控制的系统和方法技术方案

本发明专利技术公开了用于匹配移动质量控制的系统和方法。提供用于管理立体图像中的深度的系统和方法。在一种实现方式中，提供这样的系统和方法，其使用程序着色器和自动显现来匹配计算机生成的图像的深度和原始立体图像（即使用用于立体成像的两个摄像机记录的图像）的深度。系统和方法可采用棋盘和三平面着色器，并且还可以采用纹理参考对象来实现更方便且直观的深度匹配。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了。提供用于管理立体图像中的深度的系统和方法。在一种实现方式中，提供这样的系统和方法，其使用程序着色器和自动显现来匹配计算机生成的图像的深度和原始立体图像（即使用用于立体成像的两个摄像机记录的图像）的深度。系统和方法可采用棋盘和三平面着色器，并且还可以采用纹理参考对象来实现更方便且直观的深度匹配。【专利说明】相关申请的交叉引用本申请要求2012 年 7 月 2 日提交的名为 “TR1-PLANAR CHECKERBOARD FOR MATCHMOVE QC”的美国临时专利申请序列号61/667，150的优先权权益，该美国临时专利申请为本申请的受让人所有并且全部内容通过引用结合于此。
技术介绍
以3D方式呈现的电影正广泛流行。一种实现三维图像的方式是通过立体拍摄。在立体拍摄中，捕获两个图像并将其呈现给用户，一个图像来自左摄像机并且用于观看者的左眼，一个图像来自右摄像机并且用于观看者的右眼。这是为观看者产生3D图像的最老的方式之一。当今的电影摄影技术通常混合真实动作镜头和计算机生成的对象或角色。例如，真实动作演员可以在他们的肩膀上有个计算机生成的蜘蛛，并且CG蜘蛛必须与角色和摄像机两者一起移动。一种执行该移动的方式是通过匹配移动处理(match move process)或者只是“匹配移动”(也称为摄像机跟踪)。标记被放置在真实动作图像的重要点上，并且这些点的移动定义对CG对象进行成像的虚拟摄像机将如何也移动以匹配实体摄像机。虽然匹配移动在两个维度高度精确，但是当扩展到如同存在于立体拍摄摄像机系统中那样的多个不同视角时可能存在显著误差。因此，需要改善用于这样的系统的匹配移动。
技术实现思路
将计算机生成的图像和图形的深度与原始立体版(native stereo plate)中的对象的深度匹配可能较困难。在解决匹配移动和逐帧贴合(rotomation)之后，当相比于原始立体图像深度时，图像的深度可能不在希望的深度处。例如，使用来自左摄像机的图像适当地将CG对象与图像配准可能产生从左(二维)视点看充分的跟踪；然而，当从右摄像机观看时，CG对象可能明显失配。例如，CG对象可能不在相对于表面的正确角度处或者可能浮在表面上。因此，在根据这里公开的原理的系统和方法中，计算机系统通过将诸如棋盘(checkerboard)之类的重复图案投影在CG对象上，来针对深度检验几何构型,其中CG对象可能与下层的版有一些关系。例如，CG对象可能建模在原始立体版图像中的特征或结构的表面，或者在其他情况下可能被用作放置CG对象的参考。通过检验重复图案如何在对象上移动并与当播放场景时原始立体图像如何移动进行比较，用户可以评估匹配移动系统是否被适当配准。可通过用户使用适当设计的用户界面来执行检验，或可通过计算环境自动执行检验。根据本原理的系统和方法通过提供对匹配移动图像(例如组合真实动作镜头和计算机生成对象的图像)执行质量控制的方便方式，来改善匹配移动。在一个方面，系统和方法管理立体图像中的深度。例如，计算机系统可使用程序着色器和自动显现(render)来匹配计算机生成的图像和原始立体图像(即使用两个立体摄像机记录的图像)的深度。系统和方法可对于自动深度匹配和采用用户输入的深度匹配两者，采用棋盘图案和三平面着色器(tr1-planar shader)来使立体深度可视化。系统和方法还可以采用纹理参考对象来实现甚至更方便的质量控制处理。在一种具体实现方式中，在3D程序(例如Maya?)中使用三平面着色器来将棋盘或者具有基本相等尺寸的2D图案元素的类似重复纹理投影在CG对象上。三平面投影是与UV无关的，这意味着几何构型不需要适当展开或均匀间隔的UV以使得该纹理清楚，这方面有助于复杂表面。三平面着色采用几何构型的每个面的朝向角，来确定应从哪个世界空间轴发出投影，不论几何构型、取向或复杂度如何，这都产生较均匀间隔的图案。系统和方法还可以采用用于一个或多个几何构型的“纹理参考对象”，从而如被最初施加在例如第一帧上的纹理在其动起来时被锁定到表面，而不像在系统和方法没有使用该参考的情况下纹理游过几何构型的表面。使用各种混合模式的任一种将结果图案合成回版上，然后在该状态下针对质量对结果图案进行评估。在一方面，本专利技术致力于一种呈现用于深度评估的图像的方法，包括:显示一组原始立体图像；利用着色器将重复图案投影到图像的至少一个表面上；将纹理锁定到图像中的至少一个对象的表面；以及将来自所述组的图像与具有所述图案的表面合成，并且在显示器上呈现结果图像以供评估。本专利技术实现方式可包括下述的一种或多种。重复图案可以是棋盘图案，并且着色器可以是三平面着色器。在另一方面，本专利技术致力于一种在匹配移动处理期间执行质量控制的方法，包括:显示与原始立体版的第一和第二立体拍摄视图有关的第一系列图像，所述原始立体版上具有至少一个特征；将与相应第一和第二立体拍摄视图有关的第二系列图像投影在CG对象上，所述第二系列匹配移动到所述第一系列并且包括重复图案；以及在显示器上呈现结果图像以供评估。本专利技术实现方式可包括下述的一种或多种。可通过三平面着色器来投影重复图案。可以将重复图案投影在第二系列图像内的CG对象的表面上，并且，该方法还可以包括通过针对所述表面创建纹理参考对象来将重复图案锁定到CG对象上。该方法还可以包括评估第二系列相对于原始立体版上的特征的深度，并且在一些情况中可以自动执行评估。该方法还可以包括:将所述特征的点与图案化对象上的点对应，并且评估还可以包括:检测原始立体版中的所述特征距观看平面的第一距离，检测图案化对象上的对应点距观看平面的第二距离，以及提供指示出第一距离和第二距离之间的差的输出。可以对图案化对象上的多个点和所述特征上的对应点执行评估，并且通过提供指示出针对所述多个点中的每个点的差值的输出来以图形方式执行对输出的提供。还可以利用用户输入来执行评估。该方法还可以包括:提供用户界面，所述用户界面用于显示第一系列图像和第二系列图像并且用于接受关于解决不合适的匹配移动的用户输入。接受用户输入可包括接受改变图案化对象的位置或取向的用户输入，或者还可以包括接受改变摄像机参数(比如旋转度数或位置)的用户输入。该方法还可以包括:基于CG对象的尺寸或CG对象距观看平面的距离，来计算用于重复图案的优化间隔。在另一种实现方式中，本专利技术涉及非瞬时的计算机可读介质，其包括用于使得计算环境执行上述方法的指令。在另一种实现方式中，本专利技术致力于一种在匹配移动处理期间辅助质量控制的方法，包括:捕获与原始立体版的第一和第二立体拍摄视图有关的第一系列图像，所述原始立体版上具有至少一个特征，所述第一系列图像是利用测距成像的(ranged imaging)摄像机拍摄的以使得至少获得所述特征的深度值；在所述第一系列上叠加与相应第一和第二立体拍摄视图有关的第二系列图像，所述第二系列匹配移动到所述第一系列并且包括CG对象，所述CG对象具有与所述特征上的点对应的点；以及其中，通过如下方法执行所述叠加，即所述方法包括设置CG对象的位置使得CG对象的点与所述特征上的对应点重合。在又一种实现方式中，本专利技术致力于一种在匹配移动处理期间辅助质量控制的方法，包括:捕获与原始立体版的第一和第二立体拍摄视本文档来自技高网...

【技术保护点】
一种呈现用于深度评估的图像的方法，包括：a、显示一组原始立体图像；b、利用着色器将重复图案投影到图像的至少一个表面上；c、将纹理锁定到图像中的至少一个对象的表面；以及d、将来自所述组的图像与具有所述图案的表面合成，并且在显示器上呈现结果图像以供评估。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：B·亨德里克斯，
申请(专利权)人：索尼公司，索尼图片技术股份有限公司，
类型：发明
国别省市：