用于游戏的立体视频制造技术

接收具有物理前景对象和物理背景的捕捉场景的实时立体视频信号。以实时方式，对实时立体视频信号使用前景／背景分离算法以标识来自立体视频信号的表示物理前景对象的像素。通过基于所标识的物理前景对象的像素渲染３ｄ虚拟现实来产生视频序列。

【技术实现步骤摘要】
【国外来华专利技术】用于游戏的立体视频背景三维(3d)图形，尤其是模拟3d领域或世界，有时被称为3d虚拟现实，它 是周知的计算机图形领域， 一般涉及在3d坐标空间中渲染3d模型和景物的二 维图象。大多数现代游戏控制台专门设计成能够实时处理3d图形，并且游戏 控制台的许多游戏基于模拟3d或虚拟现实。游戏控制台通常使用游戏控制器如操纵杆、按钮手柄等等来操作。对于许 多玩家，在能熟练使用游戏控制之前必须花费大量时间。由于缺乏灵巧性，许 多人不经常使用游戏控制台。尽管游戏控制台已经变得强大并且可以处理来自 用户的高级控制输入，但难以提供使用典型的游戏控制器如触摸板、操纵杆、 鼠标等来提供高级控制输入。而且，游戏控制器常常不能以符合用户思维模型 或对游戏的直观理解的方式物理地进行操作。换言之，3d游戏可包括使游戏角 色(avatar)跑、瑕夂、持有不同的对象、射击、闪避等等，并且有可能同时进 行。然而，游戏控制器通常一次只输出一个或少量输入信号，并且双手在同时 控制不同类型的动作如同时移动游戏角色、拾取对象、瞄准等时不太有效率。游戏控制台在它们所显示的图像类型方面也受到限制。通常，由游戏控制 台显示的图形是由游戏在内部生成的或者预先提供的。例如，用于使子图形 (sprite)动起来的图象可以是游戏的嵌入内容或程序数据的一部分。对象的实时 捕捉视频还没有被插入或映射到3d虚拟现实中。概述包括下面的概述以介绍下面详细描述中讨论的一些概念。本
技术实现思路
不是 全面的并且不是要描绘由所附权利要求书阐述的要求保护主题的范围。接收具有物理前景对象和物理背景的捕捉场景的实时立体视频信号。以实 时方式，对实时立体视频信号使用前景/背景分离算法以标识来自立体视频信号 中表示物理对象的像素。通过基于所标识的物理前景对象的像素渲染3d虚拟现实来产生视频序列。通过结合附图考虑下面的详细描述，将更容易地了解许多伴随的特征。附图简述在附图中相同的标号用于指示相同的部件。 附图说明图1示出连接到游戏控制台的立体照相机。图2示出被配置为结合立体照相机操作的游戏控制台的高级系统图。 图3示出游戏控制台的示例。图4示出另一示例游戏控制台。图5示出设备驱动程序如何从立体视频信号中提取有关场景的信息。 图6示出如何结合游戏和VR引擎使用立体导出的对象信息。 图7示出如何使用基于立体的前景/背景分离来控制3d游戏中的模型或游 戏角色的示例。图8示出用于使用立体前景/背景分离来识别控制游戏的姿势的过程。图9示出将前景对象的分离图象映射到随后进行渲染和显示的模型的示例。图IO示出如何对3d游戏使用基于立体的对象识别。 详细描述用于处理立体视频数据的立体照相机和算法已经发展到有可能可靠地实 时获得有关所捕捉对象的某些图象信息的阶段。可参考许多出版物。例如， "Bi-layer segmentation of binocular stereo video(双目立体视频的双层分割)" (Vladimir Kolmogorov, Antonio Criminisi， Andrew Blake, Geoffrey Cross, Carsten Rother， 2005年，美国加利福尼亚圣迭戈，Proc.IEEE Computer Vision and Pattern Recognition (IEEE计算机视觉和模式识别会刊))讨论通过将颜色/对 比度分析与立体模式匹配相融合来将前景对象从其背景分离的技术。有关基本 立体匹配，还可参阅Y.Ohta和T.Kanade的Stereo by intra- and inter-scan line search using dynamic programming (使用动态编程的帧内和帧间扫描行搜索的 立体)，IEEE Trans.on PAMI (关于PAMI的IEEE学报)，1985年7 (2);I.J.Cox, S丄.Hingorani禾卩S.B.Rao的A maximum likelihood stereo algorithm(最大 可能性立体算法)，CVIU， 1996年63 (3) : 542-567; D.Scharstein和R.Szeliski 的 A taxonomy and evaluation of dense two-frame stereo correspondence algorithms (稠密两帧立体对应算法的分类与评估)，IJCV， 2002年47 (1-3)。 有关处理对象边界上的遮蔽，参阅P.N.Belhumeur的A Bayesian-approach to binocular stereopsis (双目立体影像的贝叶斯方法)，Int丄Computer Vision (计 算机视觉)，1996年八月，19 (3) : 237-260; D.Geiger， B丄adendorf和A.Yuille 的Occlusions and binocular stereo (遮蔽禾口双目立体)，Int.J.Computer Vision (计 算机视觉)，1995年，14: 211-226;以及A.Criminisi, J.Shotton, A.Blake和 P.H.S.Torr的Gaze manipulation for one to one teleconferencing (一对一电〈言会议 的注视操纵)，ICCV学报，2003年。总之，立体视频处理算法可以实时、准确且健壮地将捕捉场景前景中的对 象从场景的背景中分离出来。可处理立体照相机信号以获得信息，诸如对象的 深度或离照相机或距离、对象图象中像素的深度、对象的身份、无论背景的颜 色或距离而干净地移除背景的对象图象、对象的方向等等。在下述实施例中， 通过处理立体视频信号获得的信息由游戏控制台或3d图形系统使用。图1示出连接至游戏控制台52的立体照相机50。游戏控制台52连接至 显示器54。立体照相机50捕捉真实对象56以及持有对象56的真实人物58 的视频。捕捉的立体视频包括所捕捉场景的任何任意背景，例如景物、墙、远 处的对象如家具等。在较佳实施例中，立体照相机50放在电视或显示器54的 顶上。在图1所示的安排中，立体照相机50向游戏控制台52提供四拍捕捉视 频的立体视频信号，游戏控制台52对其进行处理以生成例如用于控制游戏的 控制信息、补充游戏或3d虚拟现实的图形的图形信息、有关场景中的对象的 3d信息等等。例如，如稍后参考图7-10讨论的，人物58和/或对象56的动作 和外观可被转换成由游戏控制台52渲染的3d虚拟现实中的动作和/或外观。图2示出被配置为结合立体照相机50操作的游戏控制台52的高级系统 图。在较佳实施例中，立体照相机50具有至少两个图象捕捉设备70，诸如CCD 对。低级捕捉和处理电路系统72从图象捕捉设备70捕捉原始的图象数据。电 路系统72可对原始图象数据执行某些基本图象处理功能，例如同步、帧速率调整、调整尺寸、颜色平衡、对比度调整等等。电路系统72输出立体视频流，并且立体照相机的通信接口 74将立体视频数据传递给计算机或游戏控制台 52。通信接口 74可以使用任何形式的物理通信如无线电、电或光信号来与游 戏控制台52通信。本文档来自技高网...

【技术保护点】
一个或多个存储使一装置执行一过程的信息的计算机可读介质，所述过程包括：　　　　从立体照相机接收具有物理前景对象和物理背景的所捕捉场景的实时立体视频信号；　　　　以实时方式，对所述实时立体视频信号执行前景／背景分离算法以标识从所述立体视频信号捕捉的表示所述物理对象的像素，其中所述分离基于视差；以及　　　　通过基于所标识的物理前景对象的像素渲染虚拟现实来产生视频序列。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：TK加尔皮特，A布雷克，R赫伯齐，
申请(专利权)人：微软公司，
类型：发明
国别省市：US[美国]