基于模型的赛场配准制造技术

描述了用于基于模型的赛场配准的方法、装置和系统。处理输入视频图像。对该视频图像的处理包括提取与该视频图像相关的关键点。此外，确定是否已提取到足够的与该视频图像相关的关键点，并且如果已经提取到足够的关键点，则执行对该视频图像的直接估计，然后生成基于该直接估计的最终视频图像的单应矩阵。

【技术实现步骤摘要】

本领域总地涉及计算科学，并且更具体地，涉及视频成像。
技术介绍
图像配准问题在视频序列中是常见的。典型地，图像配准在图像处理中用来匹配 在不同时间来自不同传感器或来自不同视点的两个或者更多个视频序列。然而，尽管在该 图像配准领域中有了不少进展，但是图像中的失真仍然存在。这些失真包括配准不良(例 如图像错位)。除了不能消除这些频繁的失真现象，这些传统的图像配准算法还消耗大量的 搜索空间却收获寥寥。而且，传统的图像配准算法执行的搜索也不稳定。附图说明本专利技术的实施例在附图中以实施例而非限制性的方式举例说明，在附图中用相似 的标号指示相似的部件，其中图1示出用于执行场地配准的过程；图2示出具有一实际点和一虚拟点的场地模型的单应(homograph)矩阵的实施 例；图3示出在场地模型和屏幕图像之间的单应映射以及进一步地在屏幕图像之间 的运动转变(motion transition)的实施例；图4示出霍夫线检测和交点提取的实施例；图5A-5G示出体育视频中基于模型的赛场配准的实施例；图6示出基于增强交互分布式粒子滤波(boosted interactivelydistributed particle filter)的多对象跟踪过程的实施例；图7示出增强交互分布式粒子滤波的实施例；图8示出形成组(例如组G)且互相交互的对象；图9示出实现在分辨率为720X576和960X544的两个视频片段上时本专利技术实施 例一种实现的跟踪结果的实施例；图10示出本专利技术实施例的一种实现的跟踪结果的另一实施例；图11示出具有实现为软硬件组件混合体的本专利技术实施例的计算系统的实施例。具体实施例方式在一个实施例中，公开了一种场地配准技术，用于找到屏幕图像和场地模型之间 的几何对应，随后将赛场从屏幕图像映射到标准场地模型。在本文的通篇使用了一般的体 育运动，特别是足球，仅仅作为实施例并且是为了简便和清楚的目的。预期本文中所揭示的 实施例可应用于任何视频图像而不管其内容。继续考虑体育的例子，体育视频中的关键要 素是将球和运动员的移动轨迹映射至场地模型。在执行该映射时，每个运动员在场坐标系 中的相对位置可从已配准的场地中获取。这些相对位置包括运动员的移动方向、近似速度和活动。这些线索可在可视计算和计算机绘图域中帮助促进团队为基础的阵容和战术分 析、基于活动的场景检索、视频内容充实和编辑、交互和沉浸式游戏、增强的现实感等。在一个实施例中，提供了一种新颖的、基于相关场地配准硬件组件的场地配准算 法，以提供有效而实用的视频图像场地配准。该新颖的方法首先进行视图类型分类，然后应 用霍夫变换来检测场地标线和它们相应的交点。这些交点作为场地配准的关键点。当有足 够多的关键点(例如，多于或者等于4个关键点)时，执行搜索最佳映射的直接匹配。为了 有效的搜索，使用由距离变换产生的距离映射来计算匹配误差。此外，为了加快搜索，研究 了一些快速否决标准，并将其用于加速处理。当关键点的数目不够(例如少于四个关键点) 时，可以不直接获得单应矩阵；而是，通过估计连续帧之间的全局运动并将当前的运动转变 与以往任何场地模型映射矩阵相结合来推断当前单应映射矩阵而间接得到。这种技术及其 有效性和实用性在前面的段落有进一步的说明。这种新颖而实用的场地配准技术可以适用于任何类型和数量的、有或无足够关键 点的视频图像情况。该先进而合理的方案简化了执行场地配准任务的难度。场地配准技术 使用距离变换来测量匹配误差，这使得该误差为连续性的，并使搜索更为稳定；此外，其发 明了几个快速否决标准来减小搜索空间并提高处理速度。图1说明执行场地配准的过程。在处理框102，通过连接至视频设备(例如为具有 包括处理器的计算系统的摄像机)的物理接口接收视频输入。在处理框104，执行对所接收 视频的预处理。预处理包括主色学习和处理框106处的视图类型分类。通过累加色度-饱 和度-纯度(Hue-Mturation-Value，HSV)颜色直方图执行视频中的主色，其对应于赛场 的草坪颜色。如前所述，需要再次注意，体育运动(并且尤其是足球)仅仅是为了简便和清 楚而用于作为例子，且本专利技术的实施例并不局限于体育视频。例如，代替赛场(如这里使用 的)的草坪颜色，该颜色可以是政治辩论期间的美国国会的地板或者是集会期间的草坪或 者肥皂剧或电影中的起居室。接着用主色分段和形态滤波连同连接成分分析来提取赛场。 之后，每个视图都归类至四个视图类型中的一个(1)全局视图；(2)中间视图；(3)特写视 图；(4)视图外，而全局视图可以被提供给场地配准模块中以进行后续计算。在处理框108，执行霍夫线检测和交点关键点提取。通过提取赛场区域来执行霍 夫变换以检测标线，随后保留和赛场区域内的主色不一致的任何像素并使之成为二值(二 元)图像。之后，对二元图像应用霍夫变换来检测水平的和垂直的标线，然后获取其交叉关 键点。另外，实际的和虚拟的交点都会被检测和使用。这在图4中进行了说明。在判决框110，关于是否具有足够的关键点作出判定。如果具有足够的点，在处理 框112执行新颖的直接映射估计。该新颖的直接映射估计是通过处理框114处的匹配假设 生成来执行的，随后在处理框116执行假设评估和最佳对应搜索。如果没有足够的点，在处 理框118执行间接映射估计。间接映射估计包括关键点检测、过滤和在处理框120处的全 局运动估计，随后是在处理框122进行当前映射转变。在任一情况下(也就是直接或间接 映射估计)，该过程继续生成单应矩阵(Ht) 124。如前所述，当屏幕图像和场地模型之间有足够的点(如多于四个对应点；其次，至 少两条水平线和至少两条垂直线的交叉)，处理框112执行直接估计来估计单应矩阵。这种 直接估计包括确定哪一对点相互对应并对应于场地模型，列举这些可能的情况，并通过执 行误差评估搜索最优的一个。在一个实施例中，场地模型是指正为之实现这些实施例的视频图像的任何背景或场地。然而，继续足球的主题，由国际足球协会联合会(FIFA)定义的 标准足球运动场在该实施例中用作场地模型。在一个实施例中，无论是实际的交点(如两 条实际线——例如水平和垂直线——之间的交点)，还是任何虚拟交点(如一条实际线和 一条延长的实际线的交点，或者两条延长的实际线之间的交点)，都用于场地模型中。这些 虚拟交点也是场地模型的关键点，可以用来校准视频设备(如摄像机)。此外，关于映射假设的生成，为了简化映射程序，使用标线来指导每个交叉关键 点的对应关系。Lh是场地模型中水平线的数目，Lv是垂直线的数目(例如Lh=10条 水平线，Lv = 7条垂直线)。假定有m条水平线(Lh = m)和η条垂直线(Lv = η)，共有本文档来自技高网...

【技术保护点】
１．一种方法，包括：处理输入的视频图像，其中处理包括提取与所述视频图像相关的关键点；检测是否已提取到足够的与所述视频图像相关的关键点；如果已经提取到足够的关键点，则执行对所述视频图像的直接估计；以及基于所述直接估计生成最终视频图像的单应矩阵。

【技术特征摘要】
2009.12.23 US 12/646,8071.一种方法，包括处理输入的视频图像，其中处理包括提取与所述视频图像相关的关键点； 检测是否已提取到足够的与所述视频图像相关的关键点； 如果已经提取到足够的关键点，则执行对所述视频图像的直接估计；以及 基于所述直接估计生成最终视频图像的单应矩阵。2.如权利要求1所述的方法，其中，所述直接估计包括通过检测和评估与穿过至少两 个垂直点的至少两条水平线相关的关键点来生成映射假设。3.如权利要求1所述的方法，还包括如果尚未提取到足够的关键点，则执行对所述视 频图像的间接估计。4.如权利要求3所述的方法，其中，所述间接估计包括执行全局运动估计，所述全局运 动估计包括两个连续图像之间的点匹配。5.如权利要求1所述的方法，还包括预处理所述视频图像，其中预处理包括执行对所 述视频图像的视图类型分类。6.如权利要求1所述的方法，还包括在显示设备上显示所述最终视频图像。7.一种方法，包括 接收输入的视频图像；跟踪所述视频图像中的多个对象，其中为每个对象分配跟踪器，以使每个对象都被单 独跟踪；以及获取跟踪信息，所述跟踪信息得自于对所述多个对象的所述跟踪。8.如权利要求7所述的方法，其中，跟踪包括检测增强的对象以及执行交互分布式粒 子滤波。9.如权利要求7所述的方法，还包括执行对所述视频图像的背景建模和背景提取。10.一种数据处理系统，其具有存储介质以及与所述存储介质耦合的处理器，所述处理器处理输入的视频图像，其中处理包括提取与所述视频图像相关的关键点； 检测是否已提取到足够的与所述视频图像相关的关键点； 如果已经提取到足够的关键点，则执行对所述视频图像的直接估计；以及 基于所述直接估计生成最终视频图像的单应矩阵。11.如权利要求10所述的数据处理系统，其中，所述直接估计包括通过检测和评估与 穿过至少两个垂直点的至少两条水平线相关的关键点来生成映射假设。12.如权利要求10所述的数据处理系统，其中，如果尚未提取到足够的关键点，则所述 处理器还执行对所述视频图像的间接估计。13.如权利要求12所述的数据处理系统，其中，所述间接估计包括执行全局运动估计， 所述全局运动估计包括两个连续...

【专利技术属性】
技术研发人员：X·童，W·李，Y·张，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：US