基于运动矢量的运动对象比较制造技术

本发明专利技术提出通过进行运动估计以在每一帧确定运动矢量来分析视频序列（例如体育运动视频）中对象的运动。利用计算出的运动矢量，可以定量地测量对象（例如运动员）的运动。基于此，可以在视频序列的每个单独帧处比较两个视频中的运动。可以使用不同的方法（例如颜色编码）使这些运动可视化并比较这些运动。利用运动估计，还可以插入中间帧，以实现在两个给定视频中更好的运动比较。

【技术实现步骤摘要】
【国外来华专利技术】基于运动矢量的运动对象比较
本专利技术涉及用于比较视频序列中的运动的装置和方法及系统。
技术介绍
各种增强技术已经被用于体育视频广播。这种增强可以向观众提供更好的观看体验。例如，在赛车中，可以利用图形来增强视频，该图形识别汽车驾驶者并且显示（例如通过全球定位系统（GPS）获得的）诸如汽车速度之类的信息。第一个例子是足球比赛的视频序列，在该视频序列中可以插入虚拟的越位线，这使得观看者能够明确看到何时以及如何犯规的。另一个例子是高尔夫球的视频序列，其中码数点、危险区、倾斜球道以及果岭前带（falsefronts）可以被标识并添加到视频中。US7042493和WO01/78050A2公开了用于从视频产生体育赛事的频闪观测仪序列的运动分析系统。这种系统允许观看者看到在时间和空间上展开的运动员的运动，其中运动对象被感知为沿着对象轨迹的一系列静态图像。此外，EP1247255和WO01/39130A1公开了能够从两个给定的视频序列产生合成视频序列的图像处理系统，该合成视频序列包括来自每个给定的序列的视觉元素，这些视觉元素被适当地同步化并且表示在选定的焦平面中。例如，给定均分别示出不同选手在同一下坡赛道单独比赛的两个视频序列，该合成序列可以包括来自给定序列中每一个的元素，以示出这两个选手好像在同时比赛。另外，WO2007/006346A1公开一种用于通过限定某种体育运动的多个不均匀分布的关键位置来分析运动员的运动的方法。该方法从输入的视频中提取与这些关键位置相对应的静态图片，并且将提取的静态图片同时显示在屏幕上。可以通过预定义的模板来触发静态图片的提取。然而，在上述现有系统中，通过将视频展开为静态图片/帧的序列来分析运动员的运动，其中预定义的模板/规则可被用于提取与关键位置相对应的静态照片。然而，对于观看者来说，仍不能看到运动员在每个单独时刻/帧处如何运动。例如，不同的运动员可能以不同的速度和运动方向执行相同的关键位置。当比较两个视频时，在现有系统中考虑空间和时间的对准。然而，这仅通过对准视频中的现有图像/帧来完成。给定两个不同的表现（来自不同的主体），因为运动的不同执行（例如不同的速度或幅度）的缘故，基于现有帧的空间-时间对准可能是困难的，有时导致不精确的对准。US7602301和US6567536公开了用于基于身体上传感器的运动分析的解决方案，但是这些解决方案需要应用到身体上的额外的标记和传感器。GB2341997A公开一种用于增强电视图像中的对象的图像处理装置和方法，其中通过运动检测、边界检测或颜色检测来检测对象，从而定位对象。可以通过使用轨迹预测或外插法来促进后续图像中对象的位置检测。重叠产生模块利用中性背景和与所述对象的部分相对应的位置中的加亮部分产生中间图像。轨迹内插模块在先前图像中对象的位置与当前图像中对象的位置之间插入一路径。最后，图像叠加模块将该中间图像、内插图像和数字图像叠加，以产生输出图像，其中在对比度方面以及通过沿着对象的轨迹提供拖尾增强了所述对象的可视性。从而改善了对快速移动或者在低对比度背景中描绘的对象的跟踪。此外，EP1404130A1公开了输入视频信号到不同的场或帧速率的转换，其中从现有帧的图像数据产生要插入的附加帧。然而，该方法由于对象运动中的可见的不连续性的缘故而导致图像降级。通过转换后的视频信号的视频帧的对象的运动偏离原始视频帧序列中对象的平滑运动，导致可感觉到的运动不连续性。为了克服该缺陷，帧内对象的运动通过运动估计来检测，并且用运动矢量来表示。基于检测到的运动矢量，计算要插入的帧中对象的位置，并且相应地插入对象的图像数据。
技术实现思路
本专利技术的目的是提供一种用于在维持不引人注目的通过视频的数据收集的同时更好地分析和比较运动的解决方案。该目的是通过如权利要求1所述的装置、如权利要求8所述的方法以及通过如权利要求9所述的计算机程序产品来实现的。因此，可以在没有用户手动绘图/点击以及也不使用任何身体上的标记或传感器的情况下，定量地且自动地分析视频序列中的任何类型对象的运动。运动估计的结果实现了更好的运动分析和比较，特别在体育运动中，同时维持不引人注目的通过视频的数据收集。利用计算出的运动矢量，可以产生并插入中间帧，以实现更好的对准。例如，当比较两个运动员的冲刺时，可以针对跑得较快的运动员插入中间帧。另一个应用是比较利用不同帧速率的照相机捕获的两个视频。例如，在某些情况中，可以利用高速照相机进行一个重编码。以低帧速率进行的另一个重编码需要通过中间帧来增强，以更好地进行运动比较。根据第一方面，一种可视化器或者可视化级可以被提供用于使所述至少一个对象的运动可视化。根据可以与第一方面结合的第二方面，一种视频产生器或者视频产生级可以被提供用于产生第三视频序列，该第三视频序列包含由所提出的方法或装置处理的第一和第二视频序列的对象的运动差别。这样，基于两个视频流的比较，也可能产生用于分析的特殊信息视频，其中对两个视频流之间的运动差别进行注释。例如，可以想到游泳者和理想的模型（或者先前的记录）之间膝盖伸展的差别。这样，除了提供两个对准的视频流且然后让这种解释由用户（例如教练员或运动员）完成之外，有可能产生利用运动差别增强的或者减少到运动差别的第三流，从而帮助用户看到该差别。根据可以与第一和第二方面中的至少一个结合的第三方面，该可视化器或可视化级可以适于通过添加关于运动方向、运动量级和加速度中的至少一个的信息而使对象的运动可视化。在特定的示例性实施方式中，该可视化器或可视化级可以适于添加作为颜色编码的信息。根据可以与上面的第一至第三方面中的至少一个结合的第四方面，该可视化器或可视化级可以适于检测所述至少一个视频序列中预定的关注对象（例如，身体部位）。上述装置可以被实现为集成在单个芯片或芯片组上的或者在电路板上布线的硬件电路。作为可替代方案，该装置的至少部分可以实现为计算机程序或软件例程，当该计算机程序运行在控制该装置的计算机上时，该计算机程序或软件例程控制处理器或计算机设备以执行上述方法的步骤。应当理解，本专利技术的优选实施例也可以是从属权利要求与相应的独立权利要求的任何组合。本专利技术的这些和其他方面将根据下文描述的实施例而清楚明白并参照这些实施例进行阐述。附图说明在附图中：图1示出根据第一实施例的运动比较过程或设备的示意性处理图；图2示出运动比较的例子；以及图3示出根据第二实施例的运动比较过程或设备的示意性处理图。具体实施方式现在基于其中定量分析视频序列（例如，体育运动视频）中的运动员或其他对象的运动的实施例来描述本专利技术。更具体来说，视频分析被加强，以提取运动数据。即使在具有运动的不同执行（例如不同速度并且/或者运动方向）的不同表现（由不同的主体进行）的情况下，仍可以实现帧对准。图1示出根据第一实施例的处理流程或处理链的示意图，其中使用可以发现视频帧之间的对应关系的运动估计或其他技术计算在各视频帧处的运动矢量。在各视频帧处计算出的运动矢量可被用于更好地比较运动。在步骤或阶段110中，针对至少两个视频序列的各帧，计算运动矢量。然后在步骤或阶段120中使用计算出的运动矢量来产生并插入中间帧。对于步骤或阶段120，可以基于来自视频领域的交错技术来产生中间帧，其中它例如用于从第一帧速率上调到第二帧速率本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2011.01.28 EP 11152548.11.一种用于比较第一视频序列中捕获的第一对象和第二视频序列中捕获的第二对象的运动的装置，其中所述第一对象和所述第二对象是不同的对象或者在不同时间捕获的相同对象，所述装置包括：-运动估计器（110；210A；210B），其用于在所述第一视频序列和所述第二视频序列的各帧处计算所述第一对象和所述第二对象的运动矢量；-帧插入器（120；220），其用于基于针对所述第一对象计算出的运动矢量产生中间帧并且将所述中间帧插入所述第一视频序列，以上调所述第一视频序列的帧速率；-帧对准器（130；230），其用于执行所述上调的第一视频序列的帧与所述第二视频序列的帧的空间和时间的对准，以及-可视化器（140），其用于使所述第一对象和所述第二对象在所述第一视频序列和所述第二视频序列的各个空间和时间上对准的帧处的所述运动可视化。2.根据权利要求1的装置，进一步包括视频产生器（240），其用于产生第三视频序列，所述第三视频序列包含所述第一视频序列和所述第二视频序列的所述第一对象和所述第二对象的所述运动的差别。3.根据权...

【专利技术属性】
技术研发人员：C·香，A·M·G·皮特斯，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：
国别省市：