用于捕获物体的运动的方法以及运动捕获系统技术方案

一种用于捕获物体的运动的方法，所述方法包括：将至少一个标记安装在所述物体上；将安装有所述至少一个标记的所述物体带入采集体积中；布置至少两个基于事件的光传感器，使得所述至少两个基于事件的光传感器的相应视场覆盖所述采集体积，其中每个基于事件的光传感器具有像素阵列；依据由像素感测到的来自所述至少一个标记的入射光的变化，从所述至少两个基于事件的光传感器的像素异步地接收事件；以及处理事件以在所述采集体积内定位所述至少一个标记并且捕获所述物体的运动。一个标记并且捕获所述物体的运动。一个标记并且捕获所述物体的运动。

【技术实现步骤摘要】
【国外来华专利技术】用于捕获物体的运动的方法以及运动捕获系统


[0001]本专利技术涉及一种用于捕获物体的运动的方法以及一种运动捕获系统。

技术介绍

[0002]机器视觉是包含用于采集、处理、分析和理解图像以供在例如以下广泛类型的应用中使用的方法的领域：安全应用(例如，监控、入侵检测、物体检测、面部辨识等)、环境用途应用(例如，照明控制)、物体检测和跟踪应用、自动检查、过程控制和机器人引导等。因此，机器视觉可以与许多不同系统集成。
[0003]在这些上述应用中，运动检测和跟踪可用于检测场景中的移动物体的准确位置，尤其是对于例如视频游戏、电影、体育、电视节目、虚拟现实和增强现实、运动科学工具和模拟器的计算机生成图像(CGI)解决方案。
[0004]因此，出于此目的，也称为运动捕获(mo
‑
cap)的定位系统通常用于检测和估计配备有标记的物体的位置。
[0005]在本领域中，例如Vicon和OptiTrack的若干商业运动捕获系统使用配备有IR照明的多个基于帧的相机来检测无源逆反射标记。这些相机的曝光设置被配置成使标记在视频流中突出，以便可以轻松地跟踪它们。
[0006]这些相机具有通常约120到420fps的固定帧率，这导致两个重要的限制。首先，采集过程会产生大量不必要的数据，这些数据仍必须处理以检测标记，从而导致不必要地使用计算能力且因此限制系统可达到的时延。其次，可以视为物体位置的采样频率的固定帧率会限制系统可以以良好的保真度捕获的动态。
[0007]此外，在本领域中，Keskin,M.F等人在他们的以下论文中提出对可见光系统的定位技术的调查：“经由可见光系统的定位(Localization via Visible Light Systems)”，《电气与电子工程师协会会报》，第106期第6卷，第1063至1088页。他们提及来自科学文献的许多文章，描述了从自校准参考LED接收到的信号估计光接收器位置的问题的解决方案(例如，基于信号强度、到达时间、到达角度等)，所述信号可以通过它们的强度调制模式识别。具体来说，这些文档讨论光电检测器或常规成像传感器作为光接收器的使用。上文已经提及常规成像传感器的局限性。光电检测器还具有固定但高得多的数据速率。
[0008]本专利技术的目标是提供一种用于捕获物体的运动的新方法，所述方法适合于以高精度和/或高时间分辨率检测和跟踪物体的姿态和定向，从而以高保真度捕获快速移动。

技术实现思路

[0009]提出一种用于捕获物体的运动的方法。所述方法包括：
[0010]将至少一个标记安装在物体上；
[0011]将安装有至少一个标记的物体带入采集体积中；
[0012]布置至少两个基于事件的光传感器，使得至少两个基于事件的光传感器的相应视场覆盖采集体积，其中每个基于事件的光传感器具有像素阵列；
[0013]依据由像素感测到的来自至少一个标记的入射光的变化，从至少两个基于事件的光传感器的像素异步地接收事件；以及
[0014]处理事件以在采集体积内定位至少一个标记并且捕获物体的运动。
[0015]在实施例中，处理事件可以包括：
[0016]基于对所述事件之间的时序重合的检测，确定从至少两个基于事件的光传感器的相应像素接收的事件涉及共同标记；以及
[0017]基于相应像素的2D像素坐标确定共同标记的位置，从中接收其间检测到时序重合的事件。
[0018]具体来说，可以在时间差小于1毫秒的事件之间检测时序重合。
[0019]另外，所述方法可以进一步包括将采集体积中的3D坐标映射到每一个基于事件的光传感器中的2D像素坐标，其中确定共同标记的位置包括获取被映射到相应像素的2D像素坐标的共同标记的3D坐标，从中接收其间检测到时序重合的事件。
[0020]在另一实施例中，至少一个标记包括适合于发射光的有源标记。作为实例，有源标记可以以预设的闪烁频率或伪随机闪烁模式发射闪烁光。
[0021]或者，至少一个标记包括无源反射器，并且所述方法进一步包括用外部光照射采集体积，使得无源反射器适用于从例如红外光的外部光反射光。
[0022]此外，所述至少一个标记可以被配置成发射或反射具有波长特性的光，并且至少两个基于事件的光传感器配备有滤光器以滤出不具有波长特性的光。
[0023]在实施例中，至少两个基于事件的光传感器固定到共同刚性结构，例如刚性框架，所述刚性结构可以遵循移动物体的移动路径移动，以防止物体逸出相机的视场。
[0024]还提供一种运动捕获系统，其包括：
[0025]由采集体积中的物体携载的至少一个标记；
[0026]至少两个基于事件的光传感器，其具有覆盖采集体积的相应视场，其中每个基于事件的光传感器具有像素阵列，所述像素阵列被配置成依据由像素感测到的来自至少一个标记的入射光的变化而异步地生成事件；以及
[0027]计算装置，其耦合到至少两个基于事件的光传感器以处理事件，以在采集体积内定位至少一个标记并且捕获物体的运动。
[0028]上述方法和系统显著地提高定位测量的时延和时间分辨率，允许以微秒和毫米级的精度进行更高保真的移动捕获，同时极大地减少所需的计算能力。这使得根据本专利技术的运动捕获系统更加灵活并且适合于更多应用，例如增强现实(AR)或虚拟现实(VR)以及用于运动分析、电影和视频游戏的运动捕获。
附图说明
[0029]参考附图，将在下文的描述中显现本专利技术的其它特征和优点，其中：
[0030]图1说明根据本专利技术的系统的总体设置；
[0031]图2是适合于实施本专利技术的基于事件的光传感器的框图；
[0032]图3是根据本专利技术的说明性方法的流程图；
[0033]图4a到4f说明检测和跟踪2D坐标中的标记的实例；以及
[0034]图5a到5e说明检测和跟踪3D坐标中的标记的另一实例。
具体实施方式
[0035]图1说明本专利技术的运动捕获系统的总体设置。
[0036]所述系统包括至少两个基于事件的光传感器51、52，所述基于事件的光传感器可以分别依据基于事件的光传感器观察的场景中的光的变化而生成事件。
[0037]在所说明的实施例中，基于事件的光传感器51、52在地面上方的高度h处附接到共同刚性结构，例如刚性框架8，并且它们观察到具有在采集体积1中部分地重叠的视场61、62的场景，所述采集体积适合于包含可以由基于事件的光传感器51、52观察和感测的物体3。具体来说，视场61、62重叠，使得可以同时在两个基于事件的光传感器中观察到物体。换句话说，一旦设置基于事件的光传感器51、52，所述基于事件的光传感器就围绕采集体积的外周布置，其中所述基于事件的光传感器的视场61、62覆盖物体3所在的采集体积1。
[0038]物体3可以是人、其它移动物体或其位置、姿势和定向将被检测和跟踪的多个人。物体3携载至少一个标记4。通常，多个标记固定在物体3的表面上。物体3位于采集体积1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于捕获物体的运动的方法，所述方法包括：将至少一个标记安装在物体上；将安装有所述至少一个标记的所述物体带入采集体积中；布置至少两个基于事件的光传感器，使得所述至少两个基于事件的光传感器的相应视场覆盖所述采集体积，其中每个基于事件的光传感器具有像素阵列；依据由像素感测到的来自所述至少一个标记的入射光的变化，从所述至少两个基于事件的光传感器的像素异步地接收事件；以及处理事件以在所述采集体积内定位所述至少一个标记并且捕获所述物体的运动，其中处理事件包括：基于对所述事件之间的时序重合的检测，确定从所述至少两个基于事件的光传感器的相应像素接收的事件涉及共同标记；以及基于相应像素的2D像素坐标确定所述共同标记的位置，从中接收其间检测到时序重合的事件，其中时序重合在时间差小于1毫秒的事件之间检测。2.根据权利要求1中任一项所述的方法，其进一步包括将所述采集体积中的3D坐标映射到每个基于事件的光传感器中的2D像素坐标，其中确定所述共同标记的位置包括获取被映射到相应像素的2D像素坐标的所述共同标记的3D坐标，从中接收其间检测到时序重合的事件。3.根据前述权利要求中任一项所述的方法，其特征在于，所述至少一个标记包括适合于发射光，优选地红外光的有源标记。4.根据权利要求3所述的方法，其特征在于，所述至少一个标记被配置成以闪烁频率或伪随机闪烁模式发射闪烁光。5.根据权利要求1中任一项所述的方法，其特征在于，所述至少一个标记包括无源反射器，所述方法进一步包括用外部光照射所述采集体积。6.根据权利要求5所述的方法，其特征在于，所述外部光是红外光。7.根据前述权利要求中任一项所述的方法，其特征在于，所述至少一个标记被配置成发射或反射具有波...

【专利技术属性】
技术研发人员：尼库拉斯，
申请(专利权)人：普罗费塞公司，
类型：发明
国别省市：