实时精确观测和分析乒乓球旋转系统与系统运行方法技术方案

一种实时精确观测和分析乒乓球旋转的视觉系统及系统运行方法，系统包括如下组成模块：图像采集和乒乓球目标识别定位模块、乒乓球空间运动KALMAN滤波器模块、云台运动规划和控制模块、乒乓球标志识别和三维重构模块、乒乓球旋转运动粒子滤波模块、三维虚拟场景重现模块；本发明专利技术的最大特点在于能实时对乒乓球的旋转信息进行观测和分析，在乒乓球空间运动的基础上得到其转动状态，从而可以得到更丰富和完整的乒乓球轨迹信息，并且仍具有极高的实时性，能为运动员训练教导、比赛实时裁判和直播、在线决策自动化系统的及时反映提供更丰富准确的信息。由于引入了对目标自身内部运动的观测分析，可以有效提高对目标运动状态估计和预测的精确性，从而可以更科学地推广到其它运行项目及民用、军工等类似场景。

【技术实现步骤摘要】

本专利技术涉及一种对乒乓球旋转运动的观测和分析系统，用于在乒乓球比赛和训练中对乒乓球的飞行状态，主要是其旋转情况的实时检测及分析，从而可以获取更为完整的乒乓球飞行轨迹信息，为分析球员的打球风格、伺服乒乓球机器人灵活打球奠定更好的基础。
技术介绍
近年来，视觉辅助系统在体育赛事中已有越来越多的应用，如网球转播中的“鹰眼”系统等。在乒乓球运动中，200910095291. 6专利申请公开了精确测量和预测乒乓球轨迹系统与系统运行方法，可以精确测量、预测和三维虚拟重现高速飞行乒乓球轨迹的实时处理系统；在此基础上，201010152129. 6专利申请公开了乒乓球比赛视觉支持和比赛分析系统与系统运行方法，对比赛过程中的乒乓球运动轨迹进行分析，可以为电视转播提供更丰富的比赛统计数据信息，也可以为运动员和教练提供比赛选手的特征数据分析。这两个专利涉及的系统解决了实时乒乓球轨迹数据的采集和统计信息问题。但对于乒乓球运动项目来说，乒乓球的旋转运动是使其具备灵活性、挑战性和观赏性的关键因素，能打出高水平的旋转球及能正确判断对手来球的旋转状态也是一个高水平运动员的必备素质。根据国内外体育专家研究，专业的乒乓球运动员打出的旋转球转速可达50转/秒以上，在如此高的转速下，人的肉眼无法通过观测乒乓球获知旋转状态，只能通过对手的击球动作和经验进行估计。而通过高速摄像机，则可以实时捕捉到相邻图像帧之间乒乓球的细小运动变化，从而实时推导和分析出其运动状态。利用高速摄像机观测乒乓球的旋转，其中的关键问题在于图像如何既要覆盖到整个乒乓球场地去得到乒乓球的完整运动轨迹，又要清晰地观测到乒乓球的局部细节(如球标)从而观测计算旋转。在摄像机分辨率有限的约束下，只用一套视觉系统无法满足其需求，需要结合全局观测和局部观测的双重数据才能还原物体运动的真实完整信息。
技术实现思路
本专利技术的目的是针对200910095291. 6专利存在问题的改进，提出一个完善可行的实时精确观测和分析乒乓球旋转的视觉系统及系统运行方法。用于在乒乓球比赛或训练中对乒乓球运动的旋转状态进行实时观测和分析，并对乒乓球的运动轨迹和三维姿态进行三维虚拟场景实时显示和历史记录回放。为达到上述专利技术目的，本专利技术提出了一种长短焦相机结合，全局视觉和局部视觉结合的视觉系统理念，利用200910095291. 6专利中所描述的短焦全局视觉系统观测乒乓球的空间位置，驱动电机云台控制长焦摄像机跟踪乒乓球局部图像，利用局部图像对乒乓球的标识(球标)进行识别和三维还原，得到连续的乒乓球三维姿态变化序列，从而分析出乒乓球的旋转状态。应用摄像机采图和数据处理结果存储，能够对乒乓球运动进行实时跟踪和轨迹记录，实现上述的多重功能。本专利技术的具体技术方案如下 本专利技术是一种实时精确观测和分析乒乓球旋转系统，包括至少两个以上的短焦摄像机、至少一个以上的长焦摄像机、两自由度以上的运动云台、控制多摄像机同步进行采图的同步装置，图像数据采集传输装置、包含有视觉软件运行的系统环境的主控计算机和外接显示屏，所述的短焦摄像机固定在乒乓球桌上空，视野交叉覆盖乒乓球运动的有效区域，进行图像采集；长焦摄像机固定在乒乓球桌上空的运动云台上，通过控制云台的运动使其视野跟踪运动中的乒乓球得到局部细节图像；同步装置产生多路周期脉冲信号，通过控制线连接摄像机，控制多摄像机进行同步采图；摄像机通过数据线与图像数据采集卡相连；数据采集卡通过主控机的总线，将采集到的数据传送到图像数据采集传输装置的处理器进行处理；处理结果输出到主控机的外接显示屏上进行显示，由短焦摄像机组成的全局视觉系统得到乒乓球在以球桌为参考的世界坐标系下的全局坐标运动轨迹，驱动云台跟踪乒乓球得到乒乓球的局部细节图像，根据局部细节图像获取乒乓球的三维空间姿态信息，从而分析得到乒乓球的旋转运动状态，结合全局运动轨迹和乒乓球自身的旋转运动信息得到乒乓球完整的运动信息。本专利技术所述的系统包括如下组成模块图像采集和乒乓球目标识别定位模块、乒乓球空间运动KALMAN滤波器模块、云台运动规划和控制模块、乒乓球标志识别和三维重构模块、乒乓球旋转运动粒子滤波模块、三维虚拟场景重现模块；系统架构流程是主控机上图像采集和乒乓球目标识别定位模块，经过目标识别，空间定位，把实时生成的数据送入KALMAN滤波器模块进行滤波，得到乒乓球的当前空间位置和速度等运动状态信息；云台运动规划和控制模块根据乒乓球的实时运动信息控制云台电机转动，使固定其上的摄像机可以跟踪拍摄乒乓球的局部图像，通过乒乓球标志识别和三维重构模块得到乒乓球的三维空间姿态信息，经由乒乓球旋转运动粒子滤波模块计算得到乒乓球的实时旋转情况，最后将乒乓球的空间位置和三维姿态轨迹实时送入三维虚拟场景重现模块进行三维虚拟场景绘制。本专利技术所述的系统将乒乓球的运动状态分为全局空间位置运动和自身旋转运动，在乒乓球的运动过程中对两种运动进行分别观测和分析，再对分析结果进行数据融合，得到兵兵球的完整运动信息。本专利技术所述的系统的具体步骤如下 (1)搭建硬件系统，半自动标定各摄像机内外参数； (2)学习乒乓球空间运动模型和旋转运动模型参数，并在线修正； (3)视觉采集乒乓球空间运动轨迹，并用Kalman滤波得到其空间运动状态； (4)控制云台跟踪乒乓球运动，并根据电机运动情况计算其上摄像机的位姿参数； (5)通过云台相机获取乒乓球的局部图像，识别商标特征并结合摄像机参数对乒乓球进行三维姿态还原； (6)用粒子滤波算法得到乒乓球的旋转运动状态； (7)将处理结果数据实时输入三维虚拟场景重现模块，在外接的显示屏中实时播放或回放乒乓球的三维空间姿态轨迹。本专利技术的最大特点在于能实时对乒乓球的旋转信息进行观测和分析，在乒乓球空间运动的基础上得到其转动状态，从而可以得到更丰富和完整的乒乓球轨迹信息，并且仍具有极高的实时性，能为运动员训练教导、比赛实时裁判和直播、在线决策自动化系统的及时反映提供更丰富准确的信息。由于引入了对目标自身内部运动的观测分析，可以有效提高对目标运动状态估计和预测的精确性，从而可以更科学地推广到其它运行项目及民用、军工等类似场景。本专利技术具有的有益效果如下 (1)提出了一种可以精确观测和分析乒乓球旋转的系统与方法，在提供乒乓球空间运动的同时，还实时给出了其自身旋转运行的观测和分析，可快速地为用户或自动化系统提供更为精确的高速运动中乒乓球未来时刻飞行轨迹预测结果； (2)本专利技术中的方法和系统还可以应用于乒乓球运动员的训练指导、击球效果评估，以及乒乓球比赛的自动裁判和现场直播中。 因此，本专利技术是一种非常实用、有效的高速乒乓球旋转实时观测和分析系统，具有很好的应用前景。附图说明图1系统硬件结构框 图2系统架构流程 图3云台三维示意 图4云台相机坐标系及云台转动示意 图5云台电机运动角度计算示意 图6 z 台相机目标跟踪效果 图7乒乓球三维空间姿态还原计算示意 图8乒乓球旋转状态估计示意 图9乒乓球三维空间姿态的虚拟场景显示。图1中，I是短焦摄像机，2是长焦摄像机，3是运动云台，4是同步装置，5是图像数据采集传输装置，6是主控计算机，7是视觉软件运行的系统环境，8是主控机的外接显示屏。具体实施例方式本专利技术提供的实时精确观测和分本文档来自技高网...

【技术保护点】
一种实时精确观测和分析乒乓球旋转系统，包括至少两个以上的短焦摄像机、至少一个以上的长焦摄像机、两自由度以上的运动云台、控制多摄像机同步进行采图的同步装置，图像数据采集传输装置、包含有视觉软件运行的系统环境的主控计算机和外接显示屏，所述的短焦摄像机固定在乒乓球桌上空，视野交叉覆盖乒乓球运动的有效区域，进行图像采集；所述的长焦摄像机固定在乒乓球桌上空的运动云台上，通过控制云台的运动使其视野跟踪运动中的乒乓球得到局部细节图像；所述的同步装置产生多路周期脉冲信号，通过控制线连接摄像机，控制多摄像机进行同步采图；所述的摄像机通过数据线与图像数据采集卡相连；所述的数据采集卡通过主控机的总线，将采集到的数据传送到图像数据采集传输装置的处理器进行处理；处理结果输出到主控机的外接显示屏上进行显示，其特征在于，由短焦摄像机组成的全局视觉系统得到乒乓球在以球桌为参考的世界坐标系下的全局坐标运动轨迹，驱动云台跟踪乒乓球得到乒乓球的局部细节图像，根据局部细节图像获取乒乓球的三维空间姿态信息，从而分析得到乒乓球的旋转运动状态，结合全局运动轨迹和乒乓球自身的旋转运动信息得到乒乓球完整的运动信息。

【技术特征摘要】
1.一种实时精确观测和分析乒乓球旋转系统，包括至少两个以上的短焦摄像机、至少一个以上的长焦摄像机、两自由度以上的运动云台、控制多摄像机同步进行采图的同步装置，图像数据采集传输装置、包含有视觉软件运行的系统环境的主控计算机和外接显示屏，所述的短焦摄像机固定在乒乓球桌上空，视野交叉覆盖乒乓球运动的有效区域，进行图像采集；所述的长焦摄像机固定在乒乓球桌上空的运动云台上，通过控制云台的运动使其视野跟踪运动中的乒乓球得到局部细节图像；所述的同步装置产生多路周期脉冲信号，通过控制线连接摄像机，控制多摄像机进行同步采图；所述的摄像机通过数据线与图像数据采集卡相连；所述的数据采集卡通过主控机的总线，将采集到的数据传送到图像数据采集传输装置的处理器进行处理；处理结果输出到主控机的外接显示屏上进行显示，其特征在于，由短焦摄像机组成的全局视觉系统得到乒乓球在以球桌为参考的世界坐标系下的全局坐标运动轨迹，驱动云台跟踪乒乓球得到乒乓球的局部细节图像，根据局部细节图像获取乒乓球的三维空间姿态信息，从而分析得到乒乓球的旋转运动状态，结合全局运动轨迹和乒乓球自身的旋转运动信息得到乒乓球完整的运动信息。2.根据权利要求1所述的实时精确观测和分析乒乓球旋转系统，其特征在于，包括如下组成模块图像采集和乒乓球目标识别定位模块、乒乓球空间运动KALMAN滤波器模块、云台运动规划和控制模块、乒乓球标志识别和三维重构模块、乒乓球旋转运动粒子滤波模块、三维虚拟场景重现模块；所述系统架构流程是主控机上...

【专利技术属性】
技术研发人员：章逸丰，赵永生，熊蓉，褚健，
申请(专利权)人：浙江大学，
类型：发明
国别省市：