基于骨架的人肢体三维运动参数估计方法技术

一种基于骨架的人肢体三维运动参数估计方法。首先分别在人的上肢体、下肢体上各设置两个标记点，采用双目立体视觉系统拍摄得到人肢体摆姿势的图像序列，提取各个时刻左、右图像中这些标记点的图像平面二维坐标，然后每个标记点采用一个圆与标记点所在区域的肢体边缘轮廓相切，并且使标记点处在圆的直径上，每个圆的圆心为标记点对应的骨架点，再求出各个肢体两个骨架点的中点作为第三个骨架点，求出三个骨架点对应的空间三维坐标，最后根据各个时刻各个肢体骨架点的空间三维坐标建立人肢体运动方程，求解得到人肢体的运动参数。本发明专利技术降低了运动参数估计的复杂性和计算量，适合于各种弹性连接刚体的运动参数估计。

【技术实现步骤摘要】

本专利技术涉及一种，用于感知接口，运动分析等应用领域，在医学图像、生物医学、手势识别、材料变形、图像压缩等方面都有实际应用价值。属于计算机视觉和图像学领域。
技术介绍
运动分析领域的研究对象主要分为刚性物体、连接刚体和非刚性物体等。计算机视觉中的运动分析研究均主要集中在对刚体运动的研究，且学者们已取得了一系列的成果，并建立了较为完善的理论框架，但是，在现实世界中大多是非刚体运动。人体属于非刚体。在过去的十几年中，人体三维运动参数估计已经取得了一些成绩，浙江大学CAD&CG国家重点实验室孙雷等在文章“基于二维轮廓线的三维物体元球造型技术”中提出了下面一种近似中轴线的计算方法。该近似中轴线由一系列线段构成，首先，对简单多边形进行带约束的Delaunay三角化(CDT)，然后找到每个三角片的外心，根据三角片的连接关系将其连接起来，以获取一个由较少外心生成的骨架。但已有的工作都是根据较多图像数据信息进行人体运动参数估计，这些方法增加了运动参数估计的复杂性和计算量。在专利技术名称为“基于模型的人肢体三维运动参数估计方法”，申请号为200510026823.2的专利申请书中，针对现有人体三维运动参数估计的复杂性的不足，提出一种基于模型的人肢体三维运动参数估计方法，只要根据人肢体轮廓信息就能求出人肢体三维运动参数，降低运动参数估计的计算量，适合于各种弹性连接刚体的运动参数估计。这项专利是根据模型位置信息进行三维运动参数估计，而不是根据骨架位置信息进行三维运动参数估计。目前尚未有更为简便的根据骨架位置信息进行三维运动参数估计的方法报道。
技术实现思路
本专利技术的目的在于针对现有技术中需要较多图像数据信息进行人体运动参数估计的不足，提出一种，每个人肢体上只需要贴上两个标记点就能求出人肢体三维运动参数，降低了运动参数估计的计算量，适合于各种弹性连接刚体的运动参数估计。为实现这样的目的，本专利技术的技术方案中，提取人肢体标记点三维坐标，根据人肢体标记点三维坐标和人肢体三维运动方程进行人肢体三维运动参数估计。首先分别在人的上肢体、下肢体上各设置两个标记点，采用双目立体视觉系统拍摄得到人肢体摆姿势的图像序列，提取各个时刻左、右图像中这些标记点的图像平面二维坐标。然后每个标记点采用一个圆与标记点所在区域的肢体边缘轮廓相切，并且使标记点处在圆的直径上，每个圆的圆心为标记点对应的骨架点，再求出各个肢体两个骨架点连线的中点作为第三个骨架点，求出三个骨架点对应的空间三维坐标。最后根据各个时刻各个肢体骨架点的空间三维坐标建立人肢体运动方程，求解得到人肢体的运动参数。本专利技术的方法具体包括以下几个步骤1.从图像中提取、匹配标记点，求出标记点对应的空间三维坐标。分别在人的上肢体、下肢体上各设置两个标记点，采用双目立体视觉系统拍摄得到人肢体摆姿势的图像序列，提取各个时刻左、右图像中这些标记点的图像平面二维坐标，并得出左侧摄像机图像与右侧摄像机图像上标记点之间的对应关系。因每个肢体只需要两个特征点就能求出骨架的运动参数，本专利技术方法在人肢体皮肤上贴了四个纸标记点，其中两个在上肢体、两个在下肢体。2.提取人肢体骨架点位置信息。针对各个时刻左、右图像中各个肢体的两个标记点，每个标记点采用一个圆与标记点所在区域的肢体边缘轮廓相切，并且使标记点处在圆的直径上，分别求得两个圆的圆心，即为与两个标记点对应的两个骨架点，再求出两个骨架点连线的中点作为第三个骨架点。3.求出各个时刻左右图像二维骨架点坐标对应的空间三维骨架点坐标。通过摄像机标定技术求出左、右摄像机图像上平面二维坐标与世界坐标系空间三维坐标的对应关系，由得到的各个时刻左、右图像上各个肢体三个骨架点的二维坐标，并根据左侧摄像机图像与右侧摄像机图像上标记点之间的对应关系，求出对应的骨架点空间三维坐标。4.求出各个时刻骨架的运动参数。根据各个时刻各个肢体骨架点的空间三维坐标建立人肢体运动方程，求解得到旋转矩阵和平移矩阵，即得到反映人肢体运动的各个骨架各个时刻的运动参数。本专利技术方法简单，实现容易。只需要两个标记点并根据人肢体运动方程就可以求出人肢体在各个时刻的运动参数，减少了运动参数估计的复杂性和计算量。本专利技术方法适合于各种弹性连接刚体的运动参数估计。实验采用便宜、容易安装的视频摄像头来采集数据，不需要附加设备，代表人肢体运动方程求解算法简单，大大降低了运动分析的计算复杂性。附图说明图1为本专利技术采用的基于标记点的骨架点的提取。图1中，A，B为贴在人手臂皮肤上的两个标记点，C，D，E为根据两个标记点A，B确定的三个骨架点。图2为人体骨架模型表达。图2中，a是整个人体骨架模型，b是人体右手臂骨架模型。图3为本专利技术拍摄的图像序列和求出的三维骨架模型表达。图3中，第一行是左侧摄像机拍摄的图像序列，第二行是与第一行图像对应的三维骨架模型表达。具体实施例方式为了更好地理解本专利技术的技术方案，以下结合附图和实施例作进一步的详细描述。1.从图像中提取、匹配标记点，求出标记点对应的空间三维坐标。因每个肢体只需要两个特征点就能求出骨架的运动参数，所以在人肢体皮肤上贴了四个纸标记点，其中两个在上肢体、两个在下肢体，各个肢体上两个标记点设为A、B。采用双目立体视觉系统拍摄得到人肢体摆姿势的左、右图像序列，提取各个时刻左、右图像中这些标记点的图像平面二维坐标，并得出左侧摄像机图像与右侧摄像机图像上标记点之间的对应关系。2.提取人肢体骨架点位置信息。针对各个时刻左、右图像中各个肢体的两个标记点，每个标记点采用一个圆与标记点所在区域的肢体边缘轮廓相切，并且使标记点处在圆的直径上，分别求得两个圆的圆心，即为与两个标记点对应的两个骨架点，再求出两个骨架点连线的中点作为第三个骨架点。实施例具体针对第一时刻左侧摄像机拍摄的图像(如图1所示)进行人上肢体运动参数估计过程的描述。根据这个时刻左图像中上肢体两个标记点A、B的二维坐标，每个标记点采用一个圆与标记点所在区域的肢体边缘轮廓相切，并且使标记点A、B处在圆的直径上，分别求得两个圆的圆心，即为与两个标记点A、B对应的两个骨架点C、D，再求出两个骨架点C、D连线的中点E作为第三个骨架点。同样下肢体也可得到三个骨架点及其图像平面二维坐标。右侧摄像机图像上各个肢体的三个骨架点，以及各个时刻左、右图像上各个肢体的三个骨架点均采用同样的方法得到。3.求出各个时刻左、右图像二维骨架点对应的空间三维骨架点。通过摄像机标定技术求出左、右摄像机图像上平面二维坐标与世界坐标系空间三维坐标的对应关系，根据左侧摄像机图像与右侧摄像机图像上标记点之间的对应关系，可得到左图像上各个肢体三个骨架点C、D、E与右图像上各个肢体三个骨架点的对应关系，并由左、右图像上各个肢体三个骨架点的二维坐标求出对应的各个肢体空间骨架点Cw、Dw、Ew的三维坐标。各个时刻各个肢体骨架点的空间三维坐标采用同样的方法求得，如图3所示，图3中，第一行是左侧摄像机拍摄的图像序列，第二行是与第一行图像对应的三维骨架模型表达。4.求出各个时刻各个肢体骨架的运动参数。根据各个时刻各个肢体骨架点空间三维坐标建立人肢体运动方程，并根据方程可求出各个肢体骨架各个时刻的运动参数，运动参数包括了旋转矩阵和平移矩阵。人肢体运动方程为{xCw&prime本文档来自技高网...

【技术保护点】
一种基于骨架的人肢体三维运动参数估计方法，其特征在于包括如下具体步骤：１）分别在人的上肢体、下肢体上各设置两个标记点，采用双目立体视觉系统拍摄得到人肢体摆姿势的图像序列，提取各个时刻左、右图像中这些标记点的图像平面二维坐标，并得出左 侧摄像机图像与右侧摄像机图像上标记点之间的对应关系；２）针对各个时刻左、右图像中各个肢体的两个标记点，每个标记点采用一个圆与标记点所在区域的肢体边缘轮廓相切，并且使标记点处在圆的直径上，分别求得两个圆的圆心，即为与两个标记点对应的两 个骨架点，再求出两个骨架点连线的中点作为第三个骨架点；３）通过摄像机标定技术求出左、右摄像机图像上平面二维坐标与世界坐标系空间三维坐标的对应关系，由得到的各个时刻左、右图像上各个肢体三个骨架点的二维坐标，并根据左侧摄像机图像与右侧摄 像机图像上标记点之间的对应关系，求出对应的骨架点空间三维坐标；４）根据各个时刻各个肢体骨架点的空间三维坐标建立人肢体运动方程，求解得到旋转矩阵和平移矩阵，即得到反映人肢体运动的各个骨架各个时刻的运动参数。

【技术特征摘要】

【专利技术属性】
技术研发人员：潘海朗，刘允才，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]