一种三维人体动态形体和三维运动光流快速重建方法技术

本发明专利技术公开了一种三维人体动态形体重建方法，包括步骤：1、对t时刻图像由背景相减得到人体轮廓图像；2、扫描三维立体空间内的所有体块，通过投影查找表，检测各体块中心点是否为三维形体上的点；3、去除三维形体内部的三维空间点；4、对形体表皮点由对应的可视摄像机图像的二维像素点颜色平均值作颜色渲染，最终得到t时刻带颜色的三维人体形体。本发明专利技术还公开了一种三维运动光流重建方法，包括步骤：1、对各个体块中心点预先计算Jocobian光流查找表；2、计算三维光流；3、去除噪声引起的噪声光流，获得整个形体的三维运动光流。本发明专利技术的三维人体动态形体和三维运动光流快速重建方法均具有方便快捷、精度高、易于实现的优点。

【技术实现步骤摘要】
一种三维人体动态形体和三维运动光流快速重建方法
本专利技术涉及图像信息学科学领域，特别涉及一种三维人体动态形体和三维运动光流快速重建方法。
技术介绍
人体运动数据在动画、电影、体育、医疗等应用领域需求广泛。例如，在动画领域，仅依赖手工绘画角色的关键运动帧往往费时耗力且逼真度不高，采用精确的骨架运动数据去驱动角色运动的方法则准确且方便；在体育方面，运动员的运动姿态、关节角度等数据是往往是进行训练和相关分析的重要信息；在医疗领域，人体运动数据也有重要的应用，例如有些疾病的治疗需要观察检测病人的行走姿势、骨骼形变等。动作捕捉是当前获取人体运动数据的主要技术。动作捕捉设备主要分为三类，第一类是光学传感捕捉设备，即通过摄像捕获到穿戴设备上的标志点的运动轨迹，然后分析计算出人体的关节运动数据；第二类是机械捕捉设备，其通过直接测量人体关节角度等数据，一般需要被测量者穿戴上类似于骨架结构的机械测量设备；第三类是电磁传感捕捉设备，即采用电磁传感器测量和计算人体关节角度等数据，也需要穿戴特制的电磁传输和接收设备或标志。上述动作捕捉设备都需要人体对象穿戴上复杂的传感标志设备，这有时候会对人体对象的运动产生限制或影响；并且这些设备需要昂贵的配套计算和分析设备，设备总体价格非常昂贵。这是很多有动作捕捉需求的一般用户无法承受的。这促使人们寻找更加便宜而方便的动作捕捉技术。人体动态形体和三维光流运动信息都是与人体运动密切相关的，如果能够获得人体的三维人体形体和三维运动光流数据则为恢复三维人体骨架运动数据创造了条件。人体三维扫描设备可以获得较高精度的三维形体数据，但是不能够实时获取动态的三维形体信息；Kinect等当前依赖深度摄像传感设备的动作跟踪技术可以实时获取人体骨架运动数据，但只能够恢复出2.5维度的形体深度信息，同时也无法获得人体的三维光流信息；基于多摄像机的三维重建技术例如stereo等方法可以对三维动态形体进行重建，但是往往较为耗时，且不容易控制重建精度，也无法得到三维光流等与人体运动密切相关的运动信息。。
技术实现思路
本专利技术的目的是针对上述已有技术的不足，提出一种并行度高、计算量少、简单快速的三维人体动态形体和三维运动光流快速重建方法。本专利技术的技术方案是：一种三维人体动态形体重建方法，包括以下步骤：S01、选择一个三维立体空间，在三维立体空间内布置有对三维立体空间成像的图像采集组件，并建立三维立体空间内各个三维立体空间点到图像采集组件的投影查找表，并将三维立体空间沿着长、宽、高方向均划分r个体块，即将三维立体空间划分为r×r×r个体块；S02：通过图像采集组件对三维立体空间内的运动人体图像进行采集；S03：获取步骤S02中图像采集组件采集的当前帧图像中的人体轮廓；S04：通过查找投影查找表对三维立体空间内的三维立体空间点进行投影检测，保留可在所有轮廓投影成像的点，获得人体三维形体点云；S05：对各体块采用对应的二维像素颜色值进行颜色建模，最终得到彩色的三维人体形体。优选地，所述图像采集组件包括多台摄像机，多台摄像机分布在三维立体空间内并能在三维立体空间内完整成像。优选地，步骤S01中投影查找表的建立过程如下：设(Xi,Yi,Zi)为三维立体空间内的某一个三维空间点Pi，为Pi在其中一台摄像机k上的成像点，k表示第k个摄像机，它们之间满足投影关系：其中为此摄像机的通过标定得到的空间位姿和内部参数；将每个体块的中心点在各个摄像机的投影，按上述公式建立投影查找表，将三维立体空间内的任意体块中心所对应的三维空间点Pi对应至各摄像机上的二维成像点。优选地，步骤S03中，通过背景相减法获取步骤S02中图像采集组件采集的当前帧图像中的人体轮廓,其中背景相减法的具体过程为：设其中一台摄像机对应的背景为Bk，则人体轮廓区域其中为摄像机k在时刻t采集到的图像，D()为腐蚀膨胀像素处理操作；然后将每个像素点赋予在上相同的RGB颜色。优选地，步骤S05的具体过程为：在人体三维形体点云中寻找表皮点，以去除形体内部的三维点；对各表皮点采用对应的所有摄像机视图上的二维像素点的颜色值进行颜色建模，最终得到彩色的三维人体形体。本专利技术还公开了一种三维运动光流重建方法，包括以下步骤：S11、对图像采集组件采集到的每一帧图像按照如上所述的方法重建三维人体形体，得到三维人体动态形体数据{Vt|t＝1,…,T}，T表示采集的图像帧数目；S12、得到三维立体空间内的某一个三维空间点Pi，三维空间点Pi＝(Xi,Yi,Zi)，Pi在摄像机k上的成像点为则存在如下关系式：Jocobian矩阵由公式(1)计算得到；假定Cvis(pi)为对Pi可视的图像采集组件的集合，Ci为对Pi可视的图像采集组件的个数，则可以得到以下线性方程组：其中：S13：对图像采集组件上多个可见的表面形体点Pi，由公式(3)计算得到三维运动光流与现有技术相比，本专利技术所具有的有益效果为：本专利技术的三维人体动态形体和三维运动光流快速重建方法快速方便、精度高、易于实现。附图说明图1为多个摄像机安装及人体运动空间结构示意图；图2为三维形体重建方法步骤流程图；图3为三维运动光流重建步骤方法流程图；图4为三维人体形体重建结果示例图；图5为三维人体形体运动三维光流重建效果示例图。图6为图5中人体左小腿部分的光流细节放大图。具体实施方式以下结合附图对本专利技术的具体实施例进行详细描述，但不构成对本专利技术的限制。如图1～6所示，本实施例的三维人体动态形体重建方法，包括以下步骤：1、选定足够大小的房间搭建一个图像/视频采集系统，此系统包括图像采集组件，图像采集组件包括多台摄像机，如图1所示。搭建图像/视频采集系统的要求如下：1)人体运动限制在a×b×c大小的三维立体空间S内；本实施例取a＝b＝c＝3m；2)三维立体空间S四周布置单色背景，通过控制场景灯光使得场景光线明亮稳定，使得场景成像色彩和亮度自然均衡；3)摄像机数目C不少于9个，本实施例取C＝9；并且按合适的角度固定安装，使得各个摄像机都能够对三维立体空间S完整成像；4)摄像机同步拍摄，保证帧率>24fps；2、采用计算机视觉的像机标定方法对各个摄像机的空间位姿和内部参数进行标定；各个摄像机的空间位姿均相对于同一个空间坐标系；可单个摄像机各自标定，也可采用多摄像机同步标定方法。本实施例空间坐标系设定在三维立体空间体S对应的地面中心位置处，以垂直地面为Z坐标轴。单个人体对象在三维立体空间S中运动，通过标定的多台摄像机同步拍摄单个动态的人体对象，保证每台摄像机的画面覆盖人体轮廓；3、按一定的采样分辨率，建立三维立体空间S的各个空间点到多摄像机二维视图的投影查找表：假定(Xi,Yi,Zi)为在三维立体空间体S内的某三维空间点Pi，为Pi在摄像机k上的成像点，它们本文档来自技高网...

【技术保护点】
一种三维人体动态形体重建方法，其特征在于，包括以下步骤：S01、选择一个三维立体空间，在三维立体空间内布置有对三维立体空间成像的图像采集组件，并建立三维立体空间内各个三维空间点到图像采集组件的投影查找表，并将三维立体空间划分为r×r×r个体块；S02：通过图像采集组件对三维立体空间内的运动人体图像进行采集；S03：获取步骤S02中图像采集组件采集的当前帧图像中的人体轮廓；S04：通过查找投影查找表对三维立体空间内的三维空间点进行投影检测，保留在所有轮廓投影成像的点，获得人体三维形体点云；S05：对各体块采用对应的二维像素颜色值进行颜色建模，最终得到彩色的三维人体形体。

【技术特征摘要】
1.一种三维人体动态形体重建方法，其特征在于，包括以下步骤：S01、选择一个三维立体空间，在三维立体空间内布置有对三维立体空间成像的图像采集组件，并建立三维立体空间内各个三维空间点到图像采集组件的投影查找表，并将三维立体空间沿着长、宽、高方向均划分r个体块，即将三维立体空间划分为r×r×r个体块；所述投影查找表的建立过程如下：设(Xi,Yi,Zi)为三维立体空间内的某一个三维空间点为Pi在其中一台摄像机k上的成像点，k表示第k个摄像机，它们之间满足投影关系：其中为此摄像机k的通过标定得到的空间位姿和内部参数；将每个体块的中心点在各个摄像机的投影，按上述公式建立投影查找表，将三维立体空间内的任意体块中心所对应的三维空间点Pi对应至各摄像机上的二维成像点；S02：通过图像采集组件对三维立体空间内的运动人体图像进行采集；S03：获取步骤S02中图像采集组件采集的当前帧图像中的人体轮廓；S04：通过查找投影查找表对三维立体空间内的三维空间点进行投影检测，保留在所有轮廓投影成像的点，获得人体三维形体点云；S05：对各体块采用对应的二维像素颜色值进行颜色建模，最终得到彩色的三维人体形体。2.根据权利要求1所述的三维人体动态形体重建方法，其特征在于，所述图像采集组件包括多台摄像机，多台摄像机分布在三维立体空间内并能在三维立体空间内完整成像。3.根据权利要求1或2所述的三维人体动态形体重建方法，其特征在于，步骤S03中，通过背景相减法获取步骤S02中图像采集组件采集...

【专利技术属性】
技术研发人员：张政，刘煜，熊志辉，王炜，张茂军，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43