一种基于关节点变换的手势交互方法技术

本发明专利技术属于三维手势交互方法技术领域，具体涉及一种基于关节点变换的手势交互方法。本发明专利技术主要解决了现有三维手势交互方法存在所使用的设备昂贵和所得到的人手模型真实性差的技术问题。本发明专利技术利用采集点云数据时Kinect相机同步得到的彩色图像中的信息对三维点云进行处理，该方案中重建时采用基于测地线距离的基函数构造方法，曲面表示函数是一种高阶可导的参数形式，能够保证人手的拓扑性质和表面的光滑性；同时，采用三维点云和二维图像之间的跨维匹配方法能过有效的提取出关节点，相对于传统的图像与图像之间的匹配后在重建三维关节点的方法。本方案中的方法具有更精确、提取速度快、计算量少的特点。

【技术实现步骤摘要】

本专利技术属于三维手势交互方法
，具体涉及一种基于关节点变换的手势交 互方法。
技术介绍
在虚拟现实技术刚开始的发展阶段，人机交互的操作工具只有像键盘、鼠标、操纵 杆等一些简单的外部设备，在交互过程中使用这些工具会大大减少操作者的沉浸感，不能 实现操作者用双手在虚拟世界和真实世界之间实现随意交流的目的。随着虚拟现实技术的 迅速发展，鼠标、键盘这种简单的交互工具和传统的交互界面已然不能满足高级人机交互 的要求，这时以手势、立体显示为代表的三维新型人机交互形式应运而生。人手作为仅次于 语言的交流方式，有着不可或缺的作用。人们在无法进行语言传输的环境下，通过简单的手 势可以表达和理解彼此的意图，从而完成交流和协作。 目前，从手势交互输入技术的研究方向来看，手势交互技术可以分为两种输入方 式：一种是基于数据手套的手势交互，一种是基于视觉的手势交互。 其中，基于数据手套的手势交互需要实验者用一种专用的硬件设备进行输入，即 数据手套。这种设备通过直接测量手指的弯曲角度和手的空间位置、方位来实现对手势的 输入。它的优点是：采集到的手势参数信息较全面并且数据量较小，采样的速度高，能直接 获得手势在空间中的三维位置信息和手指的运动信息，能识别的手势种类多，且能对手势 进行实时地识别。但其缺点是：为了适应不同的用户，每次使用都要进行校准；由于设备与 手直接接触，佩戴之后对手的运动具有一定的束缚，对手的感知也有一定程度的影响。而且 价格较为昂贵，不适合普通学者做研究。 基于视觉的手势交互则是直接以摄像机作为输入设备，通过使用摄像机捕获手势 图像，再利用计算机立体视觉技术对捕获的图像进行处理分析，从中提取出手势图像中的 特征，对手势进行三维重建，计算出手势运动特征，从而实现手势的输入。这种输入方式的 优点是：使人机间的通讯将不再受中间媒体的束缚，用户可以灵活自如地和虚拟环境进行 交互；同前者相比，基于视觉的手势交互更加自然、简洁、直接，手势定义也更加丰富。但是 由于手势本身具有多样性、多义性以及时间和空间上的差异性等特点，加之人手是复杂变 形体及视觉本身的不适定性和计算机视觉技术的不成熟，这种输入方式也存在一些不足之 处：（1)图像处理过程中，为了把手势区域从背景中提取出来，拍摄手势图像前，需要将背 景进行单一化处理，或者让用户戴上特殊颜色的手套以区分背景。（2)提取手势参数时，需 要处理的数据量比较大，不容易实现实时性。（3)虽然不用佩戴设备较多的数据手套，减少 了对人手运动的束缚，但摄像机不能跟随用户手部的运动而运动，从本质上讲，用户手部活 动的范围仍然是有限的。（4)难以跟踪手指的运动，因为手指之间、手指和手掌之间存在遮 挡。
技术实现思路
本专利技术的目的是解决现有三维手势交互方法存在所使用的设备昂贵和所得到的 人手模型真实性差的技术问题，提供 为解决上述技术问题，本专利技术采用的技术方案为： -种基于关节点变换的手势交互方法，其包括以下步骤： 1)将Kinect相机放置在旋转平台上，通过旋转平台旋转同时采集三维人手在多 个视角下的彩色图像与深度图信息，并由深度图信息得到三维人手在多个视角下的三维点 云数据； 2)将多个视角下的人手三维点云数据利用配准算法得到三维人手初始的三维点 云数据； 3)对三维人手初始的三维点云数据进行去噪、修补和精简处理得到三维人手完整 的三维点云数据； 4)根据人手的形状特性，对三维人手完整的三维点云数据进行分块，然后对每个 分块按照以下方式进行重建：构造基网格逼近点云一同胚映射到符合视觉认知的微分流形 -网格参数化一构建网格基函数一曲面绘制，得到各个分块重建后的模型，最后利用过渡 映射将各个重建后的模型拼接起来，构成完整的三维人手模型； 5)对三维人手的一个视角下的彩色图像和三维点云数据进行特征提取，得到彩色 图特征点和手势关节点的二维投影的屏幕坐标，将彩色图特征点和手势关节点的二维投影 的屏幕坐标与该视角下的三维点云数据匹配反求出匹配矩阵，采用该视角下的三维点云数 据和该视角下的彩色图像之间的特征匹配的方法，以指尖坐标为基数据通过反求出匹配矩 阵计算出所有关节点的三维坐标； 6)根据关节点的三维坐标信息，在腕关节处建立直角坐标系，然后在符合人手运 动规律的情况下，通过手势关节点的变换变换出多种式样的三维手势； 7)根据变换后的三维手势的形状特性，基于视觉认知采集形似的真实手势，采用 基于凸包面积的方法对变换后的三维手势进行手势特征识别以辨别三维手势变换是否成 功； 8)对变换成功的每一种三维手势赋予相应的定义，建立三维手势数据库，再利用 Kinect相机采集符合人际交流习惯的手势，与数据库中的手势进行匹配识别，实现符合手 势定义的交互操作。 本专利技术采用以上技术方案，利用采集点云数据时Kinect相机同步得到的彩色图 像中的信息对三维点云进行处理，该方案中重建时采用基于测地线距离的基函数构造方 法，曲面表示函数是一种高阶可导的参数形式，能够保证人手的拓扑性质和表面的光滑性； 同时，采用三维点云数据和彩色图像之间的跨维匹配方法能够有效的提取出三维人手关节 点，相对于传统的图像与图像之间的匹配后在重建三维关节点的方法，本专利技术具有精确、提 取速度快、计算量少的特点；最后在手势识别中，采用基于形似的方法，采集各种各样的手 势进行手势识别，有效验证了手势的多样性，识别效果可观。因此，与
技术介绍
相比，本专利技术 具有方法简单、精确、提取速度快、计算量少和所得到的人手模型真实性强的优点。 为表明本专利技术具有以上优点，分别利用了网格细分法、样条函数法以及本专利技术所 述处理方法对同一三维人手整体点云数据进行重建，其中，图3、图4和图5分别是网格细 分法、样条函数法和本专利技术所述处理方法对同一三维人手整体点云数据重建处理后的效果 图；图6、图7分别表示提取的关节点和其中一种变换后的关节点；表1为本专利技术手势识别 效果分析。 从图3和图4可以看出，虽然对点云数据进行了重建处理，在物体外形变化比较明 显的地方也达到和比较不错的效果，但是人手表面上的光滑性不够，对以后手势纹理的贴 图有影响。 表1手势识别的误差 从表1可以看出，通过本专利技术变换的手势在误差允许范围内是符合手势表征的。【附图说明】 图1是利用本专利技术采集到的三维人手某一视角下的三维点云数据； 图2是利用本专利技术得到三维人手完整的三维点云数据； 图3是利用网格细分法对三维人手完整的点云数据重建后的效果图； 图4是利用样条函数法对三维人手完整的点云数据重建后的效果图； 图5是利用本专利技术对三维人手完整的点云数据重建后的效果图； 图6是利用本专利技术提取出的三维人手关节点； 图7是利用本专利技术得到的变换后的三维手势的关节点。【具体实施方式】 本实施例中的，包括以下步骤： 1)将Kinect相机放置在旋转平台上，通过旋转平台旋转同时采集三维人手在35 个视角下的彩色图像与深度图信息，初始视角记为〇°，旋转平台每旋转10°记录一次数 据，直至旋转到350°视角为止当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于关节点变换的手势交互方法，其特征在于：包括以下步骤：1)将Kinect相机放置在旋转平台上，通过旋转平台旋转同时采集三维人手在多个视角下的彩色图像与深度图信息，并由深度图信息得到三维人手在多个视角下的三维点云数据；2)将多个视角下的人手三维点云数据利用配准算法得到三维人手初始的三维点云数据；3)对三维人手初始的三维点云数据进行去噪、修补和精简处理得到三维人手完整的三维点云数据；4)根据人手的形状特性，对三维人手完整的三维点云数据进行分块，然后对每个分块按照以下方式进行重建：构造基网格逼近点云→同胚映射到符合视觉认知的微分流形→网格参数化→构建网格基函数→曲面绘制，得到各个分块重建后的模型，最后利用过渡映射将各个重建后的模型拼接起来，构成完整的三维人手模型；5)对三维人手的一个视角下的彩色图像和三维点云数据进行特征提取，得到彩色图特征点和手势关节点的二维投影的屏幕坐标，将彩色图特征点和手势关节点的二维投影的屏幕坐标与该视角下的三维点云数据匹配反求出匹配矩阵，采用该视角下的三维点云数据和该视角下的彩色图像之间的特征匹配的方法，以指尖坐标为基数据通过反求出匹配矩阵计算出所有关节点的三维坐标；6)根据关节点的三维坐标信息，在腕关节处建立直角坐标系，然后在符合人手运动规律的情况下，通过手势关节点的变换变换出多种式样的三维手势；7)根据变换后的三维手势的形状特性，基于视觉认知采集形似的真实手势，采用基于凸包面积的方法对变换后的三维手势进行手势特征识别以辨别三维手势变换是否成功；8)对变换成功的每一种三维手势赋予相应的定义，建立三维手势数据库，再利用Kinect相机采集符合人际交流习惯的手势，与数据库中的手势进行匹配识别，实现符合手势定义的交互操作。...

【技术特征摘要】

【专利技术属性】
技术研发人员：况立群，魏元，韩燮，于雅慧，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西;14