一种交互桌面触点左右手识别方法技术

本发明专利技术公开了一种基于手的解剖结构特征的触点左右手归属判定方法。本方法具体包括三大步：首先，对原始图像进行一系列图像处理，计算手指触点方向角以及对辅助数据模型互斥矩阵、距离矩阵作初始化；然后，按照人手解剖结构特征将属于不同手的触点分类；最后，根据触点所在位置以及手-臂系统三角形模型判定触点左右手。本发明专利技术不需要借助辅助硬件设备简单易行，而且在任意多个手指(1～10个)输入的情况下均具有很高的精确性和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及左右手识别方法，具体地涉及基于交互桌面的触点信息提取的左右手识别方法，属于多点触控

技术介绍
随着普适计算、人机交互、计算机辅助协同设计等技术的不断发展，产生了以传统围桌为隐喻的多触点数字化交互桌面，此类数字设备使人们摆脱了现有鼠标键盘的束缚，可使用类似于日常操作桌面物体的方式与数字内容进行交互，该种交互方式直观、自然，在娱乐、媒体传播、设计、教育、军事等诸多领域均有广阔的应用前景。基于计算机视觉原理的交互桌面由于实现简单、造价较低、性能稳定，目前已成为实现交互桌面的主流方式。然而，基于该原理的交互桌面系统只能提供手指触点的位置和形状信息并不包括触点所属手及该手的左右手手性信息，触点的左右手信息提取通常均需凭借额外的硬件设备，或者会对用户的交互有所限制如使用某只手交互之前必须同时使用5个手指进行手指注册。交互桌面触点所属手及左右手手性信息的提供对于多指手势识别、丰富双手交互技术尤其是双手非对称交互技术具有重要意义。
技术实现思路
本专利技术提出一种多点触控交互桌面同手触点聚类方法及左右手识别方法，该方法基于人手解剖结构特征不需借助辅助的硬件设备，可在用户自然交互输入的起始时刻提取单个或者多个手指的左右手信息。本专利技术的技术方案为:，其步骤包括:I)提取交互桌面巾贞图像上触点轮廓,计算触点的方向角、中心点以及所有触点两两之间的距离，初始化距离矩阵、互斥矩阵以及Handness数组；2)根据所述距离矩阵中触点两两之间的距离，并设定距离阈值将同手或异手区分信息记录在互斥矩阵中，使用所述互斥矩阵对触点进行聚类后将同手聚类的结果保存至Handness数组中形成一触点类簇；3)根据触点类簇在交互桌面位置判断触点所属左右手，若不能判断则根据三角型模型和/或两触点的距离关系判断触点所属左右手信息；4)重复步骤I) _3)，对图像上的触点进行左右手识别。优选地，所述距离矩阵初始化为:距离矩阵初始状态Clij=O,权利要求1.，其步骤包括: 1)提取交互桌面帧图像上触点轮廓，计算触点的方向角、中心点以及所有触点两两之间的距离，初始化距离矩阵、互斥矩阵以及Handness数组； 2)根据所述触点两两之间的距离，并设定距离阈值将同手或异手区分信息记录在互斥矩阵中，使用所述互斥矩阵对触点进行聚类后将同手聚类的结果保存至Handness数组中形成一触点类簇； 3)根据触点类簇在交互桌面位置判断触点所属左右手，若不能判断则根据交互桌面手-臂系统三角型模型和/或两触点的距离关系判断触点所属左右手信息； 4)重复步骤I)_3)，对图像上的触点进行左右手识别。2.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，所述距离矩阵初始化为:距离矩阵 Dnumftmi= (Clij)num*num,初始状态 du=0，dy =+(Vt-Vj)2 是触点 Fi 与Fj之间距离为触点中心点之间的距离，Xi, Xj, yi； Yj是触点中心点横纵座标值。3.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，所述互斥矩阵初始化为:将互斥矩阵Rnurtum= (Aj)nmitouffl中的所有非对角元素赋值为2，对角元素赋值为1，其中num表示当前手指触点 的个数,!Tij=O,表示手指Fi与Fj属于不同只手,!Tij=I,表示手指Fi与Fj属于同一只手，1^_=2,表不手指Fi与Fj尚未分类。4.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，所述Handness数组初始化为:初始Handness数组H=0, H=l表示触点Fi属于I类，H=2表示触点Fi 属于 2 类，i e 。5.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，所述设定距离阈值将同手或异手区分信息记录在互斥矩阵中的方法如下: O设定三个距离阈值分别为=Dadj不包括大拇指的同手相邻两指最大距，Dthimb同手大拇指与食指最大距，Dmax同手手指最大距； 2)若两触点距离(Iij)Dmax,则Fi与Fj属于不同手，设置互斥矩阵Aj=O； 3)若两触点距离Cli^Dadj,则判断Fi与Fj方向角的差值Θ^ ;若Θ u〈 Θ adJ,则Fi与Fj属于同手，设置互斥矩阵rfl;若Qij≥Qadj，则Fi与Fj属于不同手，设置互斥矩阵rij=0; 4)若两触点距离du处于阈值范围Da(U〈du〈Dmax，则根据Fi与匕方向角的差值Θu分类判断；5)根据上述互斥矩阵对触点聚类，聚类结果保存在Handness数组。6.如权利要求5所述的交互桌面触点左右手识别方法，其特征在于，所述步骤4)中分类判断的方法为: 4-1)计算两触点方向角延长线交点，若有上交点则Fi与匕属于不同手，设置ru=0 ； 4-2)计算两触点方向角的差值β υ’若9〃〈0__，则？1与匕有一个为大拇指，另一个为另一手的食指，属于不同手，设置Aj=O ； 4-3)若Dthuml^duXDmax,则Fi与Fj属于不同的手，设置Fij=O ； 4-4)若DmiJdiYDthimb且尚未分类的手指触点，判定Fi与Fj为同手，设置rfl。7.如权利要求5所述的交互桌面触点左右手识别方法，其特征在于，所述步骤5)中，按照如下方法进行聚类: 5-1)对Handness数组初次赋值，遍历互斥矩阵查找!Tij=O或者!Tij=I(i幸j)的点,根据所述初次赋值对Iii与&赋值； 5-2)遍历Handness数组，对于比>0的触点，分别遍历互斥矩阵中的第i行和第i列，并根据互斥矩阵中的值，设置Handness数组的值,直至Handness数组全部被赋值。8.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，根据触点类簇的重心在交互桌面位置判断触点所属左右手，所述触点类簇重心G的计算方法为:9.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，所述交互桌面手-臂系统三角形模型按照如下方法建模: 将用户身体、前臂、手抽象三角形模型，模型中三角形由用户手、前臂、前臂延长线、两肩连线的延长线组成， 所述三角形随用户身体的扭动旋转，对于屏幕中同一被操作对象，若使用左手操作，手指触点方向角小于基准角度，若使用右手操作，手指触点方向角大于基准角度。10.如权利要求1所述的交互桌面触点左右手识别方法，其特征在于，根据所述三角型模型和/或两触点的距离关系判断触点所属左右手信息的方法为:单个触点，若基准角α >触点方向角Θ，则该触点属于左手；若α〈 Θ，则该触点属于右手; 两个触点，若Clad^Xdthumb,两触点长轴交点与两触点中心点连线位置比较，交点在连线左边，则为左手；交点在连线右边，则为右手；若ClijUadj,取中心点与长轴方向角的均值后利用所述三角形模型判断，若α > Θ，则该触点类簇属于左手；若α〈 Θ，则该触点类簇属于右手； 两个以上触点，首先对触点方向角排序，然后判断相邻两触点之间距离，若存在dadj〈du〈dtlMb，则存在大拇指，删除大拇指后计算剩余手指的平均位置及平均角度，利用三角形模型判断左右手。全文摘要本专利技术公开了一种基于手的解剖结构特征的触点左右手归属判定方法。本方法具体包括三大步首先，对原始图本文档来自技高网...

【技术保护点】
一种交互桌面触点左右手识别方法，其步骤包括：1）提取交互桌面帧图像上触点轮廓，计算触点的方向角、中心点以及所有触点两两之间的距离，初始化距离矩阵、互斥矩阵以及Handness数组；2）根据所述触点两两之间的距离，并设定距离阈值将同手或异手区分信息记录在互斥矩阵中，使用所述互斥矩阵对触点进行聚类后将同手聚类的结果保存至Handness数组中形成一触点类簇；3）根据触点类簇在交互桌面位置判断触点所属左右手，若不能判断则根据交互桌面手?臂系统三角型模型和/或两触点的距离关系判断触点所属左右手信息；4）重复步骤1）?3），对图像上的触点进行左右手识别。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘佳升，张凤军，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：