复杂场景下基于多信息融合的手势分割方法技术

本发明专利技术公开了一种复杂场景下基于多信息融合的手势分割方法。针对输入的视频图像序列，通过图像预处理操作之后，首先进行预检测，即通过一个类手势的筛除器，将易被误判为手势部分的区域筛除；再进行基于多颜色空间分量的肤色检测；同时结合肤色检测信息，采用基于时空信息改进的混合高斯建模方法进行前景检测；然后用一种验证补充机制将多种检测结果融合，得到手势分割结果。本发明专利技术使手势分割过程可以适用于不同的复杂场景，用户自由性不再受到限制，且满足实时性的要求，可以较好地运用在人机交互中。

【技术实现步骤摘要】
复杂场景下基于多信息融合的手势分割方法
本专利技术涉及一种手势分割的方法，具体为一种复杂场景下基于多信息融合的手势分割方法，可以用于手势识别、人机交互、移动设备的操控等很多领域。
技术介绍
随着计算机的发展在现代社会中应用越来越广泛和迅速，人机交互技术的需求在人类生活中也变得越来越高，而手势作为一种最自然，最符合人类行为习惯的交互方式之一，更是人机交互领域中重要的研究方向之一。而手势分割通常是交互系统中的第一步也是最关键的一步，其效果会直接影响到后续特征提取以及识别的准确率。为得到令人满意的手势分割结果，国内外有众多的学者对手势分割方法进行了深入的研究，结合各类研究以及实际应用，可以分析出目前手势分割领域存在的主要技术难点如下：1)受限于环境的复杂程度。实际应用场景通常较为复杂，存在光照的变化，背景物体的移动，类肤色物体的影响等。2)用户自由性受到限制。大量研究为了手势分割的效果要求用户穿着深色衣服，佩戴特殊颜色手套，不得出现身体其他部位等。3)实时性要求得不到满足。为了适用于复杂的场景，许多研究者提出复杂的分割算法，但复杂度的提高伴随着实时性的下降。针对以上技术难点，研究者们的通常做法是根据自己所研发的系统和所处的实验环境来选择适合自己系统的手势分割方法，缺少一定的通用性。
技术实现思路
为了解决现有技术中的问题，本专利技术公开了一种复杂场景下基于多信息融合的手势分割方法，该方法可以适用于不同的复杂环境，结合预检测、肤色检测和前景检测的方式，并用一种验证补充机制将多种检测结果融合，得到较准确和完整的手势分割结果。且该算法允许画面中出现人脸、手臂等其他人体部位。本专利技术采用以下技术方案：一种复杂场景下基于多信息融合的手势分割方法，包括以下步骤：步骤1：图像预处理：对视频图像序列的每一帧图像，进行平滑滤波的预处理，去除图像中存在的一定噪声；步骤2：预检测：通过事先训练一种分类器，用于检测图像中与手势颜色特征、大小特征、运动特征等相似，容易被误判定为手势的区域，通过该分类器定位到这些区域，并筛除；步骤3：肤色检测：采用多颜色空间分量的肤色检测方法，建立一个新的颜色空间HLS-CbCr颜色空间，将图像转换到HLS-CbCr颜色空间上，通过事先提取的肤色样本建立肤色模型，根据在HLS-CbCr颜色空间上的肤色模型分布情况，检测出图像中的肤色区域；步骤4：前景检测：采用基于时空信息改进的混合高斯建模方法进行前景检测，通过为每个背景像素建立一个混合高斯分布模型，判断出图像中的背景部分，从而进一步提取出前景区域。并根据肤色检测的结果设置检测区R(x,y)，为检测区和非检测区分配不同的学习率，并且记录每个像素被判定为背景次数，根据该次数分配不同的学习率，从而更快速地检测出图像中的前景区域；步骤5：融合多种检测结果进行手势分割：采用一种验证补充机制将肤色检测和前景检测结果融合。通过肤色和前景检测结果的第一次相与操作，提取出其的最大轮廓和外接矩形，并将此外接矩形与前景检测结果相与，对第二次相与结果进行填补操作，从而得到最终完整的手势分割结果。进一步地，步骤2中所述的预检测，通过事先训练一种分类器，用于检测图像中与手势颜色特征、大小特征、运动特征等相似，容易被误判定为手势的区域，通过该分类器定位到这些区域，并筛除，其具体检测过程如下：步骤2.1：特征提取：将样本分为两类,一类为与手势颜色特征、大小特征、运动特征等相似的样本，比如人脸，一类为非相似样本，对所有样本进行Haar特征提取，特征值可以用式表示：其中，wi表示第i个矩形特征的权重，RectSum(ri)是矩形ri中所有像素的灰度积分，N为组成featurej的矩形个数。步骤2.2：分类器训练：一个Haar特征对应一个弱分类器hj(x)，表达式如下：通过不断的调整每个样本的权重创建不同的训练集。初始时，每个样本的权重相同，并且在此类样本下训练出第一个弱分类器h1。对h1中分类错误的样本加大其权重，分类正确的样本减小其权重。通过这种方式，新的训练集中，分错的样本比重增加，并再次利用新训练集对弱分类器进行训练，得到弱分类器h2。以此类推，当循环一定次数之后，将所有弱分类器按权重组合在一起，得到最终的强分类器。步骤2.3：在线检测：使用训练得到的强分类器对步骤1得到的去噪图像进行预检测，当检测到类手势区域，该区域内像素值设为0。进一步地，步骤3中所述的采用多颜色空间分量的肤色检测方法，建立一个新的颜色空间HLS-CbCr颜色空间，将图像转换到HLS-CbCr颜色空间上，通过事先提取的肤色样本建立肤色模型，根据在HLS-CbCr颜色空间上的肤色模型分布情况，检测出图像中的肤色区域，其具体检测过程如下：步骤3.1：颜色空间转换：将原始图像中的RGB颜色空间转换为HLS颜色空间和CbCr颜色分量。步骤3.2：肤色模型建立：事先提取一段时间内用户手势中不同位置的肤色值，并取每一块区域的中值作为肤色样本进行模型建立。步骤3.3：多颜色空间分量检测：对HLS颜色空间分量的规则如下：A.Mediani-Δh1＜H＜Mediani+Δh2B.Mediani-Δl1＜L＜Mediani+Δl2C.Mediani-Δs1＜S＜Mediani+Δs2Rule1:A∩B∩C其中，Mediani为每一块肤色样本区域的中值，i为第i块肤色样本区域，Δh1、Δh2、Δl1、Δl2Δs1、Δs2为阈值范围的上下边界容差。∩表示逻辑与操作。对CbCr颜色空间分量的规则：D.Mediani-ΔCb1＜Cb＜Mediani+ΔCb2E.Mediani-ΔCr1＜Cr＜Mediani+ΔCr2Rule2:D∩E其中，其中，Mediani为每一块肤色样本区域的中值，i为第i块肤色样本区域，ΔCb1、ΔCb2、ΔCr1、ΔCr2为阈值范围的上下边界容差。∩表示逻辑与操作。最终多颜色空间分量HLS-CbCr的肤色检测算法的决策规则为：Rule:Rule1∪Rule2对任意像素点，若满足Rule，则为肤色点，否则为非肤色点。步骤3.4：形态学处理：对多颜色空间分量检测的结果进行形态学处理，采用中值滤波方法去除图像中的多余噪声。进一步地，步骤4中所述的采用基于时空信息改进的混合高斯建模方法进行前景检测，通过为每个背景像素建立一个混合高斯分布模型，判断出图像中的背景部分，从而进一步提取出前景区域。并根据肤色检测的结果设置检测区R(x,y)，为检测区和非检测区分配不同的学习率，并且记录每个像素被判定为背景次数，根据该次数分配不同的学习率，从而更快速地检测出图像中的前景区域，其具体检测过程如下：步骤4.1：背景建模：对连续若干帧的背景图像进行统计，计算背景中各个像素点的均值和方差，由多个高斯分布的加权平均来表示像素的分布情况，令It(x,y)为t时刻像素点(x,y)处的像素，则有：σ2i,t＝(1-β)σ2i,t-1+β(It-μi,t)2式中，K为高斯分布的个数，称为高斯混合概率密度的混合系数，通常情况下取3～5。wi,t为t时刻第i高斯分量的加权系数，称之为权重系数。步骤4.2：前景检测：前景检测过程中，按大小将高斯分布从高到低排序，将新像素点It与各高斯分布逐一匹配。当该像素点与任一高斯模型都不匹配时，则判定为前景，此时需本文档来自技高网...

【技术保护点】
一种复杂场景下基于多信息融合的手势分割方法，其特征在于，包括以下步骤：步骤1)：图像预处理：对视频图像序列的每一帧图像，进行平滑滤波的预处理，去除图像中存在的噪声；步骤2)：预检测：通过事先训练一种分类器，用于检测图像中与手势颜色特征、大小特征、运动特征相似，会被误判定为手势的区域，通过该分类器定位到这些区域，并筛除；步骤3)：肤色检测：采用多颜色空间分量的肤色检测方法，建立一个新的颜色空间HLS‑CbCr颜色空间，通过事先提取的肤色样本建立肤色模型，根据在HLS‑CbCr颜色空间上的肤色模型分布情况，检测出图像中的肤色区域；步骤4)：前景检测：采用基于时空信息改进的混合高斯建模方法进行前景检测，通过混合高斯建模方法提取出前景区域，并根据肤色检测的结果设置检测区R(x,y)，为检测区和非检测区分配不同的学习率，并且记录每个像素被判定为背景次数，根据该次数分配不同的学习率，从而更快速地检测出图像中的前景区域；步骤5)：融合多种检测结果进行手势分割：采用一种验证补充机制将多种检测结果融合，从而得到最终完整的手势分割结果。

【技术特征摘要】
1.一种复杂场景下基于多信息融合的手势分割方法，其特征在于，包括以下步骤：步骤1)：图像预处理：对视频图像序列的每一帧图像，进行平滑滤波的预处理，去除图像中存在的噪声；步骤2)：预检测：通过事先训练一种分类器，用于检测图像中与手势颜色特征、大小特征、运动特征相似，会被误判定为手势的区域，通过该分类器定位到这些区域，并筛除；步骤3)：肤色检测：采用多颜色空间分量的肤色检测方法，建立一个新的颜色空间HLS-CbCr颜色空间，通过事先提取的肤色样本建立肤色模型，根据在HLS-CbCr颜色空间上的肤色模型分布情况，检测出图像中的肤色区域；步骤4)：前景检测：采用基于时空信息改进的混合高斯建模方法进行前景检测，通过混合高斯建模方法提取出前景区域，并根据肤色检测的结果设置检测区R(x,y)，为检测区和非检测区分配不同的学习率，并且记录每个像素被判定为背景次数，根据该次数分配不同的学习率，从而更快速地检测出图像中的前景区域；步骤5)：融合多种检测结果进行手势分割：采用一种验证补充机制将多种检测结果融合，从而得到最终完整的手势分割结果；步骤2)中所述的预检测，其具体检测过程如下：步骤2.1)：特征提取：将样本分为两类,一类为与手势颜色特征、大小特征、运动特征相似的样本，一类为非相似样本，对所有样本进行特征提取；步骤2.2)：分类器训练：通过不断的调整每个样本的权重创建不同的训练集，初始时，每个样本的权重相同，并且在此类样本下训练出第一个弱分类器h1，对h1中分类错误的样本加大其权重，分类正确的样本减小其权重；通过这种方式，新的训练集中，分错的样本比重增加，并再次利用新的训练集对弱分类器进行训练，得到弱分类器h2，以此类推，当循环一定次数之后，将所有弱分类器按权重组合在一起，得到最终的强分类器；步骤2.3)：在线检测：使用训练得到的强分类器对步骤1)得到的去噪图像进行预检测，当检测到类手势区域，将该区域内像素值设为0；步骤3)中所述的采用多颜色空间分量的肤色检测方法，其具体检测过程如下：步骤3.1)：颜色空间转换：将原始图像中的RGB颜色空间转换为HLS颜色空间以及CbCr颜色分量；步骤3.2)：肤色模型建立：事先提取一段时间内用户手势中不同位置的肤色值，并取每一块区域的中值作为肤色样本进行模型建立；步骤3.3)：多颜色空间分量...

【专利技术属性】
技术研发人员：于慧敏，盛亚婷，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33