一种基于深度图像和彩色图像的手部运动识别方法技术

本发明专利技术公开了一种基于深度图像和彩色图像的手部运动识别方法，利用ASL手语库的36种手势作为模板，通过Kinect传感器获取手势数据，建立深度及彩色背景下的手势数据库；用基于回归的目标检测算法SSD作为研究基础，在Tensorflow深度学习框架下，分别利用基于彩色及深度背景自建的手势数据库对所选的目标检测模型进行迁移学习，得到可在深度及彩色背景下对手部运动进行识别检测的两类网络模型。利用在深度与彩色背景下检测结果融合的手部运动识别检测网络框架，并对非极大值抑制算法进行了改进，最终得到了所提出网络框架对手部运动识别检测的有效性。本发明专利技术使目标的漏检与误检问题得到避免，提高了手势识别率，且能够实现单手识和双手识别。

A method of hand motion recognition based on depth image and color image

【技术实现步骤摘要】
一种基于深度图像和彩色图像的手部运动识别方法
本专利技术涉及图像处理与智能交互
，特别涉及一种基于深度图像和彩色图像的手部运动识别方法。
技术介绍
随着机器视觉和人工智能相关学科的发展，人机交互技术逐渐开始成为一个重要的研究方向。手部形态的随机和多变性使得当前的手势识别技术无法在实际运用中来取代传统的交互设备，以此来完成人机交互，这是说明手势识别检测交互技术和一些其他的基于计算机视觉的识别技术仍然需要继续探索研究。与提供外观和纹理信息并对光变化敏感的彩色数据相比，深度数据提供更多的形状信息、清晰的边缘，并且对照明条件的变化具有鲁棒性。因此，利用额外的深度信息来促进彩色信息进行联合手部运动识别检测的任务已成为研究热点。鉴于此提出一种将彩色与深度数据以最佳方式进行联合的方法仍是手部运动识别检测的关键。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种基于深度图像和彩色图像的手部运动识别方法，可以在复杂场景下读取手势的彩色信息和深度信息，通过精确识别手势与显示器进行交互。本专利技术所采用的技术方案是：一种基于深度图像和彩色图像的手部运动识别方法，其特征在于，包括以下步骤：步骤1：自建手部运动数据库；通过kinect读取模仿ASL手势库中的36种手势，建立深度手部运动数据库和彩色手部运动数据库；步骤2：对手部数据进行预处理，将预处理后的数据分为训练集和测试集；步骤3：训练深度手部运动检测模型和彩色手部运动检测模型；利用深度训练集训练深度环境下基于SSD_Mobilenet目标检测模型，利用彩色训练集训练彩色环境下基于SSD_Mobilenet目标检测模型；得到能分别在深度及彩色背景下对手部运动进行识别与检测的两类网络模型；步骤4：利用SSD_Mobilenet双流网络框架，对彩色及深度背景下两类手部运动识别检测网络模型的检测结果进行融合；步骤5：将融合的网络模型进行非极大值改进，引入比例惩罚系数的非极大值抑制算法，利用测试集中的数据对融合后的网络框架进行测试，得到手部运动高精度识别模型；步骤6：利用手部运动高精度识别模型对手部运动进行识别。本专利技术的有益效果在于，在tensorflow深度学习框架下，利用SSD_Mobilenet网络模型下，通过在一对卷积神经网络提取每一层级的彩色和深度信息，得到不同层的特征核，所有的特征核于在检测结果处融合，并在非极大抑制值算法进行改进，使目标的漏检与误检问题得到避免，提高了手势识别率。且在静态图片和动态视频中均能识别出手势，不仅如此不仅能够实现单手识别还可以实现双手识别。彩色图可以充分考虑到提取物体的颜色、纹理等信息，而深度图可以提取物体的深度信息，深度信息可以避免光照、环境等因素的影响，将两种信息充分结合起来，使用卷积神经网络训练模型，使手势识别达到实际应用的要求。附图说明图1为本专利技术实施例的流程图；图2为本专利技术实施例中分别在深度及彩色背景下对手部运动进行识别与检测的网络模型示意图；图3为本专利技术实施例中基于深度图像和彩色图像的手部运动识别的检测结果融合的网络框架示意图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。请见图1，本专利技术提供的一种基于深度图像和彩色图像的手部运动识别方法，包括以下步骤：步骤1：自建手部运动数据库；通过kinect读取模仿ASL(AmericanSignLanguage)手语库中的36种手势，建立深度手部运动数据库和彩色手部运动数据库；步骤2：对手部数据进行预处理，将预处理后的数据分为训练集和测试集；本实施例中，在Tensorflow深度学习框架下，通过人工标签彩色图像及深度图像并进行格式转换的方式对彩色图像数据与深度图像数据分别进行预处理。步骤3：训练深度手部运动检测模型和彩色手部运动检测模型；利用深度训练集训练深度环境下基于SSD_Mobilenet目标检测模型，利用彩色训练集训练彩色环境下基于SSD_Mobilenet目标检测模型；得到能分别在深度及彩色背景下对手部运动进行识别与检测的两类网络模型；本实施例中的网络模型，分别用于在彩色背景和彩色视频，深度背景和深度视频中对手势进行识别输出，输出结果包括手势在图像中的位置信息和手势类别置信度。步骤4：利用SSD_Mobilenet双流网络框架，对彩色及深度背景下两类手部运动识别检测网络模型的检测结果进行融合；请见图2、3，本实施例基于SSD_Mobilenet双流网络框架的融合模型，同时向两个具有相同结构的SSD_Mobilenet网络中输入彩色及对应的深度图像，并同时分别各从基于彩色网络通道和深度网络通道的六个不同尺度的特征图上提取特征来进行检测，并将彩色网络通道和深度网络通道的检测结果同时进行非极大值抑制后输出；其中，卷积网络的第l层的第j个神经元输出为为上层输出，fc(.)为卷积层的激活函数，M为选择的输入特征图的集合，wl为卷积网络第l层的权重，bl为网络层第l层的偏置，表示第l层的第i个通道的第j个神经元输出；当第l层是池化层时，该层第j个神经元的输出为其中，fp(.)为卷积层的激活函数，p(.)为池化函数；当l层是全连接层时，该层第j个神经元的输出为其中，fF(.)为全连接层的激活函数，wF为全连接层的权重，bF为全连接的偏置，bl为网络层第l层的偏置；经过若干次提取特征值后，将所有的特征值放入检测层进行融合，再进行非极大值抑制操作。步骤5：将融合的网络模型进行非极大值改进，引入比例惩罚系数的非极大值抑制算法，利用测试集中的数据对融合后的网络框架进行测试，得到手部运动高精度识别模型；对非极大值抑制操作进行了改进，引入比例惩罚系数的非极大值抑制算法，根据预测框的IoU值大小，赋予预测框相应的惩罚系数，通过惩罚系数逐轮降低预测框的置信分数并经过多轮迭代去除置信分数偏低的预测框。在本专利实施例中，非极大值抑制过程为：原来设定的预测框(图像预处理时设定的)为B，预测框对应的置信度分数集合为S，最终保留输出的预测框集合为F，首先根据S中置信度分数大小对B的预测框从大到小的顺序进行排序，将首个预测框作为抑制预测框并放入保留输出的预测框集合F然后从集合B中移除此预测框，然后计算剩余预测框与首个预测框的IoU值,并从集合B中移除IoU大于给定阈值T的预测框，重复上述步骤直至B中预测框数目等于0。Iou为检测准确率。检测准确率Iou：其中，d表示检测框，p表示预选检测框；IoU为网络框架预测出来的框d与原来图片中标记的框p的重合程度，计算方法为检测结果d跟标记样本p的交集比上其并集，即检测准确率IoU；引入比例惩罚系数的非极大值抑制算法本文档来自技高网...

【技术保护点】
1.一种基于深度图像和彩色图像的手部运动识别方法，其特征在于，包括以下步骤：/n步骤1：自建手部运动数据库；/n通过kinect读取模仿ASL手势库中的36种手势，建立深度手部运动数据库和彩色手部运动数据库；/n步骤2：对手部数据进行预处理，将预处理后的数据分为训练集和测试集；/n步骤3：训练深度手部运动检测模型和彩色手部运动检测模型；/n利用深度训练集训练深度环境下基于SSD_Mobilenet目标检测模型，利用彩色训练集训练彩色环境下基于SSD_Mobilenet目标检测模型；得到能分别在深度及彩色背景下对手部运动进行识别与检测的两类网络模型；/n步骤4：利用SSD_Mobilenet双流网络框架，对彩色及深度背景下两类手部运动识别检测网络模型的检测结果进行融合；/n步骤5：将融合的网络模型进行非极大值改进，引入比例惩罚系数的非极大值抑制算法，利用测试集中的数据对融合后的网络框架进行测试，得到手部运动高精度识别模型；/n步骤6：利用手部运动高精度识别模型对手部运动进行识别。/n

【技术特征摘要】
1.一种基于深度图像和彩色图像的手部运动识别方法，其特征在于，包括以下步骤：
步骤1：自建手部运动数据库；
通过kinect读取模仿ASL手势库中的36种手势，建立深度手部运动数据库和彩色手部运动数据库；
步骤2：对手部数据进行预处理，将预处理后的数据分为训练集和测试集；
步骤3：训练深度手部运动检测模型和彩色手部运动检测模型；
利用深度训练集训练深度环境下基于SSD_Mobilenet目标检测模型，利用彩色训练集训练彩色环境下基于SSD_Mobilenet目标检测模型；得到能分别在深度及彩色背景下对手部运动进行识别与检测的两类网络模型；
步骤4：利用SSD_Mobilenet双流网络框架，对彩色及深度背景下两类手部运动识别检测网络模型的检测结果进行融合；
步骤5：将融合的网络模型进行非极大值改进，引入比例惩罚系数的非极大值抑制算法，利用测试集中的数据对融合后的网络框架进行测试，得到手部运动高精度识别模型；
步骤6：利用手部运动高精度识别模型对手部运动进行识别。


2.根据权利要1所述的基于深度图像和彩色图像的手部运动识别方法，其特征在于：步骤2中，在Tensorflow深度学习框架下，通过人工标签彩色图像及深度图像并进行格式转换的方式对彩色图像数据与深度图像数据分别进行预处理。


3.根据权利要1所述的基于深度图像和彩色图像的手部运动识别方法，其特征在于：步骤3中，所述网络模型，能分别用于在彩色背景和彩色视频，深度背景和深度视频中对手势进行识别输出，输出结果包括手势在图像中的位置信息和手势类别置信度。


4.根据权利要1所述的基于深度图像和彩色图像的手部运动识别方法，其特征在于：步骤4中，基于SSD_Mobilenet双流网络框架的融合模型，同时向两个具有相同结构的SSD_Mobilenet网络中输入彩色及对应的深度图像，并同时分别各从基于彩色网络通道和深度网络通道的六个不同尺度的特征图上提取特征来进行检测，并将彩色网络通道和深度网络通道的检测结果同时进行非极大值抑制后输出；



其中，卷积网络的第l层的第j个神经元输出为为上层输出，fc(.)为卷积层的激活函数，M为选择的输入特征图的集合，wl为卷积网络第l层的权重，bl为网络层第l层的偏置，表示第l层的第i个通道的第j个神经元输出；
当第l层是池化层时，该层第j个神经元的输出为



其中，fp(.)为卷积层的激活函数，p(.)为池化函数；
当l层是全连接层时，该层第j个神...

【专利技术属性】
技术研发人员：刘玉婷，李公法，李蔚，田泉，蒋国璋，陶波，江都，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42