基于GAN-CNN框架的机器人手势识别方法技术

基于GAN‑CNN框架的机器人手势识别方法，高清摄像机预先采集不同手势样本图片，而后通过WIFI传送至机器人数据处理系统；数据处理系统利用生成对抗网络对步骤1中不同的手势样本图片进行扩展；对上步骤获得的扩展手势图片制作相应的标签，然后将扩展得到的手势图片及其对应的标签输入到卷积神经网络中，从而完成CNN分类识别模型的预训练；高清摄像机实时采集不同手势样本图片，而后通过WIFI传送至机器人数据处理系统；数据处理系统利用预训练好的CNN模型对上步骤中所采集的照片进行分类识别，并将相关的识别信息通过WIFI上传至MYSQL数据库进行存储；机器人根据CNN识别结果执行相应的动作，至此，整个闭环过程结束。本发明专利技术解决小样本条件下机器人手势识别的难题。

【技术实现步骤摘要】
基于GAN-CNN框架的机器人手势识别方法
本专利技术涉及机器人手势识别领域，特别是涉及基于GAN-CNN框架的机器人手势识别方法。
技术介绍
随着人工智能和虚拟现实技术的不断发展，人机交互系统已经成为当前的研究热点。现今，作为一种新兴的人机交互方式，手势识别得到了很多研究者的重视，并产生了一系列有效的成果，且在诸如智能机器人、智能驾驶等设备中得到了广泛的应用。手势识别，简单的来说就是让机器在视觉或传感器采集系统的辅助下来理解人类所想要表达的思想，即通过无接触的方式完成交互过程，从而通过机器人完成相应的动作，在真正意义上实现智能化。对于不同手势的识别分类，其核心即是图像的分类识别。近年来发展的深度学习模型凭借其强大的表征能力和自适应学习能力被广泛应用于计算机视觉、自然语言处理和人脸识别等领域。此类的模型如深度信念网络(DBN)、循环神经网络(RNN)、堆栈降噪自编码(SDAE)、卷积神经网络(CNN)、长短时记忆网络(LSTM)。其中的CNN是仿造生物的视知觉机制构建的，是一种具有深度结构的前馈神经网络，在图像分类识别中具有很好的效果，但如何以CNN为核心构建一个分类识别模型，并且支持模型的更新优化是当前亟待解决的问题。国内涉及CNN方法在手势识别中应用的专利有“一种面向水下设备的手势识别方法”(201910858330.7)，利用卷积神经网络实现对手势图像的识别，解决现有方法中存在的实现过程繁琐、实时性差、且识别率低的问题。国家专利技术专利“基于毫米波雷达和卷积神经网络的微动手势识别方法”(201911054117.7)，该专利针对毫米波雷达特征图像设计卷积神经网络，而后调用分类模型以实现多种手势的分类识别。以上两个国家专利技术专利都涉及CNN在手势识别中的应用，但是都存在训练样本量不够充足，而导致CNN模型可能会出现过拟合现象，从而降低了模型的泛化性。
技术实现思路
为解决上述问题，本专利技术在GAN，CNN，MYSQL数据库的基础上，提出了基于GAN-CNN框架的机器人手势识别方法，首先利用GAN对有限的手势照片进行扩展以解决小样本条件下模型以过拟合的问题，而后利用具有强大的非线性表达能力的CNN对不同的手势图片进行分类识别。另外，充分利用了MYSQL数据库的存储优势，能够实现对现有模型的更新优化，从而大大的提高了模型的识别精度和泛化性。为达此目的，本专利技术提供基于GAN-CNN框架的机器人手势识别方法，具体步骤如下，其特征在于：步骤1，高清摄像机预先采集不同手势样本图片，而后通过WIFI传送至机器人数据处理系统；步骤2，数据处理系统利用生成对抗网络(GAN)对步骤1中不同的手势样本图片进行扩展；步骤3，对步骤2获得的扩展手势图片制作相应的标签，然后将扩展得到的手势图片及其对应的标签输入到卷积神经网络(CNN)中，从而完成CNN分类识别模型的预训练；步骤4，高清摄像机实时采集不同手势样本图片，而后通过WIFI传送至机器人数据处理系统；步骤5，数据处理系统利用预训练好的CNN模型对步骤4中所采集的照片进行分类识别，并将相关的识别信息通过WIFI上传至MYSQL数据库进行存储；步骤6，机器人根据CNN识别结果执行相应的动作，至此，整个闭环过程结束。进一步，步骤2中GAN网络模型训练的步骤为：步骤2.1，固定生成器G，训练鉴别器D；步骤2.2，固定鉴别器D，训练生成器G；步骤2.3，重复步骤2.1和步骤2.2，直至整个网络达到纳什平衡或者迭次次数达到设定的最大值，整个对抗过程的目标函数可以表示为：式中，pdata(x)表示真实样本x的分布概率，pz(z)表示生成器G的输入噪声变量z的分布概率z的分布概率，D(x)表示D鉴别x来源于真实样本的概率，D(G(z))表示D鉴别z来源于虚假样本的概率。进一步，步骤3中CNN网络模型训练的步骤为：步骤3.1，将扩展得到的手势图片及其对应的标签输入到CNN中，其中卷积层滤波处理可以表达为：式中，为n层卷积上第l个卷积核的输出，σ(·)为非线性激活函数，本专利技术选用RULE函数，为n层第l个卷积核的权重系数，为n-1层第m个特征输出，是偏置项。步骤3.2，将卷积层处理后的图片输入至下一个处理层，即：池化层，本专利技术的池化方式选用Maxpooling；步骤3.3，依次对图片进行类似于步骤3.1和步骤3.2的卷积池化处理；步骤3.4，将步骤3.3中获得图片以Flatten的方式进行展开，然后连接全连接层1和全连接层2；步骤3.5，利用Softmax逻辑回归实现对多层提取后的特征向量的识别与分类，其中Softmax回归的输出定义如下：式中，K为类别数，θj(1≤j≤K)为分类层参数。步骤3.6，在交叉熵损失函数下，利用随机梯度下降(SGD)算法对CNN网络参数进行更新优化；步骤3.7，重复以上步骤，直至交叉熵损失函数收敛或网络迭代次数达到设定的阈值，此时认为模型训练完成。进一步，步骤5中将相关的识别信息通过WIFI上传至MYSQL数据库进行存储可具体描述为：将实时采集的照片和相应的判断结果发送至MYSQL数据库，当已有的模型判断出错时，则将判断出错的图片数据制作相应的标签，而后对已有的模型进行重新训练，其中训练过程与步骤3.1-3.7保持一致，从而提高模型的分类识别的精度和泛化性。本专利技术基于GAN-CNN框架的机器人手势识别方法，有益效果：本专利技术的技术效果在于：1.本专利技术利用GAN实现对有限的手势样本图片的扩展，能够很好的解决深度学习模型在小样本条件下容易过拟合的问题；2.本专利技术充分的利用了CNN强大的非线性表达能力，在GAN生成扩展的图片样本的基础上，能很好的捕捉到不同手势图片之间的分布特征，从而精确的实现了机器人对不同手势的识别；3.本专利技术利用MYSQL数据库存储数据的优势，可以很好的实现对GAN-CNN模型的更新优化，一方面增强了模型的识别精度，另一方面也提高了模型的泛化性。附图说明图1为本专利技术的流程图；图2为本专利技术采用的GAN模型对抗训练示意图；图3为本专利技术采用的CNN模型网络结构图。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步详细描述：本专利技术提出了基于GAN-CNN框架的机器人手势识别方法，旨在实现机器人对人类不同手势精确的识别判断，同时实现模型的更新优化。图1为本专利技术的流程图。下面结合流程图对本专利技术的步骤作详细介绍。步骤1，高清摄像机预先采集不同手势样本图片，而后通过WIFI传送至机器人数据处理系统；步骤2，数据处理系统利用生成对抗网络(GAN)对步骤1中不同的手势样本图片进行扩展；步骤2中GAN网络模型训练的步骤为：步骤2.1，固定生成器G，训练鉴别器D；步骤2.2，固定鉴别器D，训练生成器G；步骤2.3，重复步骤2.1本文档来自技高网...

【技术保护点】
1.基于GAN-CNN框架的机器人手势识别方法，具体步骤如下，其特征在于：/n步骤1，高清摄像机预先采集不同手势样本图片，而后通过WIFI传送至机器人数据处理系统；/n步骤2，数据处理系统利用生成对抗网络(GAN)对步骤1中不同的手势样本图片进行扩展；/n步骤3，对步骤2获得的扩展手势图片制作相应的标签，然后将扩展得到的手势图片及其对应的标签输入到卷积神经网络(CNN)中，从而完成CNN分类识别模型的预训练；/n步骤4，高清摄像机实时采集不同手势样本图片，而后通过WIFI传送至机器人数据处理系统；/n步骤5，数据处理系统利用预训练好的CNN模型对步骤4中所采集的照片进行分类识别，并将相关的识别信息通过WIFI上传至MYSQL数据库进行存储；/n步骤6，机器人根据CNN识别结果执行相应的动作，至此，整个闭环过程结束。/n

【技术特征摘要】
1.基于GAN-CNN框架的机器人手势识别方法，具体步骤如下，其特征在于：
步骤1，高清摄像机预先采集不同手势样本图片，而后通过WIFI传送至机器人数据处理系统；
步骤2，数据处理系统利用生成对抗网络(GAN)对步骤1中不同的手势样本图片进行扩展；
步骤3，对步骤2获得的扩展手势图片制作相应的标签，然后将扩展得到的手势图片及其对应的标签输入到卷积神经网络(CNN)中，从而完成CNN分类识别模型的预训练；
步骤4，高清摄像机实时采集不同手势样本图片，而后通过WIFI传送至机器人数据处理系统；
步骤5，数据处理系统利用预训练好的CNN模型对步骤4中所采集的照片进行分类识别，并将相关的识别信息通过WIFI上传至MYSQL数据库进行存储；
步骤6，机器人根据CNN识别结果执行相应的动作，至此，整个闭环过程结束。


2.根据权利要求1所述的基于GAN-CNN框架的机器人手势识别方法，其特征在于：步骤2中GAN网络模型训练的步骤为：
步骤2.1，固定生成器G，训练鉴别器D；
步骤2.2，固定鉴别器D，训练生成器G；
步骤2.3，重复步骤2.1和步骤2.2，直至整个网络达到纳什平衡或者迭次次数达到设定的最大值，整个对抗过程的目标函数可以表示为：



式中，pdata(x)表示真实样本x的分布概率，pz(z)表示生成器G的输入噪声变量z的分布概率z的分布概率，D(x)表示D鉴别x来源于真实样本的概率，D(G(z))表示D鉴别z来源于虚假样本的概率。


3.根据权利要求1所述的基于GAN-CNN框架的机器人手势识别方法，其特征在于...

【专利技术属性】
技术研发人员：司海飞，胡兴柳，史震，方挺，
申请(专利权)人：金陵科技学院，
类型：发明
国别省市：江苏;32