一种虚拟现实学习课堂的三维手势识别算法制造技术

本发明专利技术涉及虚拟现实技术的技术领域，特别是涉及一种虚拟现实学习课堂的三维手势识别算法，其在不需要大量数据样本和手势类型较多的情况下，也能取到较好的效果，适合实时手势识别，满足不同环境下的VR三维手势交互；在数据源内，由摄像机随机获取三维手势，之后将三维手势样本进行初始化与矩阵化，然后依据手势图像降噪预处理算法，之后选择重要度高的特征，对原始数据样本优化，剔除重要度低的特征，之后采用XGBoost算法建立最优决策树，利用多种识别算法对参数优化，设置准确度阈值，在达到准确度阈值时，输出三维手势识别的结果，未达到准确度阈值的再重复采用XGBoost算法建立最优决策树，利用多种识别算法对参数优化，设置准确度阈值。置准确度阈值。置准确度阈值。

A 3D gesture recognition algorithm in virtual reality learning classroom

【技术实现步骤摘要】
一种虚拟现实学习课堂的三维手势识别算法


[0001]本专利技术涉及虚拟现实技术的
，特别是涉及一种虚拟现实 学习课堂的三维手势识别算法。

技术介绍

[0002]虚拟现实关键技术不断突破，沉浸式虚拟现实技术愈发成熟，带 动教育创新，注入了新的活力，国家层面也开始鼓励将沉浸式虚拟现 实技术应用于教学。虚拟现实学习课堂是利用电脑模拟产生一个三度 空间的虚拟世界，整合各类媒体资源，提供学习者关于视觉、听觉、 触觉等感官的模拟，让学习者有身临其境的感觉，具有多感官通道刺 激的独特优势，可以没有限制、即时性地观察三维空间内的事物，通 过头盔等硬件设备来感知动作并且进行交互，延伸学习范围，可以更 大程度上提升学习者的参与度和动机。
[0003]在虚拟现实学习课堂中，3D手势识别必不可少。对于沉浸式的 虚拟现实3D场景，3D手势交互能够通过各种交互行为刺激用户的视 觉、触觉、听觉等感知系统，从而建立全方位的感官体验。虽然在虚 拟现实学习课堂的VR环境交互中，3D手势识别的功能性更强大，但 相比于语音和文字,因为要对多台摄像机采集的手势图像进行跟踪和 处理，实现过程更为复杂，对图像识别技术的依赖程度更高，手势特 征提取的复杂度随着VR交互的需求度攀升。
[0004]近年来在手势识别方面的研究主要基于视觉和基于传感的方法， 大部分基于从单一的深度图像对三维手部姿态进行实时估计，3D手 势识别性弱，无法达到虚拟现实学习课堂的需求。因此，考虑到虚拟 现实学习课堂VR三维手势的适应度、VR交互的复杂性及今后VR应 用环境的扩展，采用基于视觉的方法，在随机森林算法和机器学习算 法的基础上，提出了一种新的适用于虚拟现实学习课堂的三维手势识 别算法。
[0005]近年来在手势识别方面的研究有通过摄像机获取颜色和深度信 息；有提出基于潜回归森林的无监督学习方法，从单一的深度图像对 三维手部姿态进行实时估计；或是通过手套捕获手指关节的三维旋转 数据，采用卷积神经网络进行手势实时识别。基于视觉和传感器的方 法对舒适性和自然度有较大影响且成本较高。而在手势识别算法中， 神经网络方法虽然能够取得很好的效果，但是需要有大量的数据样 本，训练时间很长。
[0006]现有的技术，在手势识别算法中如基于视觉和传感器的方法，对 舒适性和自然度有较大影响且成本较高；而神经网络方法虽然能够取 得很好的效果，但是需要有大量的数据样本，训练时间很长。

技术实现思路

[0007]为解决上述技术问题，本专利技术提供一种在不需要大量数据样本和 手势类型较多的情况下，也能取到较好的效果，适合实时手势识别， 满足不同环境下的VR三维手势交互的一种虚拟现实学习课堂的三维 手势识别算法。
[0008]本专利技术的一种虚拟现实学习课堂的三维手势识别算法，步骤如 下：
[0009]S1、在数据源内，由摄像机随机获取三维手势样本，之后将三维 手势样本进行初始化与矩阵化；
[0010]S2、依据手势图像降噪预处理算法，采取中值滤波算法降噪；
[0011]S3、采用二值化手势图像形态学处理，获取更加完整的手势；
[0012]S4、采用随机森林算法对样本特征进行降维和重要度排名，之后 选择重要度高的特征，对原始数据样本优化，剔除重要度低的特征；
[0013]S5、采用XGBoost算法建立最优决策树，利用多种识别算法对参 数优化，设置准确度阈值；
[0014]S6、在达到准确度阈值时，输出三维手势识别的结果，未达到准 确度阈值的再重复采用XGBoost算法建立最优决策树，利用多种识别 算法对参数优化，设置准确度阈值，
[0015]本专利技术的一种虚拟现实学习课堂的三维手势识别算法，手势图像 降噪预处理算法，手势图像中值滤波算法降噪，采用中值滤波技术滤 除噪点，并同时保留图像边缘信息，避免手势图像边缘轮廓的模糊， 将样本内像素点按照一定的顺序排列，升降序都可以，噪声点的排列 位置大概率是靠近两端位置，当像素点个数为偶数时，取样本中间两 位像素点的平均值作为中心像素；当像素点个数为奇数时，取样本中 间位置像素作为中心像素点的值，定义手势图像为f(u,v),二维样本 为H，利用算法对手势图像f(u,v)进行中值滤波后，得到的图像为：
[0016]u v＝Hed
uv∈N
f u v
[0017]其中，f(u,v)为手势图像,H为二维样本，N为计算机样本M覆盖 的图像像素点位置取值的范围，Hed为样本内像素的中位数运算。
[0018]本专利技术的一种虚拟现实学习课堂的三维手势识别算法，二值化手 势图像形态学处理包括腐蚀算法，腐蚀算法是求手势样本图像区域最 小值，并将该值作为指定像素点的值，假定一个待处理的样本区域为 X，Y为结构元素，样本区域X与结构元素Y卷积运算后，得出局部 最小值，结构元素Y对目标区城X的腐蚀记为当结构元素Y 的中心原点在腐蚀后的区城中平移时，结构元素Y始终完全包含于目 标区城X中，腐蚀运算可以将图像边界点消除，可以将边界向内部压 缩，使部分区域缩小，因此可以用来消除微小的噪声干扰点，腐蚀运 算算法为：
[0019][0020]其中，X为样本区域，Y为结构元素，为结构元素Y对目标 区城X的腐蚀。
[0021]本专利技术的一种虚拟现实学习课堂的三维手势识别算法，还包括膨 胀算法，膨胀算法是手势样本图像区域最大值,并将该值作为指定像 素点的值，假定一个待处理目标区域为X，Y为结构元素，样本区域 X与结构元素Y卷积运算后，得出局部最大值，结构元素Y对目标区 城X的膨胀记为当结构元素Y的中心原点在膨胀后的区域中 平移时，结构元素Y始终与目标区域X的交集非空，膨胀运算可以使 图像中的白色高亮区域扩大，可以对白色区域中微小的黒暗噪点进行 吞噬，因此可以消除白色区域中黑暗噪点，膨胀运算算法为：
[0022][0023]其中，X为样本区域，Y为结构元素，为结构元素Y对目标 区城X的膨胀。
[0024]本专利技术的一种虚拟现实学习课堂的三维手势识别算法，还包括开 运算，开运算是先对手势样本图像进行腐蚀，再对图像进行膨胀操作 使用结构元素Y对目标区城X进行开运算操作，可记作开运 算在手势样本图像处理中将目标区域的细小连接线切断，使物体不再 粘连，并保证在保证物体面积不变的情况下，平滑较大物体的边界， 以达到有效去除小型高亮噪声区城的目的，开运算算法为：
[0025][0026]其中，X为样本区域，Y为结构元素，为结构元素Y对目标 区城X的开运算。
[0027]本专利技术的一种虚拟现实学习课堂的三维手势识别算法，还包括闭 运算，闭运算是先对手势样本图像进行膨胀操作，再对图像进行腐蚀 操作，使用结构元素Y对目标区域X进行闭运算操作，可记作X
·
Y， 闭运算在手势样本图像处理中较为有效去除小型黑色空洞区城，消除 白色高亮区城中黑暗孤立点，将目标区域的边缘轮廓上的凹陷部分进 行填补，使轮廓更加平滑。闭运算算法为：
[0028][0029]其中，X为样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟现实学习课堂的三维手势识别算法，其特征在于，步骤如下：S1、在数据源内，由摄像机随机获取三维手势样本，之后将三维手势样本进行初始化与矩阵化；S2、依据手势图像降噪预处理算法，采取中值滤波算法降噪；S3、采用二值化手势图像形态学处理，获取更加完整的手势；S4、采用随机森林算法对样本特征进行降维和重要度排名，之后选择重要度高的特征，对原始数据样本优化，剔除重要度低的特征；S5、采用XGBoost算法建立最优决策树，利用多种识别算法对参数优化，设置准确度阈值；S6、在达到准确度阈值时，输出三维手势识别的结果，未达到准确度阈值的再重复采用XGBoost算法建立最优决策树，利用多种识别算法对参数优化，设置准确度阈值。2.如权利要求1的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，手势图像降噪预处理算法，手势图像中值滤波算法降噪，采用中值滤波技术滤除噪点，并同时保留图像边缘信息，避免手势图像边缘轮廓的模糊，将样本内像素点按照一定的顺序排列，升降序都可以，噪声点的排列位置大概率是靠近两端位置，当像素点个数为偶数时，取样本中间两位像素点的平均值作为中心像素；当像素点个数为奇数时，取样本中间位置像素作为中心像素点的值，定义手势图像为f(u,v),二维样本为H，利用算法对手势图像f(u,v)进行中值滤波后，得到的图像为：g(u,v)＝Hed
(u,v)∈N
f(u,v)其中，f(u,v)为手势图像,H为二维样本，N为计算机样本M覆盖的图像像素点位置取值的范围，Hed为样本内像素的中位数运算。3.如权利要求2的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，二值化手势图像形态学处理包括腐蚀算法，腐蚀算法是求手势样本图像区域最小值，并将该值作为指定像素点的值，假定一个待处理的样本区域为X，Y为结构元素，样本区域X与结构元素Y卷积运算后，得出局部最小值，结构元素Y对目标区城X的腐蚀记为当结构元素Y的中心原点在腐蚀后的区城中平移时，结构元素Y始终完全包含于目标区城X中，腐蚀运算可以将图像边界点消除，可以将边界向内部压缩，使部分区域缩小，因此可以用来消除微小的噪声干扰点，腐蚀运算算法为：其中，X为样本区域，Y为结构元素，为结构元素Y对目标区城X的腐蚀。4.如权利要求3的一种虚拟现实学习课堂的三维手势识别算法，其特征在于，还包括膨胀算法，膨胀算法是手势样本图像区域最大值,并将该值作为指定像素点的值，假定一个待处理目标区域为X，Y为结构元素，样本区域X与结构元素Y卷积运算后，得出局部最大值，结构元素Y对目标区城X的膨胀记为当结构元素Y的中心原点在膨胀后的区域中平移时，结构元素Y始终与目标区域X的交集非空，膨胀运算可以使图像中的白色高亮区域扩大，可以对白色区域中微小的黒暗噪点进行吞噬，因此可以消除白色区域中黑暗噪点，膨胀运算算法...

【专利技术属性】
技术研发人员：许倩倩，边晓鋆，
申请(专利权)人：杭州市电子信息职业学校许倩倩，
类型：发明
国别省市：