一种基于深度摄像头的演示辅助系统技术方案

本发明专利技术提供一种基于深度摄像头的演示辅助系统，包括：数据采集模块、位置控制模块、手势识别模块、演示功能控制模块，其中：数据采集模块，包括深度摄像头，深度摄像头安放于云台上并通过电机控制云台旋转角度，用于采集用户的手势深度图像；位置控制模块，根据采集的手势深度图像识别出用户手势位置操控所述云台转动，实现实时跟踪；手势识别模块，根据采集的手势深度图像识别出用户手势，并转化为相应的操作指令；演示功能控制模块，用于根据所述操作指令执行演示辅助功能。本发明专利技术通过采集演讲者的手势图像，并对手势进行精准的识别，并将不同的手势转化成不同的执行命令，对演示系统进行操作，操作简单、方便。

【技术实现步骤摘要】
一种基于深度摄像头的演示辅助系统
本专利技术涉及电子
，特别是一种基于深度摄像头的演示辅助系统。
技术介绍
目前，在大型会议、教学等演示任务中，通常将电脑中需要演示的文件通过投影仪投放到大屏幕上，而演讲人通常站在大屏幕旁边进行演示，不方便同时操控电脑，在这种情况下，演讲人通常需要另外一名人员帮忙辅助控制电脑，以控制大屏幕上显示的内容。现有技术中，演讲人可以通过使用光笔来实现采用激光点来提示听众演讲的重点，或者进行简单的翻页等功能，但此类光笔能实现的功能简单、单一，无法满足现在演示辅助设备的需求。
技术实现思路
针对上述问题，本专利技术旨在提供一种基于深度摄像头的演示辅助系统。本专利技术的目的采用以下技术方案来实现：一种基于深度摄像头的演示辅助系统，包括：数据采集模块、位置控制模块、手势识别模块、演示功能控制模块，其中：数据采集模块，包括深度摄像头，深度摄像头安放于云台上并通过电机控制云台旋转角度，用于采集用户的手势深度图像；位置控制模块，根据采集的手势深度图像识别出用户手势位置操控所述云台转动，实现实时跟踪；手势识别模块，根据采集的手势深度图像识别出用户手势，并转化为相应的操作指令；演示功能控制模块，用于根据所述操作指令执行演示辅助功能。本专利技术的有益效果为：本系统通过采集演讲者的手势图像，并对手势进行精准的识别，并将不同的手势转化成不同的执行命令，对演示系统进行操作，操作简单、方便；可以根据实际需要设定并执行不同的演示辅助功能，功能性强，满足演讲者在实际演示过程中所需的操作要求；通过位置控制控制深度摄像头跟随演讲者移动，使演讲者不受摄像头范围的限制，灵活性强；本系统兼容性强，能适用于现有的演示系统。附图说明利用附图对本专利技术作进一步说明，但附图中的实施例不构成对本专利技术的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。图1为本专利技术的框架结构图；图2为本专利技术手势识别模块的框架结构图图3为本专利技术位置控制模块中重点监控区域展示图。附图标记：数据采集模块1、位置控制模块2、手势识别模块3、演示功能控制模块4、模型建立单元30、手势跟踪单元31、匹配单元32、手势识别单元33和指令转化单元34具体实施方式结合以下应用场景对本专利技术作进一步描述。参见图1，一种基于深度摄像头的演示辅助系统，其特征在于，包括：数据采集模块1、位置控制模块2、手势识别模3、演示功能控制模块4，其中：数据采集模块1，包括深度摄像头，深度摄像头安放于云台上并通过电机控制云台旋转角度，用于采集用户的手势深度图像；位置控制模块2，根据采集的手势深度图像识别出用户手势位置操控所述云台转动，实现实时跟踪，保证演讲者的手部一直在摄像头采集的图像采集范围内。手势识别模块3，根据采集的手势深度图像识别出用户手势，并转化为相应的操作指令；演示功能控制模块4，用于根据所述操作指令执行演示辅助功能。其中，所述位置控制模块具体包括：在深度摄像头采集到的手势图像中心设定重点监控区域(具体参见图3)，所述重点监控区域为图像中心的矩形区域，当检测到手势离开了所述重点监控区域后，控制云台转动，通过调整云台转动，将演讲者手势重新定位在所述重点监控区域的中心，当演讲者手势仅仅在重点监控区域内移动时，所述位置控制模块不控制云台转动。本专利技术上述实施例，通过采集演讲者的手势图像，并对手势进行精准的识别，并将不同的手势转化成不同的执行命令，对演示系统进行操作，操作简单、方便；可以根据实际需要设定并执行不同的演示辅助功能，功能性强，满足演讲者在实际演示过程中所需的操作要求；通过位置控制控制深度摄像头跟随演讲者移动，使演讲者不受摄像头范围的限制，灵活性强；本系统兼容性强，能适用于现有的演示系统。优选地，所述演示辅助功能包括但不仅限于画笔注释、翻页、图片展示和视频播放。本优选实施例，本系统可以根据实际应用需求设定不同演示辅助功能，不同的功能可以通过演讲者采用不同的手势实现，功能性强，满足演讲者在实际演示过程中所需的操作要求。优选地，参见图2，所述手势识别模块包括模型建立单元30，手势跟踪单元31，匹配单元32、手势识别单元33和指令转化单元34，其中：模型建立单元30，用于在虚拟空间中建立三维手部模型和状态特征模型；匹配单元31，用于将获取的手势深度图像中的手势和所述三维手部模型进行实时匹配，将用户手势变化投射到三维手部模型中；手势跟踪单元32，用于对所述三维手部模型进行跟踪，获取三维手部模型的状态变化；手势识别单元33，用于根据所述三维手部模型的状态变化，对三维手部模型表达的手势进行识别，输出用户手势识别结果；指令转化单元34，用于根据所述用户手势识别结果，输出相应的操作指令。本优选实施例，通过建立三维手部模型，将手势深度图像和虚拟空间中的三维手部模型进行匹配，当演讲者手势发生变化时，三维手部模型发生同步变化，在虚拟空间中通过对三维手部模型进行跟踪，获取三维手部模型的手势变化，并对其进行识别，获取最终的识别结果，通过对三维手部模型识别演讲者手势，鲁棒性强，准确度高。优选地，所述状态特征模型包括：三维手部模型状态特征包括26个自由度，其中6个全局自由度和20个局部自由度，6个全局自由度包括3个平移和3个旋转自由度，由三维手部模型掌心的一个固定点表示，5个手指的运动对应20个局部自由度，除拇指外，各手指的MCP关节均包含1个屈伸和1个外展内收自由度，而拇指的MCP关节只包含1个屈伸自由度，拇指的IP关节，其余4个手指的PIP和DIP关节均各包含1个屈伸自由度，拇指的TM关节包含2个自由度。其中，MCP(Metacarpophalangealpoint)表示掌指关节，PIP(proximalinterphalangealpoint)表示近侧指间关节，DIP(distalinterphalangealpoint)表示远侧指间关节，IP(interphalangealpoint)表示指间关节，TM(trapezio-metacarpal)关节表示角骨关节。本优选实施例，采用上述方式建立三维手部状态特征模型，采用特殊设计的26自由度模型，能够很好地适应模型的精准度和计算的复杂度，提高系统性能。优选地，所述匹配单元32，具体包括：当所述手势深度图像中用户手势发生变化时，对三维手部模型作出相应的状态变化假设，计算三维手部模型的状态参数和图像中手势之间的状态匹配误差，选取匹配误差最小的状态参数作为三维手部模型的最优解，并根据所述最优解更新三维手部模型的状态，保持三维手部模型和图像中手势的同步匹配，其中，采用的状态匹配误差函数为：式中，表示手部图像γ与三维手部模型状态特征假设之间的匹配误差，表示剪影特征项，其中表示剪影特征匹配度，γ2(γ)表示手部图像剪影图，表示三维手部模型渲染剪影图，表示属于γ2(γ)区域而不属于区域的像素面积，表示属于区域而不属于γ2(γ)区域的像素面积，表示深度特征项，其中表示手部深度图像γ1(γ)和三维手部模型状态特征假设对应渲染深度图之间的深度偏差，T1表示设定的最大深度偏差常量，表示状态平滑项，其中表示当前帧的三维手部模型状态特征假设，表示上一帧选取的三维手部模型状态特征假设，ω1、ω2和ω3分别表示深度特征项、剪影特征项和状本文档来自技高网...

【技术保护点】
一种基于深度摄像头的演示辅助系统，其特征在于，包括：数据采集模块、位置控制模块、手势识别模块、演示功能控制模块，其中：数据采集模块，包括深度摄像头，深度摄像头安放于云台上并通过电机控制云台旋转角度，用于采集用户的手势深度图像；位置控制模块，根据采集的手势深度图像识别出用户手势位置操控所述云台转动，实现实时跟踪；手势识别模块，根据采集的手势深度图像识别出用户手势，并转化为相应的操作指令；演示功能控制模块，用于根据所述操作指令执行演示辅助功能。

【技术特征摘要】
1.一种基于深度摄像头的演示辅助系统，其特征在于，包括：数据采集模块、位置控制模块、手势识别模块、演示功能控制模块，其中：数据采集模块，包括深度摄像头，深度摄像头安放于云台上并通过电机控制云台旋转角度，用于采集用户的手势深度图像；位置控制模块，根据采集的手势深度图像识别出用户手势位置操控所述云台转动，实现实时跟踪；手势识别模块，根据采集的手势深度图像识别出用户手势，并转化为相应的操作指令；演示功能控制模块，用于根据所述操作指令执行演示辅助功能。2.根据权利要求1所述的一种基于深度摄像头的演示辅助系统，其特征在于，所述演示辅助功能包括翻页、图片展示和视频播放。3.根据权利要求1所述的一种基于深度摄像头的演示辅助系统，其特征在于，所述手势识别模块包括模型建立单元，手势跟踪单元，匹配单元和手势识别单元，其中：模型建立单元，用于在虚拟空间中建立三维手部模型和状态特征模型；匹配单元，用于将获取的手势深度图像中的手势和所述三维手部模型进行实时匹配，将用户手势变化投射到三维手部模型中；手势跟踪单元，用于对所述三维手部模型进行跟踪，获取三维手部模型的状态变化；手势识别单元，用于根据所述三维手部模型的状态变化，对三维手部模型表达的手势进行识别，输出用户手势识别结果；指令转化单元，用于根据所述用户手势识别结果，输出相应的操作指令。4.根据权利要求3所述的一种基于深度摄像头的演示辅助系统，其特征在于，所述状态特征模型包括：三维手部模型状态特征xh包括26个自由度，其中6个全局自由度和20...

【专利技术属性】
技术研发人员：赵一然，
申请(专利权)人：赵一然，
类型：发明
国别省市：北京,11