基于虚拟现实下的图像识别系统及其方法技术方案

本发明专利技术公开了一种基于虚拟现实下的图像识别系统及其方法，包括摄像头、控制器和智能电脑；其中：摄像头，所述摄像头同控制器相通信连接；控制器，所述控制器中包括着图形预处理模块，所述控制器同智能电脑相控制连接；智能电脑，所述智能电脑中包括着识别模块和分类器。结合其方法避免了现有技术中手势识别所引用的算法的时空消耗太高、实时性不够、识别率低以及纠偏效果不佳的缺陷。

【技术实现步骤摘要】

本专利技术涉及一种虚拟现实
，尤其是涉及一种基于虚拟现实下的图像识别系统及其方法。
技术介绍
目前虚拟现实环境用户动作信息的识别技术通常有两种方法：一是采用穿戴式设备如数据手套、空间跟踪定位器等直接采集用户的动作、手势等信息；二是利用机器视觉技术对摄像头采集到的用户动作的图像和视频进行处理，提取手势、位置及脸部相关特征。第一种方法目前技术上相对成熟，但穿戴式设备往往会束缚用户的动作，使用不够方便。而第二种方法特别是在手势识别方面往往存在如下问题：手势识别所引用的算法的时空消耗太高、实时性不够、识别率低以及纠偏效果不佳。
技术实现思路
本专利技术所要解决的技术问题在于提供一种基于虚拟现实下的图像识别系统及其方法，避免了现有技术中手势识别所引用的算法的时空消耗太高、实时性不够、识别率低以及纠偏效果不佳的缺陷。为解决上述技术问题，本专利技术的技术解决方案是：一种基于虚拟现实下的图像识别系统，包括摄像头、控制器和智能电脑；其中：摄像头，所述摄像头同控制器相通信连接；控制器，所述控制器中包括着图形预处理模块，所述控制器同智能电脑相控制连接；智能电脑，所述智能电脑中包括着识别模块和分类器。所述摄像头为全景摄像头；所述智能电脑为监控中心计算机，所述监控中心计算机通过无线通信模块与控制器通信连接。所述基于虚拟现实下的图像识别系统的方法，具体如下：步骤1：通过摄像头采集手语者的动作视频，然后把动作视频发送到控制器中，预处理模块对视频流建立背景，当前帧与背景作差得到前景图像，然后对前景图像进行纠偏；步骤2：纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中，启动识别模块在纠偏后的前景图像中提取肤色块；步骤3：接着计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；步骤4：根据肤色块的深度信息对手部进行定位并提取关键帧，并对关键帧的手部区域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧；步骤5：提取关键帧的一种或多种手型特征；步骤6：根据提取的手型特征，使用单个分类器进行分类或者使用多个分类器进行投票表决，得到静态手势识别结果；步骤7：对手势的运动轨迹进行识别，得到轨迹识别结果；步骤8：对静态手势识别结果和轨迹识别结果进行纠错与拼接，得到手语的识别翻译结果。所述对前景图像进行纠偏的方法包括所述基于高斯分布的自动白平衡算法或基于HSV颜色空间的自动白平衡算法。所述提取关键帧是通过分析动作特征的变化曲线来自动提取动作序列的关键帧，提取关键帧的特征并结合视频序列的全局特征来作为分类器的输入。所述手型特征基于形状区域内部距离和傅立叶变换，能有效侦测形状轮廓的细微变化，并且同样具有旋转、平移不变性。所述手势特征提取包括有：颜色和纹理特征、运动特征、形状几何特征或局部特征。经由本专利技术的结构，与现有技术相比，本专利技术的优点在于：提出了基于高斯分布的自动白平衡算法或基于HSV颜色空间的自动白平衡算法等。实验表明，该算法优于对比的经典算法，具有较好的纠偏效果。关键帧是反映动作序列的关键环节，最新的研究成果表明：关键帧技术能有效表征人体动作序列，且能有效降低算法的时空消耗。通过形状标准数据库的实验表明，与同类方法相比，本方法具有良好的实时性和较高的识别率。附图说明图1是所述基于虚拟现实下的图像识别系统的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，基于虚拟现实下的图像识别系统，包括摄像头、控制器和智能电脑；其中：摄像头，所述摄像头同控制器相通信连接；控制器，所述控制器中包括着图形预处理模块，所述控制器同智能电脑相控制连接；智能电脑，所述智能电脑中包括着识别模块和分类器。所述摄像头为全景摄像头；所述智能电脑为监控中心计算机，所述监控中心计算机通过无线通信模块与控制器通信连接。所述图形预处理模块用来对视频流建立背景，当前帧与背景作差得到前景图像，然后对前景图像进行纠偏；用来把纠偏后的前景图像发送到智能电脑中。所述识别模块用来在纠偏后的前景图像中提取肤色块；用来计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；用来根据肤色块的深度信息对手部进行定位并提取关键帧，并对关键帧的手部区域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧；用来提取关键帧的一种或多种手型特征。所述分类器用来进行投票表决，得到静态手势识别结果。所述基于虚拟现实下的图像识别系统的方法，具体如下：步骤1：通过摄像头采集手语者的动作视频，然后把动作视频发送到控制器中，预处理模块对视频流建立背景，当前帧与背景作差得到前景图像，然后对前景图像进行纠偏；步骤2：纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中，启动识别模块在纠偏后的前景图像中提取肤色块；步骤3：接着计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；步骤4：根据肤色块的深度信息对手部进行定位并提取关键帧，并对关键帧的手部区域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧；步骤5：提取关键帧的一种或多种手型特征；步骤6：根据提取的手型特征，使用单个分类器进行分类或者使用多个分类器进行投票表决，得到静态手势识别结果；步骤7：对手势的运动轨迹进行识别，得到轨迹识别结果；步骤8：对静态手势识别结果和轨迹识别结果进行纠错与拼接，得到手语的识别翻译结果。针对图像采集中可能产生的偏色现象，提出了新的自动白平衡算法图像采集中可能产生的偏色现象非常常见，原因也是多种多样。偏色图像会直接影响后续的识别结果，特别是采用肤色模型进行手语/手势区域分割时。因此，在大量实验的基础上，针对不同情况，分别提出了基于高斯分布的自动白平衡算法或基于HSV颜色空间的自动白平衡算法等。实验表明，该算法优于对比的经典算法，具有较好的纠偏效果。也即所述对前景图像进行纠偏的方法包括所述基于高斯分布的自动白平衡算法或基于HSV颜色空间的自动白平衡算法。关键帧是反映动作序列的关键环节，最新的研究成果表明：关键帧技术能有效表征人体动作序列，且能有效降低算法的时空消耗。本方法中所述提取关键帧是通过分析动作特征的变化曲线来自动提取动作序列的关键帧，提取关键帧的特征并结合视频序列的全局特征来作为分类器的输入，在国外动作标准库中取得了良好的实验效果。提出了一种新的手型特征在手势识别中，手型特征，也即形状描述符是其中的重要特征之一。本方法提出了一种新的形状描述符，所述手型特征基于形状区域内部距离和傅立叶变换，能有效侦测形状轮廓的细微变化，并且同样具有旋转、平移不变性。通过形状标准数据库的实验表明，与同类方法相比，本方法具有良好的实时性和较高的识别率。通过比较手势识别中的形状和纹理特征，提出了后续的研究方向在基于表观的手语识别中，手势特征的提取需要具备代表性和稳定性。比较有代表性的所述手势特征提取包括有：颜色和纹理特征、运动特征、形状几何特征或局部特征。若对常用的几种形状和纹理特征（Hu矩和Zernike矩、局部二值模式、灰度共生矩阵以及梯度直方图）进行分析和比较，在大本文档来自技高网...

【技术保护点】
一种基于虚拟现实下的图像识别系统，其特征在于，包括摄像头、控制器和智能电脑；其中：摄像头，所述摄像头同控制器相通信连接；控制器，所述控制器中包括着图形预处理模块，所述控制器同智能电脑相控制连接；智能电脑，所述智能电脑中包括着识别模块和分类器。

【技术特征摘要】
1.一种基于虚拟现实下的图像识别系统，其特征在于，包括摄像头、控制器和智能电脑；其中：摄像头，所述摄像头同控制器相通信连接；控制器，所述控制器中包括着图形预处理模块，所述控制器同智能电脑相控制连接；智能电脑，所述智能电脑中包括着识别模块和分类器。2.根据权利要求1所述的基于虚拟现实下的图像识别系统，其特征在于所述摄像头为全景摄像头；所述智能电脑为监控中心计算机，所述监控中心计算机通过无线通信模块与控制器通信连接。3.根据权利要求1所述的基于虚拟现实下的图像识别系统，其特征在于所述图形预处理模块用来对视频流建立背景，当前帧与背景作差得到前景图像，然后对前景图像进行纠偏；用来把纠偏后的前景图像发送到智能电脑中。4.根据权利要求1所述的基于虚拟现实下的图像识别系统，其特征在于所述识别模块用来在纠偏后的前景图像中提取肤色块；用来计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；用来根据肤色块的深度信息对手部进行定位并提取关键帧，并对关键帧的手部区域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧；用来提取关键帧的一种或多种手型特征。5.根据权利要求1所述的基于虚拟现实下的图像识别系统，其特征在于所述分类器用来进行投票表决，得到静态手势识别结果。6.根据权利要求1所述的基于虚拟现实下的图像识别系统的方法，其特征在于，具体如下：步骤1：通过摄像头采集手语者的动作视频，然后把动作视频发送到控制器中，预处理模块对视频流建立背景，当前帧与背景作差得到前景图像，然后对前景图像进行纠偏；步骤2：纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中，启动识别模块在纠偏后的前景图像中提取肤色块；步骤3：接着计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；步骤4：根据肤色块的深度信息对手部进行定位并提取关键帧，并对关键帧的手部区域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧；步骤5：提取关键帧的一种或多种手型特征；步骤6：根据提取的手型特征，使用单个分类器进行分类或者使用多个分类器进行投票表决，得到静态手势识别结果；步骤7：对手势的运动轨迹进行识别，得到轨迹识别结果；步骤8：对静态手势识别结果和轨迹识别结果进行纠错与拼接，得到手语的识别翻译结果。7.根据权利要求6所述的基于虚拟现实下的图像识别系统的方法，其特征在于所述对前景图像进行纠偏的方法包括所述基于高斯分布的自动白平衡算法或基于HSV颜色空间的自动白平衡算法。8.根据权利要求7所述的基于虚拟现实下的图像识别系统的方法，其特征在于所述提取关键帧是通过分析动作特征的变化曲线来自动提取动作序列的关键帧，提取关键帧的特征并结合视频序列的全局特征来作为分类器的输入。9.根据权利要求8所述的基于虚拟现实下的图像识别系统的方法，其特征在于所述手型特征基于形状区域内部距离和傅立叶变换，能有效侦测形状轮廓的细微变化，并且同样具有旋转、平移不变性；所述手势特征提取包括有：颜色和纹理特征、运动特征、形状几何特征或局部特征。10.根据权利要求9所述的基于虚拟现实下的图像识别系统的方法，其特征在于另外所述纠偏后通过控制器运行预处理模块把纠偏后的前景图像发送到智能电脑中的方式的方式为首先预设控制器和网络，所述网络包括接入实现装置，所述接入实现装置包括3G无线单元，所述3G无线单元完成3G无线网络接入，建立3G无线数据链路，智能电脑同3G无线网络相连接，所述控制器包括处理器，所述处理器同3G模块和触摸屏相连接，接着控制器将用户的操作动作通过网络发送给智能电脑的步骤如下：步骤1：事先针对智能电脑的识别码进行标记后运行并启动至其第二增速发送程序，控制器获取到纠偏后的前景图像后，运行并启动至第一增速发送程...

【专利技术属性】
技术研发人员：周安涛，
申请(专利权)人：金陵科技学院，
类型：发明
国别省市：江苏;32