一种智能人机交互系统及其方法技术方案

本发明专利技术涉及人机交互技术领域，且公开了一种智能人机交互系统，包括Kinect体感设备、人脸验证模块、智能控制模块、登录模块和视频播放器，所述Kinect体感设备含有Kinect传感器，所述Kinect传感器用于对人脸图像、音频、深度图像和骨骼图像数据的获取，所述人脸验证模块含有人脸识别模块。该智能人机交互系统及其方法，通过采用计算机输入设备Kinect传感器，利用人脸识别技术确认用户身份，同时运用手势识别与语音识别技术，实现用户无需穿戴和接触设备，达到与视频播放器之间智能化、个性化的非接触式交互，从而达到智能控制的效果，并且可以最大限度地提高人与机器之间交互的便利性，通过人脸识别实现自动便捷的系统验证，从而提高个人信息的安全性。高个人信息的安全性。高个人信息的安全性。

【技术实现步骤摘要】
一种智能人机交互系统及其方法


[0001]本专利技术涉及人机交互
，具体为一种智能人机交互系统及其方法。

技术介绍

[0002]人机交互是一门研究系统与用户之间的交互关系的学问，系统可以是各种各样的机器，也可以是计算机化的系统和软件，人机交互界面通常是指用户可见的部分，用户通过人机交互界面与系统交流，并进行操作，小如收音机的播放按键，大至飞机上的仪表板，或发电厂的控制室，人机交互界面的设计要包含用户对系统的理解，那是为了系统的可用性或者用户友好性。
[0003]经检索到中国专利CN112788148A并公开了一种智能人机交互系统及方法，通过设置分别与云系统通信连接的设备A和设备B，用户基于云系统通过设备A与设备B的多端交互，将传统玩具向智能玩具转化，让玩具/玩偶具备拟人特性，且变成人和人之间的交互寄托，提高了玩具的智能化程度，通过自定义信息，使用户可以根据需要进行自定义设置，避免了普通玩具存在的千篇一律的反馈，充分尊重个性，让玩具的交互体现个性化和多样性，实现了交互的输入和反馈方式可定制，通过信息推荐模块，实现玩具的智能化和智慧化，让玩具越来越懂用户，玩具系统根据用户的习惯，自动为用户推荐、选择输入和反馈方式的能力，该专利虽然能够提高智能化程度，然而在进行人机交互时，也是需要提高交互时的便利性，该专利在进行交互时较为繁琐，会延长交互的时间，减少了用户的体验感，鉴于此，提出了一种智能人机交互系统及其方法。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种智能人机交互系统及其方法，具备人机交互便利性高的优点，解决了人机交互繁琐的问题。
[0006](二)技术方案
[0007]为实现上述人机交互便利性高的目的，本专利技术提供如下技术方案：一种智能人机交互系统，包括Kinect体感设备、人脸验证模块、智能控制模块、登录模块和视频播放器，所述Kinect体感设备含有Kinect传感器，所述Kinect传感器用于对人脸图像、音频、深度图像和骨骼图像数据的获取，所述人脸验证模块含有人脸识别模块，所述人脸识别模块包括人脸检测模块、特征提取模块和分类识别模块。
[0008]进一步，所述人脸验证模块与Kinect体感设备和登录模块连接，所述智能控制模块与Kinect体感设备和视频播放器连接，所述特征提取模块与人脸检测模块和分类识别模块连接，所述登录模块和视频播放器连接有外界设备。
[0009]进一步，所述智能控制模块包括语音识别模块和手势识别模块，所述语音识别模块和手势识别模块可以自由相互切换。
[0010]进一步，所述人脸检测模块和特征提取模块采用OpenVINO，所述OpenVINO对使用
的神经网络进行优化部署。
[0011]本专利技术要解决的另一技术问题是提供一种智能人机交互方法，包括以下步骤：
[0012]步骤一：Kinect传感器对数据的采集，用Kinect传感器对人脸图像、音频、深度图像和骨骼图像数据的获取；
[0013]1)获取深度图像的成像方法采用结构光编码方法和飞行时间法；
[0014]2)获取骨骼图像数据的方法：
[0015]①
将单个输入的深度图像分割为密集的身体部位标记，并且推断出骨骼附近感兴趣区域的关节；
[0016]②
将推断出的部分重新投射到世界坐标空间中，生成每个骨骼关节的三维位置坐标；
[0017]③
Kinect传感器对获取的深度数据进行分析并提取特征向量，将其送至随机决策森林进行人体各部位的分类，骨骼关节分类和预测使用机器学习中的随机森林；
[0018]④
利用随机决策森林对深度图像中提取的特征进行训练学习，经训练后师可以对深度图像中每个像素进行判断，确定是否属于身体骨骼关节，并实时更新骨骼关节点的三维坐标信息；
[0019]步骤二：将数据传输给人脸识别模块或者智能交互模块，人脸识别模块进行人脸检测时采用SSD算法，利用卷积神经网络来进行检测，将VGG16作为SSD模型的主干网络，并在此基础上增加若千个不同的卷积层，卷积层的主要目的是获取更多的特征图用于目标检测，智能交互模块进行交互切换采用DFE算法，驱使外界设备以完成整个交互过程。
[0020]优选的，步骤一中所述的结构光编码方法，包括以下步骤：
[0021]步骤一：Kinect的红外发射器连续不断地发射脉冲信号，脉冲信号会在物体表面形成红外线斑点图；
[0022]步骤二：红外接收器会采集物体表面的斑点图，运用物体成像原理形成红外线斑点图；
[0023]步骤三：红外接收器会采集物体表面的斑点图，运用物体成像原理形成深度图像。
[0024]优选的，步骤一中所述的飞行时间法，包括以下步骤：
[0025]步骤一：Kinect的红外发射器不断地发射红外光线；
[0026]步骤二；到达物体表面后进行反射，深度相机接收反射回来的红外光线；
[0027]步骤三：对红外光线发射与接受之间的飞行时间进行计算，便可得到Kinect与物体之间的深度距离。
[0028]优选的，SSD算法具体方法是输入一张300x300x3的图片，图片经过SSD特征提取网络的卷积运算生成一系列特征图，SSD选择其中的6个(Conv4
‑
3、Cony7、Conv8
‑
2、Cony9
‑
2、Conv10
‑
2、Conv11
‑
2)作为有效特征层，6个有效特征层最后可以提取到6个不同尺度的特征图，接下来SSD对特征图进行密集采样，采样时使用不同尺度和长宽比，然后卷积运算获得目标区域位置与类别的预测信息，并将各个特征终获得的信息合并，最后使用非极大值抑制的方法筛选出最终的检测结果。
[0029]优选的，步骤二中所述DFE算法是随机森林中的每层节点选取相同的决策，则树结构就可以转为结构相对单一的蕨结构，DFE算法以手部周围36x36像素的深度图像作为数据样本，对手势图像进行特征提取，每一个Fern均对图像块Q中成对的像素灰度值进行计算，
若像素点q比q，的灰度值小，则该点的特征值为1，用U，表示像素点q的邻域，统计q邻域内N维灰度向量：c
″
q
＝ξ(C
n
Q
U(q)
)∈{0，1}
K
，式中，矩阵C"行向量有(c
n
)T，
……
，(c
n
k)T，ξ为赫维赛德函数，C是U(q)的稀疏向量，再对灰度向量进行空间直方图编码F
m
(C)：式中，ψ是离散三角函数，Dn是Fernn的空间聚合区域，最后使用一个线性分类器应用于N个fern直方图的拼接，得到DFE分类器，下面元素a＝{Wn，Cn，Dn}Nn
‑
1，则分类器:式中，W＝{W1，
…
，W
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能人机交互系统，其特征在于，包括Kinect体感设备、人脸验证模块、智能控制模块、登录模块和视频播放器，所述Kinect体感设备含有Kinect传感器，所述Kinect传感器用于对人脸图像、音频、深度图像和骨骼图像数据的获取，所述人脸验证模块含有人脸识别模块，所述人脸识别模块包括人脸检测模块、特征提取模块和分类识别模块。2.根据权利要求1所述的一种智能人机交互系统，其特征在于，所述人脸验证模块与Kinect体感设备和登录模块连接，所述智能控制模块与Kinect体感设备和视频播放器连接，所述特征提取模块与人脸检测模块和分类识别模块连接，所述登录模块和视频播放器连接有外界设备。3.根据权利要求1所述的一种智能人机交互系统，其特征在于，所述智能控制模块包括语音识别模块和手势识别模块，所述语音识别模块和手势识别模块可以自由相互切换。4.根据权利要求1所述的一种智能人机交互系统，其特征在于，所述人脸检测模块和特征提取模块采用OpenVINO，所述OpenVINO对使用的神经网络进行优化部署。5.采用权利要求1
‑
4任意一项所述一种智能人机交互系统的方法，其特征在于，包括以下步骤：步骤一：Kinect传感器对数据的采集，用Kinect传感器对人脸图像、音频、深度图像和骨骼图像数据的获取；1)获取深度图像的成像方法采用结构光编码方法和飞行时间法；2)获取骨骼图像数据的方法：
①
将单个输入的深度图像分割为密集的身体部位标记，并且推断出骨骼附近感兴趣区域的关节；
②
将推断出的部分重新投射到世界坐标空间中，生成每个骨骼关节的三维位置坐标；
③
Kinect传感器对获取的深度数据进行分析并提取特征向量，将其送至随机决策森林进行人体各部位的分类，骨骼关节分类和预测使用机器学习中的随机森林；
④
利用随机决策森林对深度图像中提取的特征进行训练学习，经训练后师可以对深度图像中每个像素进行判断，确定是否属于身体骨骼关节，并实时更新骨骼关节点的三维坐标信息；步骤二：将数据传输给人脸识别模块或者智能交互模块，人脸识别模块进行人脸检测时采用SSD算法，利用卷积神经网络来进行检测，将VGG16作为SSD模型的主干网络，并在此基础上增加若千个不同的卷积层，卷积层的主要目的是获取更多的特征图用于目标检测，智能交互模块进行交互切换采用DFE算法，驱使外界设备以完成整个交互过程。6.根据权利要求5所述的一种智能人机交互方法，其特征在于，步骤一中所述的结构光编码方法，包括以下步骤：步骤一：Kinect的红外发射器连续不断地发射脉冲信号，脉冲信号会在物体表面形成红外线斑点图；步骤二：红外接收器会采集物体表面的斑点图，运用物体成像原理形成红外线斑点图；步骤三：红外...

【专利技术属性】
技术研发人员：沈易娟，徐艳玲，祝娅婷，贺霄娟，李峥，钱枫，
申请(专利权)人：武昌理工学院，
类型：发明
国别省市：