一种基于人脸识别与手势交互的电视娱乐系统技术方案

本发明专利技术公开了一种基于人脸识别与手势交互的电视娱乐系统。该系统具体包含图像采集模块、手势交互模块、指令控制模块、人脸识别模块、个性化推荐模块，界面系统。该系统以家庭娱乐产品理念出发，在传统家庭电视娱乐系统的基础上，创新性地加入了手势交互功能，并且利用实时人脸识别，为当前使用者提供一对一的个性化推荐服务，很好地解决了家庭娱乐产品中互动性差，内容信息过载的问题。本发明专利技术的交互系统相比其他手势交互系统具有低成本，少改动等优势，进一步靠近用户需求和提高用户体验效果。另外推荐系统更是对多个推荐算法进行有效融合，精准地为用户提供个性化的娱乐信息推荐，提高家庭娱乐产品效应。

A TV entertainment system based on face recognition and gesture interaction

The invention discloses a television entertainment system based on face recognition and hand gesture interaction. The system includes image acquisition module, gesture interaction module, command control module, face recognition module, personalized recommendation module, and interface system. The system of family entertainment product concept, based on traditional family entertainment system, innovative to join the gesture interaction function, and the use of real-time face recognition, to provide a personalized recommendation service for the users, a good solution to the home entertainment products in poor interaction, the content of information overload the problem. Compared with other gesture interactive systems, the interactive system of the invention has the advantages of low cost, little change, etc., and further closer to the user's requirements and the effect of improving the user experience. In addition, the recommender system is an effective fusion of a number of recommendation algorithms to provide personalized entertainment information to users, and to improve the effect of home entertainment products.

【技术实现步骤摘要】
一种基于人脸识别与手势交互的电视娱乐系统
本专利技术属于计算机视觉与人机交互
，具体涉及一种基于人脸识别与手势交互的电视娱乐系统。
技术介绍
家庭娱乐关注的主要是客厅终端所承载的一系列信息交互和视听服务智能系统。重新定位客厅，让客厅数字化是促进家庭娱乐、家庭沟通的重点。家庭用户与数字化产品具有一切操作流程不顺、信息内容繁杂等问题。为了使人与家庭娱乐产品的交流更加轻松，应该充分调用人本身的各个感觉信息通道，如语音、手势、肢体动作等。如今很多家庭消费愿意投入在诸如运动休闲、儿童教育、购物美容、陶冶情操等方面。家庭普遍认为这些消费有必要和有价值，愿意投入。这促进了对家庭娱乐产品的需求，也大大促进了相关产业的发展。但当前的家庭娱乐产品存在一些问题。第一，娱乐产品没有良好的标识现代家庭用户群；第二，家庭娱乐产品互动性差；第三，家庭娱乐产品信息过载，感兴趣的信息难以提取；第四，随着用户需求的不断提升，传统的遥控方案存在按键多操作复杂等影响用户交互的弊端，用户也越来越不满足于这一传统的交互方式。
技术实现思路
为了克服现有技术存在的上述不足，本发提出一种基于人脸识别与手势交互的电视娱乐系统与方法，以增加用户体验。本专利技术至少通过如下技术方案之一实现。一种基于人脸识别与手势交互的电视娱乐系统，包括图像采集模块、手势交互模块、指令控制模块、人脸识别模块、个性化推荐模块、界面系统，其中，图像采集模块，捕获用户在操作时做出的肢体动作信息，并将所述肢体动作信息转化成动态图像序列；手势交互模块，首先对图像采集模块获得的图像进行预处理，分屏搜索和识别用户手势，一旦识别到控制手势便进入手势控制模式，结合背景建模排除相关类肤色影响，对手势进行肤色自适应跟踪；人脸识别模块，在用户初始使用时，通过网络通信将人脸数据传送至后台服务器，调用人脸识别算法，判定用户身份，判定结果用于个性化推荐模块中确定相应的用户身份；指令控制模块，将手势交互结果转化为控制指令，结合界面系统，为用户提供趋势控制、手势鼠标的自然手势交互服务；个性化推荐模块，利用脸识别模块中的人脸识别结果，确定用户身份，调用推荐算法，推荐用户可能感兴趣内容，做到一对一的个性化推荐；界面系统，主要提供内容展示、消息提示及用户交互可视化过程，作为用户操作的直接入口；指令控制模块还进一步从界面系统中采集用户行为数据，为个性化推荐模块提供依据。进一步地，所述系统采用CS架构，包括客户端与服务端，客户端与服务端通过网络进行数据的交换；图像采集模块、手势交互模块、指令控制模块、界面系统在物理上集成为客户端；人脸识别模块、个性化推荐模块在物理上集成为服务端，通过网络向客户端提供内容信息、人脸识别结果、个性化推荐结果。进一步地，所述系统客户端平台为嵌入式移动平台或者计算机平台，服务端平台为计算机平台。进一步地，所述图像采集模块为可拆卸安装模块，由用户个人安装在适当位置。进一步地，所述手势交互模块搜索用户手势信息为分屏方式，对于每个图像帧，只对图像的一部分进行搜索，在下一图像帧中则搜索另一部分，如此反复。进一步地，所述人脸识别模块的功能包括：依托于手势交互模块提供手势位置，进而确定用户人脸位置；截取用户人脸图像，通过网络与服务端数据库存在人脸信息做配对，获取用户身份；截取用户人脸图像，通过网络传至服务端，对陌生人脸进行注册，将陌生人脸信息存进数据库，用于确定陌生人身份；所述个性化推荐模块根据获取的用户身份，读取该用户在数据库中的个性化推荐内容，通过网络传至界面系统，呈现给用户。进一步地，所述人脸位置的确定包括：在图像中确定的所有人脸位置中，选取距离手势位置最近的人脸位置；所述对陌生人脸进行注册时，截取用户头像，作为用户身份的凭证；在确定用户身份后的所有操作，指令控制模块会将用户的行为记录下来并传至服务端数据库。进一步地，个性化模块每天定时为所有注册用户生成推荐内容，存储在数据库中。进一步地，手势交互模块的工作包括：手势交互模块识别五指张开手势，系统进入控制模式；手势交互模块识别手势运动轨迹，并跟踪其轨迹，实时反应在对应的指针元素图像信号；手势交互模块识别握拳手势，指令控制模块转换控制指令，做出点击操作；手势交互模块识别挥手手势，指令控制模块转换控制指令，向左边挥手做出页面下翻操作，向右边挥手做出页面上翻操作；手势交互模块识别摇手手势，指令控制模块转换控制指令，做出返回操作；手势交互模块识别双掌运动手势，识别到用户两个手掌，并反向移动，指令控制模块转换控制指令，做出放大操作，相向移动，指令控制模块转换控制指令，做出缩小操作。与现有技术相比，本专利技术具有如下优点和技术效果：从上述技术方案可以看出，在通过对家庭娱乐的现状进行分析之后，根据家庭娱乐存在的问题，提出两个重要特点——人机交互与内容推荐。系统引入手势操控，代替现有的遥控器与鼠标，提出一种在家庭娱乐中，自然的人机交互方式。系统创新性的在家庭娱乐中加入人脸识别功能，通过识别家庭中使用者人脸，确定单一个体身份，可以实现一对一的个性化推荐，解决家庭娱乐产品中定位用户群混乱，目标人物模糊不清的情况。最后，系统在提高家庭娱乐中操作舒适度与娱乐独特性的同时，相比国内外家庭娱乐产品，降低了使用成本；只需一个普通2D摄像头，接上互联网，即可享受优质交互娱乐服务。本专利技术一种基于人脸识别与手势交互的电视娱乐系统不限制表现形式，可以是作为计算机应用软件、电视机顶盒系统、电视内部系统等。附图说明图1为一种基于人脸识别与手势交互的电视娱乐系统结构示意图；图2为一种基于人脸识别与手势交互的电视娱乐系统手势交互算法流程图；图3为一种基于人脸识别与手势交互的电视娱乐系统人脸识别算法流程图；图4为一种基于人脸识别与手势交互的电视娱乐系统推荐算法框架图。图5为一种基于人脸识别与手势交互的电视娱乐系统推荐算法流程图。具体实施方式为使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术的具体实施作进一步详细描述，需指出的是，以下若有未特别详细说明之处，均是本领域技术人员可参照现有技术实现的。如图1所示，该系统包括图像采集模块101、手势交互模块102、人脸识别模块103和个性化推荐模块104，其中：图像采集模块101，捕获用户在操作本系统时做出的肢体动作信息，并将所述肢体动作信息转化成动态图像序列；手势交互模块102，首先对图像采用平滑滤波、直方图均衡等图像预处理方法对上述图像序列进行预处理，主要通过已有的先验条件结合采集完整部分图像来填补或滤除失真的噪声部分，分屏搜索和识别用户手势，一旦识别控制手势便进入手势控制模式，结合背景建模排除相关类肤色影响，对手势进行肤色自适应跟踪；上述手势交互模块102采用AdaBoost学习算法，具体为根据事先计算出的手势样本特征，再进行分类器训练，从而得出识别结果。具体手势检测和跟踪算法流程图如图2所示。（1）对固定手型位置的检测，实现对手势初步定位、获取手势的信息和相关初始化，为后面的跟踪与其他手势提供足够的信息。（2）由检测时提供的初始信息，结合运动信息和肤色信息并排除类肤色背景对手势跟踪的影响对视频序列中的人手逐帧进行跟踪，获得人手所在的位置信息。（3）对步骤（2）中获得的人手位置信息，获取感兴趣区域，使用固定手型检本文档来自技高网...

【技术保护点】
一种基于人脸识别与手势交互的电视娱乐系统，其特征在于包括图像采集模块、手势交互模块、指令控制模块、人脸识别模块、个性化推荐模块、界面系统，其中，图像采集模块，捕获用户在操作时做出的肢体动作信息，并将所述肢体动作信息转化成动态图像序列；手势交互模块，首先对图像采集模块获得的图像进行预处理，分屏搜索和识别用户手势，一旦识别到控制手势便进入手势控制模式，结合背景建模排除相关类肤色影响，对手势进行肤色自适应跟踪；人脸识别模块，在用户初始使用时，通过网络通信将人脸数据传送至后台服务器，调用人脸识别算法，判定用户身份，判定结果用于个性化推荐模块中确定相应的用户身份；指令控制模块，将手势交互结果转化为控制指令，结合界面系统，为用户提供趋势控制、手势鼠标的自然手势交互服务；个性化推荐模块，利用脸识别模块中的人脸识别结果，确定用户身份，调用推荐算法，推荐用户可能感兴趣内容，做到一对一的个性化推荐；界面系统，主要提供内容展示、消息提示及用户交互可视化过程，作为用户操作的直接入口；指令控制模块还进一步从界面系统中采集用户行为数据，为个性化推荐模块提供依据。

【技术特征摘要】
1.一种基于人脸识别与手势交互的电视娱乐系统，其特征在于包括图像采集模块、手势交互模块、指令控制模块、人脸识别模块、个性化推荐模块、界面系统，其中，图像采集模块，捕获用户在操作时做出的肢体动作信息，并将所述肢体动作信息转化成动态图像序列；手势交互模块，首先对图像采集模块获得的图像进行预处理，分屏搜索和识别用户手势，一旦识别到控制手势便进入手势控制模式，结合背景建模排除相关类肤色影响，对手势进行肤色自适应跟踪；人脸识别模块，在用户初始使用时，通过网络通信将人脸数据传送至后台服务器，调用人脸识别算法，判定用户身份，判定结果用于个性化推荐模块中确定相应的用户身份；指令控制模块，将手势交互结果转化为控制指令，结合界面系统，为用户提供趋势控制、手势鼠标的自然手势交互服务；个性化推荐模块，利用脸识别模块中的人脸识别结果，确定用户身份，调用推荐算法，推荐用户可能感兴趣内容，做到一对一的个性化推荐；界面系统，主要提供内容展示、消息提示及用户交互可视化过程，作为用户操作的直接入口；指令控制模块还进一步从界面系统中采集用户行为数据，为个性化推荐模块提供依据。2.根据权利要求1所述的一种移动可穿戴非接触式交互系统，其特征在于，所述系统采用CS架构，包括客户端与服务端，客户端与服务端通过网络进行数据的交换；图像采集模块、手势交互模块、指令控制模块、界面系统在物理上集成为客户端；人脸识别模块、个性化推荐模块在物理上集成为服务端，通过网络向客户端提供内容信息、人脸识别结果、个性化推荐结果。3.根据权利要求2所述的一种移动可穿戴非接触式交互系统，其特征在于，所述系统客户端平台为嵌入式移动平台或者计算机平台，服务端平台为计算机平台。4.根据权利要求1所述的一种基于人脸识别与手势交互的电视娱乐系统，其特征在于，所述图像采集模块为可拆卸安装模块，由用户个人安装在适当位置。5.根据权利要求1所述的一种基于人脸识别与手势交互的电视娱乐系统，其特征在于...

【专利技术属性】
技术研发人员：郑晓旭，徐向民，罗阳星，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44