虚拟现实社交实现系统技术方案

本发明专利技术揭示了一种虚拟现实社交实现系统，包括社交环境搭建装置与社交细节实现装置，社交环境搭建装置用以实现脸部表情及嘴型实时追踪与重现以及人脸3D模型构建，并通过实时追踪用户的头、手和身体躯干的动作和位置并呈现在虚拟现实的社交场景中，同时构建使用者的身体模型，并对场景进行真实环境的还原和重建；社交细节实现装置通过感测眼睛的注视焦点的位置，并根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，同时通过展现头部的动作和手部的动作及对方的动作姿势以增强用户虚拟现实社交时的真实感。

Virtual reality social realization system

The invention discloses a virtual reality social system, including social environment and social details device implementations of social environment to build a device used to achieve real-time tracking of facial expressions and mouth and reproduction as well as the 3D face model, and through the action and position of real-time tracking the user's head, hand and body and present in virtual reality social scene, and constructed the body model of users, and the real environment reduction and reconstruction of the social scene; details of the implementation of focus measuring device through the sense of eye position, and to reveal the user when talking mouth animation according to the user's tone, sentence content, tone and volume etc. at the same time, by showing the movements of the head and hand movements and other postures to enhance realistic virtual reality social time.

【技术实现步骤摘要】

本专利技术涉及信息处理技术，特别是虚拟现实社交实现系统。
技术介绍
近年来，虚拟现实(VR)产品，如VR眼镜、VR一体机等，成为业界日益关注的重点。然而在现有的虚拟现实(VR)世界中，目前用户只能体验一些VR游戏和多媒体内容，而且这些内容交互较为简单，并且无法联机运行。而未来的趋势，会要求用户能在虚拟现实世界中能实现类似真实世界中的社交和即时通讯等场景。目前的虚拟现实社交中，只完成了人物的位置方向基本姿态、头部位置的跟踪，用户只能看见自己虚拟的手以及社交对象虚拟的头像和手，无法令用户沉浸地进行虚拟现实社交。
技术实现思路
本专利技术的目的在于提供一种虚拟现实社交实现系统，能够对虚拟现实的场景进行全方面的识别与跟踪，从而解决现有的虚拟现实社交中无法令用户沉浸地进行虚拟现实社交的问题。为实现上述目的，实施本专利技术的虚拟现实社交实现系统包括社交环境搭建装置与社交细节实现装置，其中社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，社交细节实现装置包括眼神交流再现单元、嘴型重现单元、肢体动作展现单元以及用户姿势判断单元，其中脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建，动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，身体模型重建单元用以构建使用者的身体模型，真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中；眼神交流再现单元用以感测眼睛的注视焦点的位置，嘴型重现单元用以根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，肢体动作展现单元用以通过展现头部的动作和手部的动作来增强用户虚拟现实社交时的真实感，动作姿势判断单元用以判断对方的动作姿势。依据上述主要特征，脸部表情实时追踪与重现需要两组传感器来分别实时识别使用者上脸部和下脸部的表情，嘴型实时追踪是通过下脸部感知传感器组来捕捉嘴型的动作和幅度，然后在虚拟现实环境中真实呈现嘴型，人脸3D模型构建是利用三维激光扫描仪获取人脸的点云数据，然后对这些点云数据进行处理，然后利用人脸图像进行纹理映射获得3D人脸模型。依据上述主要特征，动作捕捉与互动单元通过VR头盔内部的惯性传感器和外部的光学传感器来感知用户的3自由度转动动作以及6自由度的肢体转动和移动动作。依据上述主要特征，身体模型重建单元用以构建使用者的身体模型，当用户进入虚拟现实世界开始社交之前，需要提交自己的身体模型数据，这个身体模型是由多台相机包围一个人物做三维扫描来实现的，其中身体模型数据主要由三个部分构成：身体参数、基本属性以及附属，身体参数主要包括身高、体重、提醒、肤色以及毛发等元素，基本属性主要包括人种、性别和年龄等元素，附属主要包括服饰、发型和纹身等元素。依据上述主要特征，其中真实环境还原单元包括360度全景动态环境背景创建模块、公共和私人空间的创建模块、社交活动类型创建模块、好友列表创建模块、交流模式创建模块和好友信息创建模块。依据上述主要特征，其中360度全景动态环境背景创建模块用以实现场景的重建，包括材质、灯光、周围声音、细节动画的还原等场景的创建；公共和私人空间的创建模块用以创建公共和私人的穿间，其中公共空间是指虚拟现实中的人物均可只有出入，而私人空间是指使用者虚拟现实中的家，他人只有在被使用者邀请后方可进入，社交活动类型创建模块用以创建虚拟现实世界中的社交流动类型，如约会聚餐、当面交流、看电影、玩游戏等；好友列表创建模块用以创建使用者的在线好友、离线好友以及新增好友等列表；交流模式创建模块用以创建虚拟现实世界中的交流模式，如和周围人会去解释说明、陈述和人际交往互动；好友信息创建模块为使用者创建好的的信息，以便使用者可以看到好友的个人简介、状态更新以及分享和互动内容，使用者也可以看到他正在体验什么、玩过什么游戏、看过什么电影。使用者也可以邀请他来加入使用者将要参加的一项新活动。与现有技术相比较，本专利技术具有如下优点：(1)本专利技术方法可以大大提供虚拟现实社交的真实感和沉浸感；(2)本专利技术方法适合一对一，一对多以及多对多等多种社交互动场景；(3)本专利技术方法可大大提高虚拟现实产品的留存率和活跃率；(4)本专利技术方法具有通用性和普适性，可应用与增强现实和混合现实等产品应用领域，具有良好的市场推广前景。【附图说明】图1为实施本专利技术的虚拟现实社交实现系统的功能方框组成示意图。【具体实施方式】请参阅图1所示，为实施本专利技术的虚拟现实社交实现系统的功能方框组成示意图。实施本专利技术的虚拟现实社交实现系统包括社交环境搭建装置与社交细节实现装置。社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，以下对上述各单元的功能进行详细说明。脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建。其中由于人脸非常复杂，特别是表情就集中在鼻头到眼睛的那一块三角区，且VR头盔须佩戴在用户头上，会遮住用户上脸部，脸部表情实时追踪与重现需要两组传感器来分别实时识别使用者上脸部和下脸部的表情。上脸部感知传感器组安装在VR头盔内部，用来追踪眼睛和眉毛等脸部上半部分的表情；下脸部感知传感器组安装在VR头盔外部，用来追踪用户的脸蛋、下巴和嘴的表情，然后在虚拟现实环境中真实呈现脸部的实时表情。对于上述的上脸部感知传感器及下脸部感知传感器可以为现为的图像传感器，对于其功能及工作原理现有技术中多有描述，此处不再详细说明。嘴型实时追踪是通过下脸部感知传感器组来捕捉嘴型的动作和幅度，然后在虚拟现实环境中真实呈现嘴型。人脸3D模型构建是利用三维激光扫描仪获取人脸的点云数据，然后对这些点云数据进行处理，然后利用人脸图像进行纹理映射获得3D人脸模型。动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，是通过内部的惯性传感器和外部的光学传感器来感知用户的3自由度转动动作以及6自由度的肢体转动和移动动作。身体模型重建单元用以构建使用者的身体模型，当用户进入虚拟现实世界开始社交之前，需要提交自己的身体模型数据。这个身体模型是由多台相机包围一个人物做三维扫描来实现的。其中身体模型数据主要由三个部分构成：身体参数、基本属性以及附属。其中身体参数主要包括身高、体重、提醒、肤色以及毛发等元素。基本属性主要包括人种、性别和年龄等元素。附属主要包括服饰、发型和纹身等元素，这部分数据可以用户高度个性定制化。真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中，包括360度全景动态环境背景创建模块、公共和私人空间的创建模块、社交活动类型创建模块、好友列表创建模块、交流模式创建模块和好友信息创建模块，其中：360度全景动态环境背景创建模块用以实现场景的重建，包括材质、灯光、周围声音、细节动画的还原等场景的创建。公共和私人空间的创建模块用以创建公共和私人的穿间，其中公共空间是指虚拟现实中的人物均可只有出入，而私人空间是指使用者虚拟现实中的家，他人只有在被使用者邀请后方可进入。社交活动类型创建模块用以本文档来自技高网...

【技术保护点】
一种虚拟现实社交实现系统，包括社交环境搭建装置与社交细节实现装置，其中社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，社交细节实现装置包括眼神交流再现单元、嘴型重现单元、肢体动作展现单元以及用户姿势判断单元，其中脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建，动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，身体模型重建单元用以构建使用者的身体模型，真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中；眼神交流再现单元用以感测眼睛的注视焦点的位置，嘴型重现单元用以根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，肢体动作展现单元用以通过展现头部的动作和手部的动作来增强用户虚拟现实社交时的真实感，动作姿势判断单元用以判断对方的动作姿势。

【技术特征摘要】
1.一种虚拟现实社交实现系统，包括社交环境搭建装置与社交细节实现装置，其中社交环境搭建装置包括脸部模型构建单元、动作捕捉与互动单元、身体模型重建单元及真实环境还原单元，社交细节实现装置包括眼神交流再现单元、嘴型重现单元、肢体动作展现单元以及用户姿势判断单元，其中脸部模型构建单元用以实现脸部表情实时追踪与重现、嘴型实时追踪与重现以及人脸3D模型的构建，动作捕捉与互动单元通过实时追踪用户的头、手和身体躯干的动作和位置，并相应地呈现在虚拟现实的社交场景中，身体模型重建单元用以构建使用者的身体模型，真实环境还原单元用以对场景进行真实环境的还原和重建，以令使用户更真实地沉浸在虚拟现实的社交场景中；眼神交流再现单元用以感测眼睛的注视焦点的位置，嘴型重现单元用以根据使用者说话的语气、语句内容、语调和音量等来真实地呈现使用者说话时的嘴型动画，肢体动作展现单元用以通过展现头部的动作和手部的动作来增强用户虚拟现实社交时的真实感，动作姿势判断单元用以判断对方的动作姿势。2.如权利要求1所述的虚拟现实社交实现系统，其特征在于：脸部表情实时追踪与重现需要两组传感器来分别实时识别使用者上脸部和下脸部的表情，嘴型实时追踪是通过下脸部感知传感器组来捕捉嘴型的动作和幅度，然后在虚拟现实环境中真实呈现嘴型，人脸3D模型构建是利用三维激光扫描仪获取人脸的点云数据，然后对这些点云数据进行处理，然后利用人脸图像进行纹理映射获得3D人脸模型。3.如权利要求1所述的虚拟现实社交实现系统，其特征在于：动作捕捉与互动单元通过VR头盔内部的惯性传感器和外部的光学传感器来感知用户的3自由度转动动作以及6自由度的肢体转动和移动动作。4.如权利要求1所...

【专利技术属性】
技术研发人员：刘哲，
申请(专利权)人：捷开通讯科技上海有限公司，
类型：发明
国别省市：上海;31