一种沉浸式视频播放方法和系统技术方案

本发明专利技术公开一种沉浸式视频播放方法和系统，该方法应用于包括三维摄像设备、音频输入设备、显示设备和音频输出设备的沉浸式视频播放系统，所述方法包括：对三维摄像设备拍摄得到的用户初始图像进行识别，根据初始特征数据创建虚拟用户模型；根据用户选择的现场效果和演唱曲目，加载对应的虚拟舞台模型和伴奏音频，对虚拟舞台模型、伴奏音频、虚拟用户模型以及音频输入设备采集到的用户音频进行合成，生成沉浸式视频数据，并对沉浸式视频数据进行实时播放；对三维摄像设备拍摄得到的用户实时图像进行识别，根据实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型。本发明专利技术能够为用户提供具有沉浸感、互动性更强、社交性更好的歌唱娱乐体验。

An Immersive Video Playing Method and System

【技术实现步骤摘要】
一种沉浸式视频播放方法和系统
本专利技术涉及音视频
，特别涉及一种沉浸式视频播放方法和系统。
技术介绍
移动KTV是一种新的KTV形式，其结构简单，移动方便，不受地点和场合的限制。移动KTV通常包括点歌机、音箱和话筒，通过电线将播放显示器和点歌显示器分别与点歌机连接，且点歌机、音箱、播放显示器和点歌显示器放置于一个箱体里面，箱体里面有隔板将箱体分为上下两部分，点歌机和音箱放置在箱体下部；活动连接件把播放显示器和点歌显示器分别与箱体上部靠近端口的位置连接，播放显示器和点歌显示器相对；两个显示器从箱体翻出后能够竖立。目前，无论是传统KTV，还是移动KTV，都只能提供用户面对播放MTV的电视屏幕并伴随着音乐进行演唱的功能，观众难以感受现场氛围，娱乐形式单一，缺乏互动体验。近几年，随着移动互联网及新零售的发展，移动KTV中增加了音调修正、润色、歌曲保存和分享等功能，甚至有厂商在移动KTV中加入了视频录制的功能，即，利用摄像头把用户图像信息保留，叠加在MTV的视频中。然而，由于MTV的视频是由版权方制作的，将用户图像硬性叠加到视频上，非常违和且奇怪，导致用户体验较差。
技术实现思路
本专利技术提供了一种沉浸式视频播放方法和系统，以解决现有技术中的移动KTV缺乏互动体验以及用户体验差的问题。本专利技术提供了一种沉浸式视频播放系统，包括：三维摄像设备，用于对用户进行实时拍摄；主机设备，用于对三维摄像设备拍摄得到的用户初始图像进行识别，根据识别到的初始特征数据创建虚拟用户模型；根据用户选择的现场效果和演唱曲目，加载对应的虚拟舞台模型和伴奏音频，对该虚拟舞台模型、该伴奏音频、虚拟用户模型以及音频输入设备采集到的用户音频进行合成，生成沉浸式视频数据，并对该沉浸式视频数据进行实时播放；对三维摄像设备拍摄得到的用户实时图像进行识别，根据识别到的实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型；显示设备，用于在播放所述沉浸式视频数据的过程中，显示所述沉浸式视频数据的播放画面；音频输出设备，用于在播放所述沉浸式视频数据的过程中，输出所述沉浸式视频数据的音频信息。可选地，所述显示设备为三种不同类型的设备中的至少一种：投影设备、环绕曲面屏和环绕拼接设备。可选地，所述显示设备包括内容显示屏和触控显示屏，所述内容显示屏用于显示二维视听内容，所述触控显示屏用于显示全景视听内容。可选地，所述主机设备，具体用于对用户初始图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，根据面部特征点和形体特征点分别创建面部模型和形体模型，并对面部模型和形体模型进行合并，得到虚拟用户模型。可选地，所述面部模型具有多个面部绑点，所述多个面部绑点与创建所述面部模型所使用的多个面部特征点一一对应；所述形体模型具有多个形体绑点，所述多个形体绑点与创建所述形体模型所使用的多个形体特征点一一对应。可选地，所述主机设备，具体用于对所述用户实时图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，对面部特征点和形体特征点分别进行坐标转换，得到所述面部模型中的面部绑点和所述形体模型中的形体绑点的实时位置，并根据该实时位置更新虚拟用户模型。本专利技术还提供了一种沉浸式视频播放方法，应用于包括三维摄像设备、音频输入设备、显示设备和音频输出设备的沉浸式视频播放系统，所述方法包括以下步骤：通过所述三维摄像设备对用户进行实时拍摄；对三维摄像设备拍摄得到的用户初始图像进行识别，根据识别到的初始特征数据创建虚拟用户模型；根据用户选择的现场效果和演唱曲目，加载对应的虚拟舞台模型和伴奏音频，对该虚拟舞台模型、该伴奏音频、虚拟用户模型以及音频输入设备采集到的用户音频进行合成，生成沉浸式视频数据，并对该沉浸式视频数据进行实时播放；对三维摄像设备拍摄得到的用户实时图像进行识别，根据识别到的实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型。可选地，所述显示设备为三种不同类型的设备中的至少一种：投影设备、环绕曲面屏和环绕拼接设备。可选地，所述显示设备包括内容显示屏和触控显示屏，所述内容显示屏用于显示二维视听内容，所述触控显示屏用于显示全景视听内容。可选地，所述对三维摄像设备拍摄得到的用户初始图像进行识别，根据识别到的初始特征数据创建虚拟用户模型，包括：对用户初始图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，根据面部特征点和形体特征点分别创建面部模型和形体模型，并对面部模型和形体模型进行合并，得到虚拟用户模型。可选地，所述面部模型具有多个面部绑点，所述多个面部绑点与创建所述面部模型所使用的多个面部特征点一一对应；所述形体模型具有多个形体绑点，所述多个形体绑点与创建所述形体模型所使用的多个形体特征点一一对应。可选地，所述对三维摄像设备拍摄得到的用户实时图像进行识别，根据识别到的实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型，包括：对所述用户实时图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，对面部特征点和形体特征点分别进行坐标转换，得到所述面部模型中的面部绑点和所述形体模型中的形体绑点的实时位置，并根据该实时位置更新虚拟用户模型。本专利技术在用户使用沉浸式视频播放系统演唱歌曲时，通过三维摄像设备捕捉用户面部表情及形体动作，并同步到歌曲对应的视频中，通过显示设备和音频输出设备播放视频，使得用户能够看到自己在视频中的同步演唱效果，从而为用户提供具有沉浸感、互动性更强、社交性更好的歌唱娱乐体验。附图说明图1为本专利技术实施例中的一种沉浸式视频播放方法流程图；图2为本专利技术实施例中的一种沉浸式视频播放系统结构图；图3为本专利技术实施例中的基于投影设备的沉浸式视频播放系统的俯视图；图4为本专利技术实施例中的基于投影设备的沉浸式视频播放系统的正视图；图5为本专利技术实施例中的基于投影设备的沉浸式视频播放系统的顶视图；图6为本专利技术实施例中的基于环绕曲面屏的沉浸式视频播放系统的俯视图；图7为本专利技术实施例中的基于环绕曲面屏的沉浸式视频播放系统的正视图；图8为本专利技术实施例中的基于环绕曲面屏的沉浸式视频播放系统的顶视图；图9为本专利技术实施例中的基于环绕拼接屏的沉浸式视频播放系统的俯视图；图10为本专利技术实施例中的基于环绕拼接屏的沉浸式视频播放系统的正视图；图11为本专利技术实施例中的基于环绕拼接屏的沉浸式视频播放系统的顶视图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种沉浸式视频播放方法，如图1所示，应用于包括三维摄像设备、音频输入设备、显示设备和音频输出设备的沉浸式视频播放系统，该方法包括以下步骤：步骤101，通过三维摄像设备对用户进行实时拍摄。具体地，本实施例中的沉浸式视频播放系统，如图2所示，该系统包括三维摄像设备201、音频输入设备202、显示设备203和音频输出设备204。在用户使用本实施例中的沉浸式视频播放系统演唱歌曲时，三维摄像本文档来自技高网...

【技术保护点】
1.一种沉浸式视频播放系统，其特征在于，包括：三维摄像设备，用于对用户进行实时拍摄；主机设备，用于对三维摄像设备拍摄得到的用户初始图像进行识别，根据识别到的初始特征数据创建虚拟用户模型；根据用户选择的现场效果和演唱曲目，加载对应的虚拟舞台模型和伴奏音频，对该虚拟舞台模型、该伴奏音频、虚拟用户模型以及音频输入设备采集到的用户音频进行合成，生成沉浸式视频数据，并对该沉浸式视频数据进行实时播放；对三维摄像设备拍摄得到的用户实时图像进行识别，根据识别到的实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型；显示设备，用于在播放所述沉浸式视频数据的过程中，显示所述沉浸式视频数据的播放画面；音频输出设备，用于在播放所述沉浸式视频数据的过程中，输出所述沉浸式视频数据的音频信息。

【技术特征摘要】
1.一种沉浸式视频播放系统，其特征在于，包括：三维摄像设备，用于对用户进行实时拍摄；主机设备，用于对三维摄像设备拍摄得到的用户初始图像进行识别，根据识别到的初始特征数据创建虚拟用户模型；根据用户选择的现场效果和演唱曲目，加载对应的虚拟舞台模型和伴奏音频，对该虚拟舞台模型、该伴奏音频、虚拟用户模型以及音频输入设备采集到的用户音频进行合成，生成沉浸式视频数据，并对该沉浸式视频数据进行实时播放；对三维摄像设备拍摄得到的用户实时图像进行识别，根据识别到的实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型；显示设备，用于在播放所述沉浸式视频数据的过程中，显示所述沉浸式视频数据的播放画面；音频输出设备，用于在播放所述沉浸式视频数据的过程中，输出所述沉浸式视频数据的音频信息。2.如权利要求1所述的系统，其特征在于，所述显示设备为三种不同类型的设备中的至少一种：投影设备、环绕曲面屏和环绕拼接设备。3.如权利要求1所述的系统，其特征在于，所述显示设备包括内容显示屏和触控显示屏，所述内容显示屏用于显示二维视听内容，所述触控显示屏用于显示全景视听内容。4.如权利要求1所述的系统，其特征在于，所述主机设备，具体用于对用户初始图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，根据面部特征点和形体特征点分别创建面部模型和形体模型，并对面部模型和形体模型进行合并，得到虚拟用户模型。5.如权利要求4所述的系统，其特征在于，所述面部模型具有多个面部绑点，所述多个面部绑点与创建所述面部模型所使用的多个面部特征点一一对应；所述形体模型具有多个形体绑点，所述多个形体绑点与创建所述形体模型所使用的多个形体特征点一一对应。6.如权利要求4所述的系统，其特征在于，所述主机设备，具体用于对所述用户实时图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，对面部特征点和形体特征点分别进行坐标转换，得到所述面部模型中的面部绑点和所述形体模型中的形体绑点的实时位置，并根据该实时位置更新虚拟用户模型。7.一种沉浸式视频播放方法，其特征在于，应用于包括三...

【专利技术属性】
技术研发人员：刘忠华，
申请(专利权)人：刘忠华，
类型：发明
国别省市：辽宁,21