一种融合式虚拟场景互动的方法及系统技术方案

本发明专利技术涉及多媒体数据处理领域，提供了一种通过计算机网络实现在虚拟场景中进行丰富多彩，灵活方便的互动的系统与方法。所述实现在虚拟场景中互动的方法，包括步骤：实时获取摄像装置的信号，采集得到第一图像数据；从第一图像数据中提取第一对象；接收来自第一终端通过计算机网络发送的互动指令；将第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。本发明专利技术通过提取图像数据中的第一对象，将第一对象实时更新到虚拟场景中，并且可以根据互动指令，对虚拟场景进行更新或切换，以实现在得到的视频数据中既具有丰富多彩的场景变化效果，又同时保存有第一对象的实时活动效果。

Method and system for fusion type virtual scene interaction

The invention relates to the field of multimedia data processing, and provides a system and method for realizing colorful, flexible and convenient interactive interaction in a virtual scene through a computer network. Implementation method of interaction in the virtual scene of the real-time signal comprises the steps of: obtaining image pickup device, obtained the first image data; extracting the first object from the first image data received from the first terminal; through interactive instruction sending computer network will be updated in real time; the first object to the virtual scene, and according to the interactive instruction, update or switch virtual scene, video data. The present invention by extracting the first object in image data will be updated in real time, the first object to the virtual scene, and can be based on interactive instruction, update or switch to the virtual scene, in order to realize video data obtained in both rich and colorful scene change effect, but also save the first object in real time effect.

【技术实现步骤摘要】
一种融合式虚拟场景互动的方法及系统
本专利技术涉及多媒体数据处理领域，尤其涉及一种融合了两个以上数据的多媒体数据处理技术。
技术介绍
虚拟场景合成技术是一种应用于电视台演播厅录播节目或电影制作中的多媒体数据处理技术，例如天气预报节目等。现有技术中，虚拟场景合成技术通常通过将摄像装置采集到的纯色背景中的人像提取出来，然后与渲染出来的虚拟场景背景进行叠加合成，再将合成后的图像数据输出用于播放或录制存储。但是，现有的虚拟场景技术无法实现主播对象与观众对象之间高品质的互动交流。具体的，例如在网络直播领域中，现有的直播平台和技术，使得观众只能看到主播摄像头拍摄的画面，观众可以向主播赠送虚拟礼物，但是这些虚拟礼物只能在现有的场景下进行粗糙地叠加。又例如，现有MTV制作通常由导演和表演者交流后录制完成，录制过程缺乏趣味性，录制效果单一。并且在现有直播技术中，为了使客户端能够看到其他客户端与主播之间的互动效果，需要客户端将互动信息和素材发送到云端服务器，云端服务器通知所有在线客户端从指定位置下载素材，并由客户端叠加到直播画面上。可见，客户端需要下载指定素材，效率低下，且浪费流量；并且需要每个客户端在本地存储所述互动素材，占用客户端存储空间，而且互动内容不便于及时进行扩展。同时，现有的互动内容一般只是简单、生硬地叠加到图像或视频的表面层，并将图像或视频的部分内容完全覆盖，互动内容与图像或视频的融合感差，显示效果一般。例如，若互动内容为用户为主播送了一朵花，则在视频表面覆盖一朵花，其显示效果很突兀，无法将互动内容与视频场景自然的融合在一起。因此专利技术人认为需要研发一种能实现不同场景满足下，通过网络实现交流互动的虚拟场景技术。
技术实现思路
为此，需要提供一种实现在虚拟场景中进行丰富多彩，灵活方便的互动的系统与方法，用于解决现有技术中，主播对象与观众对象之间互动交流效果单一，互动内容扩展不便的问题。为实现上述目的，专利技术人提供了一种融合式虚拟场景互动的方法，包括以下步骤：将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到图像数据。进一步的，所述融合式虚拟场景互动的方法，包括以下步骤：实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据；根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；接收来自第一终端发送的互动指令；将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。进一步的，在实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；将第一对象实时更新到虚拟场景中的同时，也将将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。进一步的，所述第一终端为智能移动终端或遥控器。进一步的，所述互动指令包括将第一素材更新到虚拟场景中的指令；将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，将第一素材也更新到虚拟场景中，得到视频数据。进一步的，所述互动指令还包括第一素材的内容数据。进一步的，所述第一素材包括：文字素材、图像素材、声音素材或图像素材与声音素材的结合。进一步的，所述互动指令包括变换虚拟场景镜头的命令(适合一对一直播的场景)。进一步的，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括步骤：将视频数据通过显示装置显示或存储记录视频数据。进一步的，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括步骤：通过实时流传输协议，将所述视频数据直播给局域网中的在线客户端；或将所述视频数据发送给第三方网络服务器；第三方网络服务器生成所述视频数据的互联网直播链接。进一步的，所述虚拟场景为3D虚拟舞台。为实现上述目的，专利技术人还提供了一种融合式虚拟场景互动的系统，用于将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。进一步的，所述融合式虚拟场景互动的系统包括：采集模块，用于实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据；提取模块，用于根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；接收模块，用于接收来自第一终端发送的互动指令；更新模块，用于将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。进一步的，所述采集模块还用于采集得到第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；所述更新模块还用于将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。进一步，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括直播模块：通过实时流传输协议，将所述视频数据直播给局域网中的在线客户端；或将所述视频数据发送给第三方网络服务器；第三方网络服务器生成所述视频数据的互联网直播链接。进一步的，所述第一终端为智能移动终端或遥控器。进一步的，所述互动指令包括将第一素材更新到虚拟场景中的指令；将第一对象实时更新到虚拟场景中，并根据互动指令，将第一素材也更新到虚拟场景中，得到视频数据。进一步的，所述互动指令还包括第一素材的内容数据。进一步的，所述第一素材包括：文字素材、图像素材、声音素材或图像素材与声音素材的结合。进一步的，所述互动指令包括变换虚拟场景镜头的命令。进一步的，还包括显示模块或存储模块，显示模块用于得到视频数据之后，将视频数据通过显示装置显示；所述存储模块用于，得到视频数据之后，存储记录视频数据。进一步的，所述第一终端为智能移动终端或遥控器。进一步的，所述虚拟场景为3D虚拟舞台。为解决上述技术问题，专利技术人还提供了一种融合式虚拟场景互动的系统，包括第一终端、第二终端和服务器，所述第一终端和第二终端通过网络与服务器连接；所述第二终端连接有一个以上摄像装置，用于实时获取所述摄像装置的信号，并采集得到一个以上的第一图像数据；以及根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；所述第二终端还用于将一个以上的第一对象实时更新到虚拟场景中，并根据接收到的互动指令，更新或切换虚拟场景，得到视频数据，以及将视频数据发送给服务器；所述第一终端用于生成互动指令，并发送给服务器；以及从服务器获取所述视频数据，并显示所述视频数据；所述服务器用于将所述互动指令实时的发送给第二终端，以及接收第二终端发送的视频数据。进一步的，所述第二终端还连接有一个以上传声器，第二终端在采集第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；以及将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。进一步的，所述摄像装置为数码摄像机或网络摄像头。区别于现有技术，上述技术方案通过将第一对象实时更新到虚拟场景中，并且可以根据接收到的互动指令，对虚拟场景进行更新或切换，以实现在得到的视频数据中既具有丰富多彩的场景变化效果，又同时保存有第一对象的实时活动效果。上述技术方案中观众可通过终端发送互动指令，在主播端将互动的内容与第一对本文档来自技高网...

【技术保护点】
一种融合式虚拟场景互动的方法，其特征在于，包括以下步骤：将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。

【技术特征摘要】
1.一种融合式虚拟场景互动的方法，其特征在于，包括以下步骤：将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。2.根据权利要求1所述的融合式虚拟场景互动的方法，其特征在于，包括以下步骤：实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据；根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；接收来自第一终端发送的互动指令；将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。3.根据权利要求2所述融合式虚拟场景互动的方法，其特征在于，在实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。4.根据权利要求2所述融合式虚拟场景互动的方法，其特征在于，所述第一终端为智能移动终端或遥控器。5.根据权利要求1所述融合式虚拟场景互动的方法，其特征在于，所述互动指令包括将第一素材更新到虚拟场景中的指令；将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，将第一素材也更新到虚拟场景中，得到视频数据。6.根据权利要求5所述融合式虚拟场景互动的方法，其特征在于，所述互动指令还包括第一素材的内容数据。7.根据权利要求5所述融合式虚拟场景互动的方法，其特征在于，所述第一素材包括：文字素材、图像素材、声音素材或图像素材与声音素材的结合。8.根据权利要求1所述融合式虚拟场景互动的方法，其特征在于，所述互动指令包括变换虚拟场景镜头的命令。9.根据权利要求1所述融合式虚拟场景互动的方法，其特征在于，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括步骤：将图像数据通过显示装置显示或存储记录图像数据。10.根据权利要求1-9之一所述融合式虚拟场景互动的方法，其特征在于，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括步骤：通过实时流传输协议，将所述视频数据直播给局域网中的在线客户端；或将所述视频数据发送给第三方网络服务器；第三方网络服务器生成所述视频数据的互联网直播链接。11.根据权利要求1所述融合式虚拟场景互动的方法，其特征在于，所述虚拟场景为3D虚拟舞台。12.一种融合式虚拟场景互动的系统，其特征在于，用于将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。13.根据权利要求12所述的融...

【专利技术属性】
技术研发人员：冯皓，林剑宇，刘灵辉，
申请(专利权)人：福建星网视易信息系统有限公司，福建凯米网络科技有限公司，
类型：发明
国别省市：福建,35