即时通信中实现立体视频通信的系统及方法技术方案

本发明专利技术提供了一种即时通信中实现立体视频通信的系统及方法，在判断出本地视频捕获设备支持立体视频捕获，并且对端通知要求启动立体视频时，启动立体视频捕获，按照预设参数，对捕获到的立体视频流进行编码后，发送编码后的立体视频编码码流，接收端接收立体视频码流进行解码以显示立体视频。本发明专利技术在即时通信中实现了立体视频通信；另外，充分考虑到了对现有普通视频模式的兼容，同时考虑到了目前网络的异构性、终端的多样性。

【技术实现步骤摘要】

本专利技术涉及立体视频技术，尤指一种。
技术介绍
随着计算机科技的发展，图像和视频已经从平面发展向立体化。在听觉上，为了使人两只耳朵分别听到不同的声音可以产生空间感，由单声道发展为双声道，更甚者借助现代音响设备的空间布局实现了 5. 1,7. 1声道环绕立体声。同立体声原理类似，在视觉上，由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一幅场景，利用人眼睛的双目视差原理，双目各自独立地接收来自同一场景的特定摄像点的左右图像左眼看偏左的图像，右眼看偏右的图像，形成双目视差，大脑能得到图像的深度信息，使欣赏到的图像有强烈深度感、逼真感，观众能欣赏到超强的立体视觉效果。立体视频技术涉及立体视频捕获技术、立体视频编码技术和立体视频显示技术， 其中，立体视频捕获技术用于获取立体视频图像。为了获取立体视频图像，由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一幅场景，获取立体图像对，直接模拟人类双眼处理景物的方式。捕获到的两路视频流分别代表人两只眼睛看到的图像序列。这种设备一般称为双目摄像机(或双目摄像头)。立体视频一般有两个视频通道，数据量要远远大于单通道视频。一般立体视频的编码压缩除了利用视频通道内的相关性(一般视频编码方案，包括帧内预测，帧间预测) 之外，还可以利用两个视频通道之间的相关性。使用立体图像提取深度信息在计算机视觉领域中是一个常用的技术，Michael Ε. Lukaces是立体视频编码的早期研究者，Michael Ε. Lukaces探索了将视差补偿(DC-based)用于从立体视频序列中的一个视频序列预测另一个视频序列，并提出了多种基于视差补偿的方法，这里，视差补偿是指使用双目视视差关系在两幅图像之间建立对应。Franich提出了基于通用块匹配算法的视差估计方法，并引入一种平滑检测手段来评价视差匹配好坏。立体视频编码相对于一般编码方式主要增加了以下几种方案静止立体对编码，混合分辨率立体编码，运动及视差联合估计，物体方向性立体编码，与标准可兼容的编码，基于心理特性的比特分配，基于多分辨率的立体编码，多视编码及中间视图合成等。在本质上，立体视频编码都是利用双目视频流之间的相关性，以整体提高两路视频信号的编码效率。立体视频的显示有佩戴偏振眼镜/光栅眼镜观看(大屏幕投影)，以及裸眼借助特殊显示设备观看两种方式(三维显示器，三维视频手机)。采用两个投影仪，将两路视频流投影到同一个屏幕上，在两个投影仪前方分别架设偏振片使得两个投影仪透出的光线成为传播方向垂直的偏振光，观看时观众佩戴偏振眼镜，通过偏振镜片，使两只眼睛分别接收来自两个投影仪的视频图像，形成视差产生立体效果；光栅眼镜观看的方式是将两路视频流以较高频率交叉显示，第1，3，5帧显示左序列，2，4，6帧显示右序列，而光栅眼镜通过和播放设备进行通信控制闭合/开启左右光栅镜片，使得左眼只能看到1，3，5帧的左序列图像，右眼只能看到2，4，6帧右序列图像而形成视差产生立体效果，目前电影院的3D电影多采用这种方式。裸眼借助特殊显示设备观看也是类似原理，在显示屏表面使用特殊的材料和纹理，使得光线通过折射分别进入两只眼睛，以此形成视差产生立体感。两种方式各有优劣，前一种效果好，但是普通用户较难具备这种专业的设备和投影场地；后一种方式由于材料和光线折射方向等限制，只能在特定角度取得较好的效果，但是不需要用户使用投影仪、 偏振眼镜/光栅眼镜等专业设备，操作门槛低。目前，在即时通信中，还没有立体视频通信的具体实现方案。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种，能够在即时通信中，实现立体视频通信。为达到上述目的，本专利技术的技术方案是这样实现的一种即时通信中实现立体视频通信的系统，包括信令参数控制模块、立体视频捕获模块、立体视频编码模块、网络传输适配模块和立体视频显示模块，其中，指令参数控制模块，用于与用户命令交互，将启动立体视频的用户命令信息通知到该系统中的其它各模块；视频捕获模块，与视频捕获设备相连接，用于接收启动立体视频的用户命令信息， 捕获来自视频捕获设备的立体视频流的两路视频流，并输出给视频编码模块；视频编码模块用于接收启动立体视频的用户命令信息，根据预先设置参数，对立体视频流进行编码；网络传输适配模块用于接收启动立体视频的用户命令信息，发送编码后的立体视频编码码流；视频显示模块与显示设备相连接，用于将立体视频流输送到显示设备驱动接口并显不。该系统还包括视频解码模块，用于接收来自用户的选择切换至立体视频通话的通知，对接收到的来自网络传输适配模块的立体视频流进行解码。所述视频解码模块，还用于对普通视频流进行解码。所述视频捕获模块，还用于捕获单通道普通视频流；所述视频编码模块，还用于在采用普通视频模式时，对单通道视频流进行编码，将单通道的普通视频编码码流输出给网络传输适配模块；所述网络传输适配模块，还用于发送普通视频编码码流；所示视频显示模块，还用于将单通道视频流输送到显示设备驱动接口并显示。一种即时通信中实现立体视频通信的方法，主要包括在判断出本地视频捕获设备支持立体视频捕获，并且对端通知要求启动立体视频时，启动立体视频捕获，按照预设参数，对捕获到的立体视频流进行立体视频编码后，发送编码后的立体视频编码码流以显示。该方法还包括对所述编码后的立体视频编码码流进行立体视频解码后再执行显示。该方法还包括在判断出本地视频捕获设备不支持立体视频捕获，或者对端未要求启动立体视频时，发送单路普通视频，按照普通视频模式编码数据，结束本流程。所述立体视频编码包括对所述立体视频流中的主序列使用通用视频编码方式编码，副序列采用通用编码方式中的帧内、帧间预测方式，以及采用主序列的对应帧作为参考帧作视差估计补偿编码。所述发送编码后的立体视频编码码流的方法为所述立体视频编码码流的主序列和副序列的对应帧采取关联发送策略。从上述本专利技术提供的技术方案可以看出，在判断出本地视频捕获设备支持立体视频捕获，并且对端通知要求启动立体视频时，启动立体视频捕获，按照预设参数，对捕获到的立体视频流进行编码后，发送编码后的立体视频编码码流，接收端接收立体视频码流进行解码以显示立体视频。本专利技术在即时通信中实现了立体视频通信；另外，充分考虑到了对现有普通视频模式的兼容，同时考虑到了目前网络的异构性、终端的多样性。附图说明图1为本专利技术立体视频通信系统的组成架构示意图；图2为本专利技术立体视频通信系统中，发送方的处理流程图；图3为本专利技术立体视频通信系统中，接收方的处理流程图。具体实施例方式图1为本专利技术立体视频通信系统的组成架构示意图，如图1所示，本专利技术系统主要包括信令参数控制模块、视频捕获模块、视频编码模块、网络传输适配模块和视频显示模块，其中，指令参数控制模块，用于与用户输入命令交互，将用户命令信息，比如启动立体视频，通知到相应模块。视频捕获模块，与视频捕获设备相连接，用于接收启动立体视频的用户命令信息， 即表明采用立体视频通信方式，捕获来自视频捕获设备如双目摄像头的两路视频流(双通道视频流)，标记其左右属性、宽、高、格式，输出给立体视频编码模块，并输出给视频编码模块。进一步地，还用于捕获单通道普通视频流。视频编码模块，用于接收启动立体视频的用户命令信息，根据预先设置参数，对立体视频流进行编码，将本文档来自技高网...

【技术保护点】
１．一种即时通信中实现立体视频通信的系统，其特征在于，包括信令参数控制模块、立体视频捕获模块、立体视频编码模块、网络传输适配模块和立体视频显示模块，其中，指令参数控制模块，用于与用户命令交互，将启动立体视频的用户命令信息通知到该系统中的其它各模块；视频捕获模块，与视频捕获设备相连接，用于接收启动立体视频的用户命令信息，捕获来自视频捕获设备的立体视频流的两路视频流，并输出给视频编码模块；视频编码模块：用于接收启动立体视频的用户命令信息，根据预先设置参数，对立体视频流进行编码；网络传输适配模块：用于接收启动立体视频的用户命令信息，发送编码后的立体视频编码码流；视频显示模块：与显示设备相连接，用于将立体视频流输送到显示设备驱动接口并显示。

【技术特征摘要】
1.一种即时通信中实现立体视频通信的系统，其特征在于，包括信令参数控制模块、立体视频捕获模块、立体视频编码模块、网络传输适配模块和立体视频显示模块，其中，指令参数控制模块，用于与用户命令交互，将启动立体视频的用户命令信息通知到该系统中的其它各模块；视频捕获模块，与视频捕获设备相连接，用于接收启动立体视频的用户命令信息，捕获来自视频捕获设备的立体视频流的两路视频流，并输出给视频编码模块；视频编码模块用于接收启动立体视频的用户命令信息，根据预先设置参数，对立体视频流进行编码；网络传输适配模块用于接收启动立体视频的用户命令信息，发送编码后的立体视频编码码流；视频显示模块与显示设备相连接，用于将立体视频流输送到显示设备驱动接口并显2.根据权利要求1所述的系统，其特征在于，该系统还包括视频解码模块，用于接收来自用户的选择切换至立体视频通话的通知，对接收到的来自网络传输适配模块的立体视频流进行解码。3.根据权利要求2所述的系统，其特征在于，所述视频解码模块，还用于对普通视频流进行解码。4.根据权利要求1、2或3所述的系统，其特征在于，所述视频捕获模块，还用于捕获单通道普通视频流；所述视频编码模块，还用于在采用普通视频模式时，对单通道视频流进行编码，将单通道的...

【专利技术属性】
技术研发人员：吕静，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：94