多视角裸眼3D视频会议系统技术方案

一种多视角裸眼3D视频会议系统，包括服务器端和客户端，服务器端和客户端之间建立通信，所述客户端设置至少一个摄像头，采用单个摄像头拍摄客户端用户，并设置图像上传模块和图像显示模块，图像显示模块对服务器端传输返回的多视点图像合成编码结果进行解码转换，显示裸眼3D视频；所述服务器端设置至少三个摄像头，采用多个摄像头拍摄服务端图像，并设置摄像输入模块、人脸检测模块和图像处理模块，图像处理模块根据人脸检测模块检测所得客户端用户的面部和摄像输入模块所得多视点图像进行合成编码，并传输到客户端。本发明专利技术使得多视图场景的可用性与应用领域大大拓宽，同时用户体验和性能能够得以提高。

【技术实现步骤摘要】

本专利技术涉及视频会议
，特别涉及一种多视角裸眼3D视频会议系统。
技术介绍
视频会议系统在全世界范围广泛应用，而远程传输高清3D视频能够使用户得到更多有用的图像信息，从而满足机械设计、远程诊疗等进一步的需求，但3D视频会议的多数据流同步、视频编码、实时传输和裸眼显示等一系列技术问题尚未得到充分解决，3D视频会议系统的实现有着诸多技术瓶颈。目前，观看3D视频往往需要某种特殊的眼镜。这阻碍了合作伙伴间的沟通，因为他们的镜头，无论是彩色滤光片，偏光或液晶显示器(LCD)快门，隐藏人像，在非言语交流的领域这是非常重要的。还有不使用眼镜称为自动立体屏幕，如任天堂3DS控制台的替代品。不幸的是，若用户改变，革新成本和3D效果方面仍然有限。例如，经对现有技术文献和专利的检索发现，皇家飞利浦电子股份有限公司2004年申请的3D视频会议专利中提出以一种双视频的照相机和立体图像显像的光学装置实现3D视频会议的方法，但该专利使用3D左右眼图像切换的显像方式，必须配套使用特制的3D眼镜，因此系统实现复杂；且该专利着重定义了3D采集设备和显示设备，而对3D图像的数字化编码、传输和存储方法没有明确给出。总结而言，现有技术或产品主要存在以下问题：1.用户脸部检测不理想，而且脸部的中心点会随着连续帧之间的像素不同而改变。2.由于对象并非处于现实生活环境中，通过分离图层达到的效果是不符合实际的。3.最终效果并不足够真实。因此研究有效的3D图像编码、传输、存储和裸眼3D成像方法对于3D视频会议系统的实现具有重要的意义。在进一步的检索中，尚未发现任何与本专利技术类似的实现裸眼3D视频会议方法的文献和报道。
技术实现思路
此前，多数据流同步、视频编码、实时传输和裸眼显示等技术问题尚未得到充分解决。本专利技术的目的在于提供一种能够克服上述技术问题的裸眼3D视频会议系统。本专利技术技术方案提供一种多视角裸眼3D视频会议系统，包括服务器端和客户端，服务器端和客户端之间建立通信，所述客户端设置至少一个摄像头，采用单个摄像头拍摄客户端用户；并设置图像上传模块和图像显示模块，所述图像上传模块，用于将客户端摄像头拍摄所得客户端用户图像传输到服务器端；所述图像显示模块，用于对服务器端传输返回的多视点图像合成编码结果进行解码转换，显示裸眼3D视频；所述服务器端设置至少三个摄像头，采用多个摄像头拍摄服务端图像；并设置摄像输入模块、人脸检测模块和图像处理模块，所述摄像输入模块，用于支持服务器端摄像头的调整校准，并在校准后输入服务器端摄像头拍摄所得多视点图像；所述人脸检测模块，用于从客户端接收的客户端用户图像中检测客户端用户的面部；所述图像处理模块，用于根据人脸检测模块检测所得客户端用户的面部和摄像输入模块所得多视点图像进行合成编码，并传输到客户端。而且，服务器端设置三个摄像头，客户端采用基于柱镜式免眼镜的3D显示屏幕，所述图像显示模块对服务器端传输返回的多视点图像合成编码结果进行解码后，获得分离的3幅服务端用户的图像，根据3D显示屏幕支持显示的视点图数目P，转换获取视点数据，然后按照合成柱镜格式像素排列要求，以裸眼3D全息的方式显示。而且，所述转换获取视点数据的实现方式如下，(i)若P＝3，则直接将3幅图像输出为视点数据；(ii)若P＜3，则将3幅图像以第2幅图像为中点，按均匀分布对称减少图像数目，直至P与图像数目相等，此时将P幅图像输出为视点数据；(iii)若P＞3，则将3幅图像以第2幅图像为中点，按均匀分布对称增加图像数目，直至P与图像数目相等，此时将P幅图像输出为视点数据。而且，所述服务器端设置的多个摄像头处于同一水平位置。而且，所述图像处理模块根据人脸检测模块检测所得客户端用户的面部的位置，改变服务器端各摄像头获取到的图像在合成过程中合成比例大小。本专利技术的优点在于：1.无需使用特殊的眼镜、光学装置或画面屏幕系统，可以轻松的体验立体影像效果；2.主要适用范围：移动终端(手机、笔记本、平板电脑等)；3.提供了更好的3D的体验，改进3D图像质量，提高3D观看舒适度；4.可实现多视点裸眼3D显示，解决多人多角度同时观看的问题；5.装置简单且成本较低，在裸眼3D视频会议领域是一个更切合实际的解决方案；6.多视图场景的可用性与应用领域大大拓宽，同时用户体验和性能能够得以提高；7.在图像发送端对采集到的3D视频图像数据，转换成更适合3D图像合成的存储和标准化编解码；在视频接收端以接收图像显示转换器将3D合成图像转换成与显示设备相匹配的裸眼3D数据，摆脱了3D眼镜的束缚。附图说明图1为本专利技术实施例的3D视频会议系统原理图。图2是本专利技术实施例中所提到的迟滞作用的应用示意图。图3是本专利技术实施例的服务器端原理图。图4为本专利技术实施例的3D视频会议系统的效果示意图。具体实施方式以下结合附图和实施例详细说明本专利技术的技术方案。本专利技术由生物学上运动视差的启发提出应用于三维视频会议多视图计算模型。所述运动视差是指，人的双眼基本处于同一平面，但两眼间有一定的间距，因此观看物体时视线会形成一个交叉角度，角度越大，立体感和距离感就越强。由于交叉角度的存在，双眼看到的画面并不相同，也就是产生了“视差”，两幅具有视差的画面经过大脑处理后才能得到完整的立体景象。该生物模型目的在于使用神经元提供除立体视觉之外感知的视觉线索。本专利技术提供的裸眼3D视频会议采用了类似人眼的“视觉差屏障”技术，使用多个摄像头从而实现不同角度的图像的获取，进而完成3D图像的合成与展示。参见图1，本专利技术提出一种在远程计算机(服务器端)使用多摄像头和在本地用户端(客户端)使用单摄像头跟踪运动的主从架构。因此，本专利技术的一种多视角裸眼3D视频会议系统，包括服务器端和客户端，服务器端和客户端之间建立网络通信。所述客户端设置至少一个摄像头，采用单个摄像头拍摄客户端用户；所述服务器端设置至少三个摄像头，采用多个摄像头拍摄客户端用户。综合考虑3D效果和设备成本，建议客户端设置一个摄像头，服务端设置三个摄像头，实施例按此实现。客户端可以利用手机等移动终端实现，服务器可利用计算机等设备实现。在实际使用过程中，无论是服务器端还是客户端，摄像机的数量是可以依据用户的需求和所能承担的成本而增加，满足了3个及3个以上的摄像机就可以提供3D视频会议的效果。例如客户端如果设置三个摄像头，也可以实现服务器端的功能，支持反向的主从架构。客户端摄像头图像用于处理头部跟踪。服务器端摄像头图像使用多摄像头获取场景的多视角图像。各种渲染模型被引入至某一特定的角度场景呈现。本专利技术的处理链可包括：多视点图像捕获、3D场景展示、压缩编码、传输、渲染和显示图像。客户端使用设有单摄像头的计算机(或移动终端)，服务器端为使用多台平行排列的摄像头的计算机。客户端获得用户图像，并通过网络发送给服务器。然后，该服务器从客户端接收到的图像中本文档来自技高网...

【技术保护点】
一种多视角裸眼3D视频会议系统，其特征在于：包括服务器端和客户端，服务器端和客户端之间建立通信，所述客户端设置至少一个摄像头，采用单个摄像头拍摄客户端用户；并设置图像上传模块和图像显示模块，所述图像上传模块，用于将客户端摄像头拍摄所得客户端用户图像传输到服务器端；所述图像显示模块，用于对服务器端传输返回的多视点图像合成编码结果进行解码转换，显示裸眼3D视频；所述服务器端设置至少三个摄像头，采用多个摄像头拍摄服务端图像；并设置摄像输入模块、人脸检测模块和图像处理模块，所述摄像输入模块，用于支持服务器端摄像头的调整校准，并在校准后输入服务器端摄像头拍摄所得多视点图像；所述人脸检测模块，用于从客户端接收的客户端用户图像中检测客户端用户的面部；所述图像处理模块，用于根据人脸检测模块检测所得客户端用户的面部和摄像输入模块所得多视点图像进行合成编码，并传输到客户端。

【技术特征摘要】
1.一种多视角裸眼3D视频会议系统，其特征在于：包括服务器端和客户端，服务器端和客户端之间建立通信，
所述客户端设置至少一个摄像头，采用单个摄像头拍摄客户端用户；并设置图像上传模块和图像显示模块，
所述图像上传模块，用于将客户端摄像头拍摄所得客户端用户图像传输到服务器端；
所述图像显示模块，用于对服务器端传输返回的多视点图像合成编码结果进行解码转换，显示裸眼3D视频；
所述服务器端设置至少三个摄像头，采用多个摄像头拍摄服务端图像；并设置摄像输入模块、人脸检测模块和图像处理模块，
所述摄像输入模块，用于支持服务器端摄像头的调整校准，并在校准后输入服务器端摄像头拍摄所得多视点图像；
所述人脸检测模块，用于从客户端接收的客户端用户图像中检测客户端用户的面部；
所述图像处理模块，用于根据人脸检测模块检测所得客户端用户的面部和摄像输入模块所得多视点图像进行合成编码，并传输到客户端。
2.根据权利要求1所述多视角裸眼3D视频会议系统，其特征在于：服务器端设置三个摄像头，客户端采用基于柱镜式免眼镜的3D显示屏幕，所述图像显示模块...

【专利技术属性】
技术研发人员：胡昌龙，万宵愉，马成成，任慧敏，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北;42