基于实时抠像的全息云会议系统技术方案

本发明专利技术公开了一种基于实时抠像的全息云会议系统，包括若干会议终端和云服务器；会议终端包括数据采集设备、处理器、推流设备、语音播放设备和全息投影设备；处理器用于解析视频数据和音频数据，将对视频数据进行抠图处理得到的抠图数据和音频数据进行重新编码得到会议数据发送至推流设备；推流设备将会议数据发送至云服务器；处理器还从云服务器获取其他会议终端上传的会议数据，将会议数据解析成抠图数据和音频数据，将抠图数据发送至全息投影设备，将音频数据发送至语音播放设备。本发明专利技术的基于实时抠像的全息云会议系统通过实时全息投影技术让不同地点的参会人员具有面对面交流的感觉，实现跨越空间的虚拟交互，且对场景没有特殊布置要求。

【技术实现步骤摘要】
基于实时抠像的全息云会议系统
本专利技术涉及一种基于实时抠像的全息云会议系统。
技术介绍
云会议是基于云计算技术的一种高效、便捷、低成本的会议形式。使用者只需要通过互联网界面，进行简单易用的操作，便可快速高效地与全球各地团队及客户同步分享语音、数据文件及视频，而会议中数据的传输、处理等复杂技术由云会议服务商帮助使用者进行操作。现有的云会议系统通常只将来自不同地点的多路音视频信号简单分发，不同会场的参会人员无法互动交流，且会场需要布置绿幕或者蓝幕，限定了使用场景。
技术实现思路
本专利技术提供了一种基于实时抠像的全息云会议系统，采用如下的技术方案：一种基于实时抠像的全息云会议系统，包括：若干会议终端和云服务器；若干会议终端通过网络与云服务器通讯连接；会议终端包括：数据采集设备、处理器、推流设备、语音播放设备和全息投影设备；数据采集设备、推流设备、语音播放设备和全息投影设备连接至处理器；数据采集设备用于采集会场的实时数据并发送至处理器，实时数据包括视频数据和音频数据；处理器用于解析出实时数据中的视频数据和音频数据，对视频数据进行抠图处理得到抠图数据，将得到的抠图数据和音频数据进行重新编码得到会议数据，将会议数据发送至推流设备；推流设备将会议数据发送至云服务器；处理器还从云服务器获取其他会议终端上传的会议数据，将获取到的会议数据解析成抠图数据和音频数据，将抠图数据发送至全息投影设备，将音频数据发送至语音播放设备；全息投影设备根据接收到的抠图数据进行全息投影；语音播放设备播放接收到的音频数据。进一步地，全息投影设备包括：激光投影仪和全息薄膜；激光投影仪连接至处理器用于接收处理器发送的抠图数据并根据接收到的抠图数据向全息薄膜发射激光。进一步地，处理器包括:解析单元、抠图单元和合成单元；解析单元用于将从数据采集设备接收到的实时数据解析成视频数据和音频数据以及将从云服务器接收到的其他会议终端上传的会议数据解析成抠图数据和音频数据；抠图单元用于对解析单元解析出的视频数据进行抠图处理得到抠图数据；合成单元用于将抠图单元处理得到的抠图数据和解析单元对数据采集设备采集到的实时数据进行解析得到的音频数据进行重新编码得到会议数据并发送至推流设备。进一步地，抠图单元包括：预处理模块、神经网络模块、形态学处理模块和前背景合成模块；预处理模块用于对解析单元解析出的视频数据进行缩放和归一化预处理；神经网络模块用于通过训练好的抠图神经网络模型对预处理后的视频数据进行处理得到初步抠图数据；形态学处理模块用于对初步抠图数据进行形态学处理；前背景合成模块用于对视频数据、形态学处理后的初步抠图数据和预置的背景图进行合成得到最终的抠图数据。进一步地，对神经网络模块中的抠图神经网络模型进行训练的方法为：获取包含人物的训练图片集；对训练图片集进行人工标注得到每一张训练图片的精确的分割结果；将标注后的训练图片集输入到抠图神经网络模型中对其进行训练。进一步地，对神经网络模块中的抠图神经网络模型进行训练的方法为：获取包含人物的训练图片集；对训练图片集进行人工标注得到每一张训练图片的精确的分割结果；获取不包含人物的复杂背景图集；将训练图片集中的训练图片与复杂背景图集中的复杂背景图进行融合得到扩充训练图片集；将扩充训练图片集输入到抠图神经网络模型中对其进行训练。进一步地，通过下述公式将训练图片集中的训练图片与复杂背景图集中的复杂背景图进行融合得到扩充训练图片集，Kij＝Ii*alphai+dbj*(1-alphai)，其中，Kij为融合结果，Ii为训练图片，alphai为训练图片Ii的标注结果，dbj为复杂背景图。进一步地，数据采集设备为内置麦克风的摄像机。进一步地，数据采集设备包括分离布置的视频采集装置和音频采集装置；视频采集装置和音频采集装置连接至处理器。进一步地，会议终端还包括补光设备。本专利技术的有益之处在于所提供的基于实时抠像的全息云会议系统，通过实时全息投影技术，让不同地点的参会人员具有面对面交流的感觉，实现跨越空间的虚拟交互，且对于场景没有特殊布置要求，可在没有绿幕的复杂背景下对人物进行实时抠像。附图说明图1是本专利技术的基于实时抠像的全息云会议系统的示意图；图2是本专利技术的会议终端的示意图；图3是本专利技术的处理器的示意图；图4是本专利技术的抠图单元的示意图。基于实时抠像的全息云会议系统，会议终端10，数据采集设备11，处理器12，解析单元121，抠图单元122，预处理模块1221，神经网络模块1222，形态学处理模块1223，前背景合成模块1224，合成单元123，推流设备13，语音播放设备14，全息投影设备15，补光设备16，云服务器20。具体实施方式以下结合附图和具体实施例对本专利技术作具体的介绍。如图1所示为本专利技术的一种基于实时抠像的全息云会议系统，包括：若干会议终端10和云服务器20。若干会议终端10通过网络与云服务器20通讯连接。若干会议终端10通过云服务器20实现相互通信连接。具体而言，如图2所示，会议终端10包括：数据采集设备11、处理器12、推流设备13、语音播放设备14和全息投影设备15。数据采集设备11、推流设备13、语音播放设备14和全息投影设备15连接至处理器12。数据采集设备11用于采集会场的实时数据并发送至处理器12，实时数据包括视频数据和音频数据。在本专利技术中，数据采集设备11为内置麦克风的摄像机或者是分离布置的视频采集装置和音频采集装置，视频采集装置和音频采集装置连接至处理器12。处理器12用于解析实时数据，得到实时数据中的视频数据和音频数据。处理器12对视频数据进行抠图处理得到抠图数据，将得到的抠图数据和音频数据进行重新编码得到会议数据，将会议数据发送至推流设备13。推流设备13将会议数据发送至云服务器20。通过上述描述的过程，会议终端10将本地的实时的视频和音频数据上传到云服务器20中。进一步地，处理器12还从云服务器20获取其他会议终端10上传的会议数据，将获取到的会议数据解析成抠图数据和音频数据，将抠图数据发送至全息投影设备15，将音频数据发送至语音播放设备14。会议终端10一方面将本地的数据上传到云服务器20供与其连接的其他会议终端10下载，同时，还从云服务器20上获取与其连接的其他会议终端10上传的会议数据。全息投影设备15根据接收到的抠图数据进行全息投影。语音播放设备14播放接收到的音频数据。优选的，会议终端10还包括补光设备16，补光设备16用于照亮前景人物，增加前景和背景的对比度，提升成像效果。具体的，全息投影设备15包括：激光投影仪和全息薄膜。激光投影仪连接至处理器12用于接收处理器12发送的抠图数据并根据接收到的抠图本文档来自技高网...

【技术保护点】
1.一种基于实时抠像的全息云会议系统，其特征在于，包括：若干会议终端和云服务器；/n若干所述会议终端通过网络与所述云服务器通讯连接；/n所述会议终端包括：数据采集设备、处理器、推流设备、语音播放设备和全息投影设备；/n所述数据采集设备、所述推流设备、所述语音播放设备和所述全息投影设备连接至所述处理器；/n所述数据采集设备用于采集会场的实时数据并发送至所述处理器，实时数据包括视频数据和音频数据；/n所述处理器用于解析出实时数据中的视频数据和音频数据，对视频数据进行抠图处理得到抠图数据，将得到的抠图数据和音频数据进行重新编码得到会议数据，将会议数据发送至所述推流设备；/n所述推流设备将会议数据发送至所述云服务器；/n所述处理器还从所述云服务器获取其他所述会议终端上传的会议数据，将获取到的会议数据解析成抠图数据和音频数据，将抠图数据发送至所述全息投影设备，将音频数据发送至所述语音播放设备；/n所述全息投影设备根据接收到的抠图数据进行全息投影；/n所述语音播放设备播放接收到的音频数据。/n

【技术特征摘要】
1.一种基于实时抠像的全息云会议系统，其特征在于，包括：若干会议终端和云服务器；
若干所述会议终端通过网络与所述云服务器通讯连接；
所述会议终端包括：数据采集设备、处理器、推流设备、语音播放设备和全息投影设备；
所述数据采集设备、所述推流设备、所述语音播放设备和所述全息投影设备连接至所述处理器；
所述数据采集设备用于采集会场的实时数据并发送至所述处理器，实时数据包括视频数据和音频数据；
所述处理器用于解析出实时数据中的视频数据和音频数据，对视频数据进行抠图处理得到抠图数据，将得到的抠图数据和音频数据进行重新编码得到会议数据，将会议数据发送至所述推流设备；
所述推流设备将会议数据发送至所述云服务器；
所述处理器还从所述云服务器获取其他所述会议终端上传的会议数据，将获取到的会议数据解析成抠图数据和音频数据，将抠图数据发送至所述全息投影设备，将音频数据发送至所述语音播放设备；
所述全息投影设备根据接收到的抠图数据进行全息投影；
所述语音播放设备播放接收到的音频数据。


2.根据权利要求1所述的基于实时抠像的全息云会议系统，其特征在于，
所述全息投影设备包括：激光投影仪和全息薄膜；
所述激光投影仪连接至所述处理器用于接收所述处理器发送的抠图数据并根据接收到的抠图数据向所述全息薄膜发射激光。


3.根据权利要求1所述的基于实时抠像的全息云会议系统，其特征在于，
所述处理器包括:解析单元、抠图单元和合成单元；
所述解析单元用于将从所述数据采集设备接收到的实时数据解析成视频数据和音频数据以及将从所述云服务器接收到的其他所述会议终端上传的会议数据解析成抠图数据和音频数据；
所述抠图单元用于对所述解析单元解析出的视频数据进行抠图处理得到抠图数据；
所述合成单元用于将所述抠图单元处理得到的抠图数据和所述解析单元对所述数据采集设备采集到的实时数据进行解析得到的音频数据进行重新编码得到会议数据并发送至所述推流设备。


4.根据权利要求3所述的基于实时抠像的全息云会议系统，其特征在于，
所述抠图单元包括：预处理模块、神经网络模块、形态学处理模块和前背景合成模块；
所述预处理...

【专利技术属性】
技术研发人员：王灿进，赵骥，徐常亮，
申请(专利权)人：新华智云科技有限公司，
类型：发明
国别省市：浙江;33