一种全息可视对讲交互系统技术方案

本发明专利技术公开了一种全息可视对讲交互系统，由音像采集部分、图像处理部分、全息视频播放部分、交互设备部分和协调器部分组成。所述音像采集部分主要用于对讲过程中的声音、人体360°图像采集和传输；图像处理部分采用相应的算法对所采集的图像进行实时抠图处理、深度分析和全息视频图像的拼接合成；全息视频播放部分主要用于全息视频和声音的播放展示；交互设备部分主要用于交互双方动作的感知和命令动作的执行；协调器部分主要用于协调各个节点设备在系统中正常有序运行，为整个系统其保障作用。本发明专利技术提出一种全新的可视化对讲交互系统，视频对讲过程全部以全息形式呈现在使用者面前，改变以往单屏幕视频对讲模式。

【技术实现步骤摘要】

本专利技术涉及语音图像
，具体涉及一种全息视频对讲交互系统。
技术介绍
目前，随着芯片技术、数字通信、视频编解码等技术不断发展并日趋成熟，可视化视频语音对话系统也相继出现，但是大部分可视化对讲应用设备还是以传统的二维屏幕形式呈现画面，对讲双方不能全方位多角度的感知彼此的存在，而且视频画面经常受摄像头分辨率及网速影响造成视频传输过程中出现卡顿现象和模糊不清问题，同时传输过程协调不一致造成语音和图像的不同步问题，而且对讲过程中彼此之间的互动性和可感知性较差。鉴于以上问题，有必要提出一种全息可视对讲交互系统去解决现在可视化对讲过程中出现的这些问题。本系统把视频画面以全息的方式呈现出来，改变传统单调的一个屏幕一个方向观看的方式，为参观者提供一个360度观看高质量全息影像的视角；增加对讲互动功能，能够实现对讲的两人进行实时全息语音对讲交流；实时触控交互设备的加入更是丰富对话过程中的趣味性和真实性。
技术实现思路
针对现有技术存在的问题和不足，本专利技术提出一种全息可视对讲交互系统，主要在协调器控制下支持节点对节点的形式自由对讲，每个节点是一个独立的视频采集和交互全息视频播放的小房间。系统依靠节点内的音像采集设备采集声音和图像，利用自主研发的人体实时抠图和全息视频拼接技术对人体360°视频图像画面进行实时处理，通过全息视频播放设备和触控交互技术有机结合，给使用者带来视觉和交互上的震撼。系统以全息的方式实施展现对讲双方360°高清画面，解决传统视频对讲过程中只能依靠显示器显示一面造成的视觉疲劳问题。加入触控交互功能，识别对讲双方的手势动作和其他动作并在执行器上执行，具体执行装置种类多样，赋予对讲过程中更多的趣味性。本专利技术提出了一种全息可视对讲交互系统，其由一个协调器连接多个全息可视对讲节点组成；其中每个节点包括音像采集部分、图像处理部分、全息视频播放部分、交互感知部分和协调器部分。其中音像采集部分包括语音采集模块和图像采集模块两大功能模块；语音采集模块包括话筒，用于实时录音处理；图像采集模块包含四组摄像机(1)，用于实时图像采集并传输至图像处理部分；图像处理部分用于实时人体抠图、图像深度分析和全息交互视频的合成；数据传输方式为双向，既可以把采集到的图像和声音传输至协调器，又可以接收信服协调器传输来的视频和声音；全息视频播放部分包括全息四棱锥视频播放设备(6)和音箱(3)，接受来自协调器(14)分配的全息视频，用于全息视频的播放和对讲语音的播放；交互部分包括交互感应器(8)和交互执行器(9)，交互感应器(8)用于交互过程中的动作识别，交互执行器(9)用于交互动作的执行，其中交互执行器(9)由各种交互执行设备组成；其中人体前面有用于选择呼叫对讲者的拨号键盘(10)；协调器部分包括连接各个节点并与其双向通信的协调器(14)，其为整个系统的控制中心，服务于每个全息可视对讲节点，通过对每个节点的拨号呼叫、全息视频播放和交互感知作合理调度，形成一种全息可视对讲交互系统。可选地，利用四组摄像机实时录制每个节点内的人体图像，并经过数据线传输至图像处理部分，所述图像处理部分包含实时图像抠图模块(5)、图像深度分析模块(11)和全息视频图像拼接模块(12)，图像处理完毕后传输至协调器(14)，然后经过协调器(14)分配至其他节点以全息形式显示；话筒(2)用于记录对讲过程中的语音，并传输至协调器(14)，经过协调器分配至对应节点播放。可选地，所述交互感应器(8)用于识别和采集人体动作，位于人体斜上方，交互执行器可为交互座椅，其通过振动方式执行所述交互动作。可选地，所述全息视频播放部分还包括可转动桌子(7)，所述全息四棱锥视频播放设备(6)安放于可以转动的桌子(7)上，桌子高度和转速可调，全息四棱锥视频播放设备(6)具体受协调器(14)控制播放。可选地，所述交互系统，利用交互感应器(8)获得人体动作指令，交互执行器(9)执行动作指令，其中协调器(14)根据其他节点内的使用者的交互动作识别，控制交互执行器(9)执行相应的命令动作，其中人体前面有用于选择呼叫对讲者的拨号键盘(10)。可选地，所述协调器部分连接每个可视化对讲交互系统的节点，具有双向通信的功能，具体功能包括全息视频的协调传输、语音拨号的控制、感应设备的控制和传输、保障各节点的交互命令反馈，是整个系统的调度中心。可选地，所述多个节点内部的环境灯光根据环境调节，摄像机安装位置固定，音像采集、图像处理在每个节点内完成，数据由每个节点传输至协调器，之后所有数据交由协调器分配和处理。可选地，在全息对讲过程中，通过交互感应器对对讲双方进行动作和其他指令的识别，从而控制对方的交互执行器，进行相关命令的执行；视频、语音和交互感应器指令信息由摄像机、话筒和交互感应器采集后经过主机内部的视频抠图、视频深度分析和全息视频合成后传递给协调器，在协调器的控制下，把全息视频传送至对讲另一方的全息播放设备，把声音传送至对讲另一方的音箱，把交互感应器传送至对讲另一方的交互执行器，之后做出相应的命令。本专利技术解决其技术问题所采取的技术措施和具体实现方法如下：所述音像采集部分主要由四个用于拍摄人体360°画面的摄像机、一个记录声音的话筒和用于拨号的键盘组成。其中四路摄像机获得的视频传输至一台电脑服务器上，每个节点内均具有相同的设备，墙壁是绿色磨砂材质的布匹和分布于不同位置的灯，共同为摄像机提供明暗合适拍摄环境。所述图像处理部分主要由实时抠图处理、深度分析和全息视频图像的拼接合成软件程序组成。其可以接收来自节点的四路视频，进行实时抠图或深度分析，之后进行全息视频的合成处理，在协调器的控制下传输至对讲另一方节点播放。所述全息视频播放部分由全息四棱锥视频播放设备和音箱构成，其中四棱锥安放于节点内的可转动桌子上，桌子位于节点内部座位的正前方，高度可调以适合每个使用者。所述交互感知部分由交互感应器和交互执行器组成。交互感应器用以检测使用者做出的动作命令，并在协调器的分配下，传输至对讲另一方节点内的执行器，执行器根据交互感应器发出的命令来执行相应的动作，从而完成整个交互过程。所述协调器部分主要由视频语音转换器和命令分配器组成，是整个系统的大脑，实时控制控制每一个连接于其上的节点，包括视频播放、语音播放、交互感知，交互执行等。本专利技术的有益效果是：利用全息影像的形式呈现一个360°高质量画面，改变了传统只能在对讲过程中看到屏幕上一面人体图像的现状，增强了真实感，体验效果更佳。对讲过程中利用触觉交互设备功能，感知对讲人之间的手势和动作，实现更多物理上的交互，改变了传统视频对讲过程种种只可感受听觉和视觉的效果，增加趣味性。每个节点都是一个独立的椭球形小房子，内部环境全部绿色装饰，加之可调节高度和方向的全息设备的运用，给用户带来心理上的舒适感，同时科技感丰富，对于引导和培养孩子关于科学技术的兴趣有较大优势。附图说明图1是本专利技术中全息可视对讲系统的结构示意图；图2是本专利技术中全息可视对讲系统的功能框架示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。下面结合附图与具体方式对本专利技术进一步描述。见图1、图2，本专利技术提供了一种全息可视对讲交互系统，主要在协调器的调本文档来自技高网...

【技术保护点】
一种全息可视对讲交互系统，其特征在于：由一个协调器连接多个全息可视对讲节点组成；其中每个节点包括音像采集部分、图像处理部分、全息视频播放部分、交互感知部分；其中音像采集部分包括语音采集模块和图像采集模块两大功能模块；语音采集模块包括话筒，用于实时录音处理；图像采集模块包含四组摄像机(1)，用于实时图像采集并传输至图像处理部分；图像处理部分用于实时人体抠图、图像深度分析和全息交互视频的合成；数据传输方式为双向，既可以把采集到的图像和声音传输至协调器，又可以接收协调器传输来的视频和声音；全息视频播放部分包括全息四棱锥视频播放设备(6)和音箱(3)，接受来自协调器(14)分配的全息视频，用于全息视频的播放和对讲语音的播放；交互部分包括交互感应器(8)和交互执行器(9)，交互感应器(8)用于交互过程中的动作识别，交互执行器(9)用于交互动作的执行，其中交互执行器(9)由各种交互执行设备组成；其中人体前面有用于选择呼叫对讲者的拨号键盘(10)；协调器部分包括连接各个节点并与其双向通信的协调器(14)，其为整个系统的控制中心，服务于每个全息可视对讲节点，通过对每个节点的拨号呼叫、全息视频播放和交互感知作合理调度，形成一种全息可视对讲交互系统。...

【技术特征摘要】
1.一种全息可视对讲交互系统，其特征在于：由一个协调器连接多个全息可视对讲节点组成；其中每个节点包括音像采集部分、图像处理部分、全息视频播放部分、交互感知部分；其中音像采集部分包括语音采集模块和图像采集模块两大功能模块；语音采集模块包括话筒，用于实时录音处理；图像采集模块包含四组摄像机(1)，用于实时图像采集并传输至图像处理部分；图像处理部分用于实时人体抠图、图像深度分析和全息交互视频的合成；数据传输方式为双向，既可以把采集到的图像和声音传输至协调器，又可以接收协调器传输来的视频和声音；全息视频播放部分包括全息四棱锥视频播放设备(6)和音箱(3)，接受来自协调器(14)分配的全息视频，用于全息视频的播放和对讲语音的播放；交互部分包括交互感应器(8)和交互执行器(9)，交互感应器(8)用于交互过程中的动作识别，交互执行器(9)用于交互动作的执行，其中交互执行器(9)由各种交互执行设备组成；其中人体前面有用于选择呼叫对讲者的拨号键盘(10)；协调器部分包括连接各个节点并与其双向通信的协调器(14)，其为整个系统的控制中心，服务于每个全息可视对讲节点，通过对每个节点的拨号呼叫、全息视频播放和交互感知作合理调度，形成一种全息可视对讲交互系统。2.根据权利要求1所述的一种全息可视对讲交互系统，其特征在于：利用四组摄像机实时录制每个节点内的人体图像，并经过数据线传输至图像处理部分，所述图像处理部分包含实时图像抠图模块(5)、图像深度分析模块(11)和全息视频图像拼接模块(12)，图像处理完毕后传输至协调器(14)，然后经过协调器(14)分配至其他节点以全息形式显示；话筒(2)用于记录对讲过程中的语音，并传输至协调器(14)，经过协调器分配至对应节点播放。3.根据权利要求1所述的一种全息可视对讲交...

【专利技术属性】
技术研发人员：刘禹，刘东昌，倪晚成，吕石磊，白忠可，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11