支持变化的几何结构和移动用户的空间可靠的远程呈现制造技术

本文描述的系统和方法被提供用于管理共享虚拟几何结构中的用户位置，捕获空间可靠系统中的本地用户环境的360°视图，以及计算从第二用户的眼点来看第一用户的视角视图。用户可以在所述共享虚拟几何结构周围移动，并且用户的视角视图可以被更新。一些实施例使用同心几何结构与其他用户进行群组会议。一些实施例可以使用基于网格的几何结构与其他用户一起探索。一些实施例可以降低传输的比特率，以使得系统和方法能够在数据受限的环境中实现。一些实施例支持用户移动和导航共享虚拟几何结构。

Support for changing geometry and reliable remote presentation of mobile users' space

【技术实现步骤摘要】
【国外来华专利技术】支持变化的几何结构和移动用户的空间可靠的远程呈现相关申请的交叉引用本申请是2017年6月9日提交的题为“支持变化的几何结构和移动用户的空间可靠远程呈现”的美国临时专利申请序列号62/517,686的非临时申请，并且要求在《美国法典》第35章第119(e)条(35U.S.C.§119(e))下该美国临时专利申请的益处，该申请的全部内容通过引用并入本文。
技术介绍
空间可靠性是系统保持人与对象之间的空间关系的能力。在许多远程呈现系统中，远程呈现会话的参与者具有处于相同会议几何结构的印象。这些系统中的许多系统需要用户之间的固定几何结构(或排布)，并且限制每个会见地点/会话的参与者的数量。许多远程呈现系统可以被分成几个类别，这取决于这些系统合并远程站点(或编译来自远程站点的视图)和针对每个本地站点的用户的方式。
技术实现思路
方法的一些实施例可以包括：针对多个用户中的每个用户，接收相应用户的本地环境的三维(3D)本地环境扫描；将所述多个本地环境扫描中的每本地一者到共享虚拟几何结构中的相应地点和取向；响应于从控制用户接收环境移动输入，修改相对于所述共享虚拟几何结构的所述控制用户的所述本地环境扫描的所述地点和所述取向中的至少一个；跟踪至少一个观看用户在所述共享虚拟几何结构中的视角地点；以及生成从所述观看用户的所述视角地点来看所述共享虚拟几何结构的二维(2D)视角视频。对于一些实施例，映射共享虚拟几何结构可以包括：将所述多个本地环境扫描中的每一者对准到共同原点；以及将所述多个本地环境扫描中的每一者定向到共同方向，其中所述共享虚拟几何结构可以与多个本地环境扫描中的每一者重叠。对于一些实施例，映射共享虚拟几何结构可以包括：将所述多个本地环境扫描中的每一者与网格中的单独的点对准；以及将所述多个本地环境扫描中的每一者定向到共同方向，其中所述多个本地环境扫描中的每一者可以被分配给所述网格中的点。对于一些实施例，跟踪至少一个观看用户在共享虚拟几何结构中的视角地点可包括：基于所述多个用户中的每个用户的移动来修改所述多个用户中的每个用户在所述共享虚拟几何结构中的地点；基于多个用户命令修改所述共享虚拟几何结构；以及跟踪至少一个观看用户在所修改的共享虚拟几何结构中的地点和取向。对于一些实施例，生成从观看用户的视角地点来看共享虚拟几何结构的二维(2D)视角视频可包括：确定选自所述多个用户的第一用户与选自所述多个用户的第二用户之间的共享虚拟几何结构中的距离；以及响应于确定第一用户与第二用户之间的距离小于阈值：选择用于所述2D视角视频的表示的分辨率；以及基于所选择的分辨率创建2D视角视频。对于一些实施例，一种方法还可以包括计算组合视频，该组合视频将背景图像与来自观看用户的视角地点的共享虚拟几何结构的2D视角视频组合。对于一些实施例，一种方法可以进一步包括将组合视频传送到选自多个用户的第一用户。对于一些实施例，一种方法可进一步包括：在第二用户的地点和收听方向改变之后，从第一用户接收与该第一用户的地点和收听方向相对应的音频信号；计算与所述第二用户的地点和收听方向相对应的音频信号；以及将所计算的音频信号传送给第二用户。对于一些实施例，一种方法可进一步包括：从另一用户接收2D视角视频；对从另一用户接收的所述2D视角视频进行解码，以生成解码的2D视角视频；用附加内容增强解码的2D视角视频以生成增强的2D视角视频；对增强的2D视角视频进行编码以生成编码的2D视角视频；将所述编码的2D视角视频传送给服务器。对于一些实施例，一种方法可进一步包括：向所述多个用户中的每一者传送所述共享虚拟几何结构内的多个其他用户中的至少一者的位置；以空间可靠的方式从第一用户接收与第二用户的地点、观看方向和位置变化对应的二维(2D)视频；以及向第二用户传送从第一用户接收的2D视频和背景。对于一些实施例，一种方法可进一步包括：计算组合2D视角视频，所述组合2D视角视频将背景与所述2D视角视频中的一者组合；显示所组合的2D视角视频。对于一些实施例，一种方法可进一步包括：从选自所述多个用户中的一者的远程用户接收信息，以改变本地环境几何结构在所述共享虚拟几何结构内的地点；选择针对与由从远程用户接收的信息所指示的地点相关联的背景的新背景；以及用新背景替换所组合的2D视角视频的背景。对于一些实施例，一种方法可进一步包括：检测从选自所述多个用户的第二用户的视角地点来看遮挡选自所述多个用户的第一用户的视野的对象；从共享虚拟几何结构中移除对象；以及生成从第二用户的视角地点来看不具有共享虚拟几何结构的对象的更新的2D视角视频。对于一些实施例，一种方法可进一步包括：接收所述2D视角视频中的一者；显示接收的2D视角视频。装置的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，当在处理器上执行所述指令时，所述指令可操作以执行上面列出的方法。附图说明图1是示出根据一些实施例的针对用户的具有六边形布置中的六边形单元的示例棋盘格状空间的示意平面图。图2是示出根据一些实施例的针对用户的具有捕获相机的矩形布置中的正方形单元的示例棋盘格状空间的示意平面图。图3是示出根据一些实施例的棋盘格状空间中的示例六边形单元的示意性视角视图，该棋盘格状空间示出了位于中间的人如何被邻近的人看到。图4是示出根据一些实施例的示例棋盘格状空间的示意视角视图，在该棋盘格状空间中用户转向和移动以看到其他用户。图5A是示出根据一些实施例的具有正方形单元的示例8照相机捕获环境的示意性平面图。图5B是示出根据一些实施例的具有8个相机的示例方形捕获环境的示意性视角视图。图6是示出根据一些实施例的用于表示虚拟几何结构中的用户的一组示例界面的系统图。图7是示出根据一些实施例的用于捕获和渲染虚拟会议环境的一组示例界面的系统图。图8是根据一些实施例的从参与者的视点来看被渲染到房间中的一组示例性的六个远程参与者的示意图。图9是示出根据一些实施例的被渲染到统一几何结构的一组示例远程参与者的示意性平面图。图10A是示出根据一些实施例的在移除阻挡壁之前的一组示例性的捕获的用户空间的示意性平面图。图10B是示出根据一些实施例的在移除阻挡壁之后的一组示例性的捕获的用户空间的示意性平面图。图11是示出根据一些实施例的针对四个站点处的七个参与者，在远程呈现系统中从用户的视点来看的一组示例几何结构和连接的示意性平面图。图12是示出根据一些实施例的针对在四个站点处的七个参与者的，在远程呈现系统中从用户的视点来看针对一个用户访问另一用户的一组示例几何结构和连接的示意平面图。图13是示出根据一些实施例的使用空间可靠的会议配置和同心几何结构的具有五个用户的一组示例性的三个会见站点的示意性平面图可靠。图14是示出根据一些实施例的通过其原点和基本方向对准的一组示例的三个会议空间的示意性平面图。图15是示出根据一些实施例的用于通过将子空间对准到单独的网格本文档来自技高网...

【技术保护点】
1.一种方法，该方法包括：/n针对多个用户中的每一者，接收相应用户的所述本地环境的三维(3D)本地环境扫描；/n将多个本地环境扫描中的每一者映射到共享虚拟几何结构中的相应地点和取向；/n响应于从控制用户接收环境移动的输入，修改相对于所述共享虚拟几何结构的所述控制用户的所述本地环境扫描的所述地点和所述取向中的至少一者；/n跟踪至少一个观看用户在所述共享虚拟几何结构中的视角地点；以及/n生成从所述观看用户的所述视角地点来看所述共享虚拟几何结构的二维(2D)视角视频。/n

【技术特征摘要】
【国外来华专利技术】20170609 US 62/517,6861.一种方法，该方法包括：
针对多个用户中的每一者，接收相应用户的所述本地环境的三维(3D)本地环境扫描；
将多个本地环境扫描中的每一者映射到共享虚拟几何结构中的相应地点和取向；
响应于从控制用户接收环境移动的输入，修改相对于所述共享虚拟几何结构的所述控制用户的所述本地环境扫描的所述地点和所述取向中的至少一者；
跟踪至少一个观看用户在所述共享虚拟几何结构中的视角地点；以及
生成从所述观看用户的所述视角地点来看所述共享虚拟几何结构的二维(2D)视角视频。


2.根据权利要求1所述的方法，其中映射所述共享虚拟几何结构包括：
将所述多个本地环境扫描中的每一者对准到共同原点；以及
将所述多个本地环境扫描中的每一者定向到共同方向，以及
其中，所述共享虚拟几何结构与所述多个本地环境扫描中的每一者重叠。


3.根据权利要求1所述的方法，
其中映射所述共享虚拟几何结构包括：
将所述多个本地环境扫描中的每一者与网格中的单独的点对准；以及
将所述多个本地环境扫描中的每一者定向到共同方向，以及
其中，所述多个本地环境扫描中的每一者被分配到所述网格中的点。


4.根据权利要求1所述的方法，其中，跟踪所述共享虚拟几何结构中的至少一个观看用户的所述视角地点包括：
基于所述多个用户中的每一者的移动，修改所述多个用户中的每一者在所述共享虚拟几何结构中的所述地点；
基于多个用户命令修改所述共享虚拟几何结构；以及
跟踪至少一个观看用户在所修改的共享虚拟几何结构中的所述地点和所述取向。


5.根据权利要求1至4中任意项所述的方法，其中，生成从所述观看用户的所述视角地点来看所述共享虚拟几何结构的所述二维(2D)视角视频包括：
确定选自所述多个用户中的第一用户与选自所述多个用户中的第二用户之间的共享虚拟几何结构中的距离；以及
响应于确定所述第一用户与所述第二用户之间的所述距离小于阈值：
选择用于表示所述2D视角视频的分辨率；以及
基于所选择的分辨率来创建所述2D视角视频。


6.根据权利要求1至4中任意项所述的方法，该方法还包括：计算组合背景图像与来自所述观看用户的所述视角地点的所述共享虚拟几何结构的所述2D视角视频的组合视频。


7.根据权利要求6所述的方法，该方法还包括：将所述组合视频传送到选自所述多个用户的第一用户。

【专利技术属性】
技术研发人员：塞波·T·瓦利，佩卡·K·西尔塔宁，
申请(专利权)人：PCMS控股公司，
类型：发明
国别省市：美国;US