用于沉浸式远程会议和远程呈现的多分组制造技术

本公开的各方面提供用于视频会议和/或远程呈现的方法和装置。在一些示例中，视频会议/远程呈现可由多个客户端设备、用户设备和媒体控制设备(例如，服务器设备)执行。例如，第一客户端设备确定限制来自第二客户端设备的覆盖媒体与第一客户端设备的沉浸式媒体的分组的分组控制，并发送指示分组控制的分组控制信号，以通知媒体控制设备。进一步地，第一客户端设备向媒体控制设备提供包括沉浸式媒体的一个或多个媒体。媒体控制设备可基于从第一客户端设备接收的分组控制信号来将多个沉浸式媒体流分组成单个或多个组。体流分组成单个或多个组。体流分组成单个或多个组。

【技术实现步骤摘要】
【国外来华专利技术】用于沉浸式远程会议和远程呈现的多分组
援引并入
[0001]本申请要求于2022年5月10日提交的题为“MULTIPLE GROUPING FOR IMMERSIVE TELECONFERENCING AND TELEPRESENCE(用于沉浸式远程会议和远程呈现的多分组)”的美国专利申请No.17/741,351的优先权权益，该美国专利申请No.17/741,351要求于2021年5月11日提交的题为“Multiple Grouping of 360Video for Immersive Teleconferencing and Telepresence for Remote Terminals(用于远程终端的沉浸式远程会议和远程呈现的360视频的多分组)”的美国临时申请No.63/187,346的优先权权益。这些在先申请的公开内容通过引用整体并入本文中。


[0002]本公开描述了总体上涉及视频会议和远程呈现的实施例。

技术介绍

[0003]本文所提供的背景描述是出于总体上呈现本公开内容的目的。在该
技术介绍
部分以及本说明书的各个方面中所描述的、目前已署名的专利技术人的工作所进行的程度，并不表明其在本申请提交时有资格作为现有技术，且从未明示或暗示其被承认为本公开内容的现有技术。
[0004]视频会议系统允许位于两个或更多个远程位置的用户通过媒体流(例如，视频流、音频流、或视频流和音频流两者)彼此交互地通信。一些视频会议系统还允许用户交换数字文档，例如图像、文本、视频、应用等。
专利技术内容
[0005]本公开的各方面提供用于视频会议和/或远程呈现的方法和装置。在一些示例中，视频会议/远程呈现可由多个客户端设备、用户设备和媒体控制设备(例如，服务器设备)执行。例如，第一客户端设备确定限制来自第二客户端设备的覆盖媒体与第一客户端设备的沉浸式媒体的分组的分组控制，并发送指示分组控制的分组控制信号，以通知媒体控制设备。进一步地，第一客户端设备向媒体控制设备提供包括沉浸式媒体的一个或多个媒体。媒体控制设备可基于从第一客户端设备接收的分组控制信号，将多个沉浸式媒体流分组成单个或多个组。
[0006]在一些示例中，沉浸式媒体包括全向视频、360度视频和广角视频中的至少一个。
[0007]在一些示例中，第一客户端设备发送具有指示分组控制的属性字段的会话描述协议(session description protocol，SDP)消息。在一个示例中，第一客户端发送具有如下属性字段的SDP消息，该属性字段指示不允许来自第二客户端设备的覆盖媒体与第一客户端设备的沉浸式媒体进行分组。例如，该属性字段的形式为“a＝no_other_overlays”。
[0008]在另一示例中，第一客户端设备发送具有如下属性字段的SDP消息，该属性字段指示允许来自第二客户端设备的覆盖媒体与第一客户端设备的沉浸式媒体进行分组。例如，
该属性字段的形式为“a＝other_overlays”。
[0009]在另一示例中，第一客户端设备发送具有如下属性字段的SDP消息，该属性字段指示允许与第一客户端设备的沉浸式媒体进行分组的媒体类型。例如，该属性字段的形式为“a＝allowed_content”。在一些示例中，媒体类型包括双向视频、图像和幻灯片中的至少一个。
[0010]在一些示例中，第一客户端设备发送具有第一属性字段和第二属性字段的SDP消息，第一属性字段指示允许来自第二客户端设备的覆盖媒体与第一客户端设备的沉浸式媒体进行分组，第二属性字段指示允许的媒体类型。
[0011]本公开的各方面还提供一种非暂时性计算机可读介质，非暂时性计算机可读介质存储有指令，当该指令由用于视频会议的计算机执行时，该指令使得该计算机执行用于视频会议/远程呈现的方法。
附图说明
[0012]根据以下详细描述和附图，所公开的主题的其他特征、性质和各种优点将更加明显，在附图中：
[0013]图1示出了根据本公开的一些示例的视频会议系统。
[0014]图2示出了根据本公开的一些示例的另一视频会议系统。
[0015]图3示出了根据本公开的一些示例的另一视频会议系统。
[0016]图4A至图4E示出了对应于一个或多个媒体组的属性字段的一些示例。
[0017]图5A至图5D示出了对应于一个或多个媒体组的属性字段的一些示例。
[0018]图6A至图6E示出了对应于一个或多个媒体组的属性字段的一些示例。
[0019]图7示出了概述根据本公开的一些示例的过程的流程图。
[0020]图8示出了概述根据本公开的一些示例的过程的流程图。
[0021]图9是根据一个实施例的计算机系统的示意性图示。
具体实施方式
[0022]本公开的各方面提供用于用信号表示沉浸式视频与覆盖视频进行多分组以用于远程会议和/或远程呈现的技术。
[0023]在一些示例中，远程会议可以是视频会议，视频会议的参与者可通过媒体流进行通信，该媒体流可包括视频和音频。远程呈现(Telepresence)是一种视频会议技术，其提供更高级别的音频和视频质量，以尽可能类似于面对面交流。在本公开的描述中，视频会议用于包括远程会议和远程呈现，且本公开中公开的技术可用于远程会议和远程呈现。
[0024]图1和图2示出了一些示例中的一些视频会议系统。
[0025]图1示出了视频会议系统(100)。视频会议系统(100)包括子系统(110)和多个用户设备，例如用户设备(120)和用户设备(130)。子系统(110)安装在诸如会议室A的位置。通常，子系统(100)配置成与用户设备(120)和用户设备(130)相比具有相对更高的带宽，且可提供视频会议会话(还称为视频会议呼叫)的主机服务。子系统(110)可使得会议室A中的用户或参与者能够参与视频会议会话，且可使得一些远程用户(例如，用户设备(120)的用户B和用户设备(130)的用户C)能够从远程位置参与视频会议会话。在一些示例中，子系统
(110)、用户设备(120)和用户设备(130)称为视频会议会话中的终端。
[0026]在一些实施例中，子系统(110)包括适合于会议室的各种音频、视频和控制组件。各种音频、视频和控制组件可集成在设备中，或者可以是通过合适的通信技术耦合在一起的分布式组件。在一些示例中，子系统(110)包括具有相对宽的视场的广角相机(111)，例如鱼眼相机、全向相机等。例如，全向相机可配置成具有大致覆盖整个球体的视场，由全向相机拍摄的视频可称为全向视频或360度视频。
[0027]进一步地，在一些示例中，子系统(110)包括麦克风(112)，例如可捕获来自几乎任何方向的声波的全向(还称为无方向)麦克风。子系统(110)可包括显示屏(114)、扬声器设备等，以使得会议室A中的用户能够在除了会议室A之外的位置播放与用户的视频和音频对应的多媒体。在一个示例中，扬声器设备可与麦克风(112)集成，或者本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频会议的方法，包括：通过所述视频会议的第一客户端设备确定分组控制，所述分组控制限制来自第二客户端设备的覆盖媒体与所述第一客户端设备的沉浸式媒体的分组；通过所述第一客户端设备发送指示所述分组控制的分组控制信号，以通知媒体控制设备；以及通过所述第一客户端设备向所述媒体控制设备提供包括所述沉浸式媒体的一个或多个媒体，其中，所述媒体控制设备基于从所述第一客户端设备接收的分组控制信号，将多个沉浸式媒体流分组成单个或多个组。2.根据权利要求1所述的方法，其中，所述沉浸式媒体包括全向视频、360度视频和广角视频中的至少一个。3.根据权利要求1所述的方法，其中，所述发送指示所述分组控制的分组控制信号，以通知媒体控制设备还包括：发送具有指示所述分组控制的属性字段的会话描述协议SDP消息。4.根据权利要求3所述的方法，其中，所述发送具有指示所述分组控制的属性字段的SDP消息还包括：发送具有如下属性字段的SDP消息，所述属性字段指示不允许来自所述第二客户端设备的覆盖媒体与所述第一客户端设备的沉浸式媒体进行分组。5.根据权利要求4所述的方法，其中，所述属性字段的形式为“a＝no_other_overlays”或“a＝other_overlays”。6.根据权利要求3所述的方法，其中，所述发送具有指示所述分组控制的属性字段的SDP消息还包括：发送具有如下属性字段的SDP消息，所述属性字段指示允许来自所述第二客户端设备的覆盖媒体与所述第一客户端设备的沉浸式媒体进行分组。7.根据权利要求1所述的方法，其中，所述媒体控制设备向用于远程终端的远程沉浸式远程会议和远程呈现ITT4RT接收器Rx客户端提供单个或多个组。8.根据权利要求3所述的方法，其中，所述发送具有指示所述分组控制的属性字段的SDP消息还包括：发送具有如下属性字段的SDP消息，所述属性字段指示允许与所述第一客户端设备的沉浸式媒体进行分组的媒体类型。9.根据权利要求8所述的方法，其中，所述属性字段的形式为“a＝allowed_content”。10.根据权利要求8所述的方法，其中，所述媒体类型包括双向视频、图像和幻灯片中的至少一个。11.根据权利要求3所...

【专利技术属性】
技术研发人员：罗伊特，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：