通信事件制造技术

在经由通信网络在第一用户(D)与一个或多个第二用户(A、B、C)之间的通信事件中。在连接至网络的计算机(102)处经由网络接收多个视频流(si、s2、s3)。流中的每个运送至少一个相应的用户(A、B、C)的相应的运动图像。计算机使得视频流中第一个流的相应的运动图像在第一时间间隔内在第一用户的用户设备处被显示。计算机检测(308、318)在所述视频流中的在第一时间间隔中不在用户设备处被显示的第二个流的相应的运动图像中其视觉内容的改变。响应于检测到所述视觉内容的改变，计算机使得(312)至少第二视频流在第二时间间隔内在用户设备处被显示。

Communication event

In a communication event between a first user (D) and one or more second users (A, B, C) via a communication network. Multiple video streams (Si, S2, S3) are received over the network at the computer (102) connected to the network. Each of the streams in the stream carries at least one corresponding image of the corresponding user (A, B, C). The computer causes the corresponding moving image of the first stream in the video stream to be displayed at the user equipment of the first user within the first time interval. The computer detects (308, 318) changes in the visual content of the corresponding moving image of the second stream not displayed at the user equipment in the first time interval in the video stream. In response to the detection of the change of the visual content, the computer causes (312) at least a second video stream to be displayed at the user equipment within a second time interval.

【技术实现步骤摘要】
【国外来华专利技术】通信事件
技术介绍
互联网协议语音(“VoIP”)通信系统允许设备的用户跨通信网络进行通话。为了使用VoIP，用户必须在其设备上安装并执行客户端软件。客户端软件提供VoIP连接以及诸如注册和认证之类的其他功能。有利地，除了语音和视频通信之外，客户端还可以提供视频通话和即时消息传送(“IM”)。利用视频通话，呼叫方还能够观看另一方的除了语音信息之外的视频图像(即，运动的图像)。这使能在多个参与方之间实现自然地多的通信(因为也传送了脸部表情)，由此使得视频通话与面对面的对话更具有可比性。包括多个用户的视频通话可以被称为“视频会议”。在传统的视频会议中，每个参与者(即，用户)能够观看视频会议中其他参与者(用户)中一个或多个的视频图像。例如，作为默认设置，可以向每个用户呈现视频会议中所有其他用户的视频图像。例如，可以使用网格来显示，其中每个视频图像占据网格上的不同位置。可替代地，可以向每个用户呈现与已经被检测为在发言的用户相对应的一个或多个视频图像。即，对来自发言者的音频的检测可以确定其他用户的视频图像中的哪一个被选择用于在特定用户的用户终端上显示。通常而言，在视频会议中，一次一个用户发言，并且因此这可能引起该用户的单个视频图像被显示给不发言的用户中的每个。
技术实现思路
提供了该
技术实现思路
以用简化形式引入在以下的具体实施方式中进一步描述的概念的选择。该
技术实现思路
不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。本主题的各个方面涉及经由通信网络在第一用户与一个或多个第二用户之间的通信事件。在连接至网络的计算机处经由网络接收多个视频流。流中的每个运送至少一个相应的用户的相应的运动图像。计算机使得视频流中的第一视频流的相应的运动图像在第一时间间隔内被显示在第一用户的用户设备上。计算机在所述视频流中的在第一时间间隔中不在用户设备上被显示的第二视频流的相应运动图像中检测其视觉内容的改变。响应于检测到该视觉内容的改变，计算机使得至少该第二视频流在第二时间间隔内在用户设备处被显示。附图说明为了更好地理解本主题，以及为了示出如何可以实施本主题的实施例，对以下附图进行参考，其中：图1示出了通信系统的示意性框图；图2示出了用户设备的示意性框图；图3示出了服务器的功能框图；图4A示出了可以用于基于在视频流的运动图像中识别的反应来确定与视频流相关联的优先级的计算机实现的数据库的示意性说明。图4B示出了可以用于基于在视频流的活动视频中检测到的用户数量的改变来确定与视频流相关联的优先级的计算机实现的数据库的示意性说明。图5A示出了用于基于对视频流的运动图像中的预期运动的识别而在通话期间在用户设备处显示的选择视频流的方法的流程图。图5B示出了用于基于在视频流的运动图像中检测到的用户数量的改变而在通话期间在用户设备处进行显示的选择视频流的方法的流程图。图6A到8C示出了在一组三个或更多用户之间在视频通话期间在不同阶段对客户端的图形用户界面的各种图示；图9示意性地示出了可选择的预先确定的布局。具体实施方式在经由通信网络进行的视频会议中，向特定用户显示视频会议中其他用户的所有视频图像可能不总是令人满意的。例如，在仅一些用户是活动的——即做对视频会议中的一个或多个其他用户而言感兴趣的事情和/或如果在该通话中存在非常大量的用户可以是这样的情况。例如，用户中的仅一个或两个可能是在发言的用户。防止与其余用户(即，非活动用户)相关联的视频图像被显示在用户的终端处会是令人满意的。这确保了用户终端不向不增加视频会议的用户体验的视频数据分配显示资源。尽管不是排他地，但这特别适用于移动设备、平板计算机、或受限的可用显示区域内的某些膝上型设备。在一些情况下，这还可以确保网络带宽不会被分配用来不必要地向其他用户终端发送与非活动用户相关联的视频流，如在下文中进一步详述的。在本文中这被称为“跟随动作讲故事”，并且随着通信事件继续进行，利用分组活动和分组响应来引导进行消费的参与者。目前，利用活动发言的视频会议，进行消费的参与者可能需要立刻监视多个视频馈送以确定哪里在发生非言语活动。可替代地，如果他们仅仅观看活动的发言者，则由于缺少向他们呈现的任何合适的视觉表示，因此他们可能没有意识到分组活动中的非言语改变。仅仅显示被识别为在发言的用户的视频图像(即，排他地基于检测到言语事件而显示视频图像)可能并不总是令人满意的。例如，用户可以对与其他用户中的一个或多个相关联的非言语事件感兴趣。这可以包括诸如在从特定用户终端接收的视频图像中出现的用户数量方面检测到的改变之类的事件。除了或代替与言语事件相关联的视频图像，向用户显示这种事件可能是令人满意的。这样做时，用户能够以类似故事的方式观看视频会议中的其他用户的活动(不管是言语的或非言语的)。在有限的时间间隔内显示非言语事件可能是令人满意的；例如，以确保不将用户的注意力从发言用户上带走太长时间。此外，已知可以视觉地传达非言语事件，即，无须播出任何相关联的音频数据，则用与其中检测到非言语事件的视频图像相关联的音频和视频数据来代替与发言用户相关联的音频和视频数据可能不令人满意。例如，确保发言用户的发言仍旧在用户的用户终端处播出可能是令人满意的，即使正在用户的用户终端处显示的视频图像与发言用户的视频图像不相对应(例如，如果该视频图像与其中检测到用户数量改变的视频图像相对应)。以该方式处理音频和视频数据确保了分组体验的故事连续性——即在视频会议中在合适的时间将用户的注意力带到相关的音频和视频数据。本公开通过提供使得视频会议的一个或多个视频图像以虚拟的“故事化的体验视图”在用户终端处被显示的通信系统来解决这些问题。虚拟的“故事化的体验视图”利用视频和讲故事的力量经由更引人入胜和栩栩如生的会面体验来将会议体验(即，视频会议)转换成在活动的发言之上。故事化的体验视图可以包括单流视频网格或者在其中一次播放多个视频和或音频频道的多流视频网格。通过在故事化的体验视图中显示视频图像，用户能够消费分组活动中最引人入胜和生动的故事，即，无须监视视频会议中所有其他用户的所有视频图像以便确定哪里在发生非言语用户活动。在故事化的体验视图中，由于即将发生的当前动作，可以取决于分组活动的大小以及捕获事件的传感器的数量而使用多视频网格和单视频网格的组合来显示或按顺序排列视频。在本公开中，一个计算机经由网络从相应用户中的每个中接收所有视频流，以使得可以将其所有视觉内容都考虑在内地进行关于要显示哪个的智能决策。计算机可以看见所有的候选流并且能够在将非言语事件(即，由流运送的运动图像的视觉内容的改变)考虑在内的情况下，限制被选择用于在特定用户终端处显示的这些流的数量。因为计算机经由网络接收所有的视频流，所以其被最好地放置以便关于要选择哪些视频流而进行智能决策。以该方式限制视频流的数量是有用的，例如，在用户终端具有受限显示区域的情况下。在这样的情况下，在用户终端处显示视频会议中其他用户的所有图像可能没有意义(特别是如果视频会议具有大量参与者)。接收所述流的计算机能够在最大化向进行消费的用户递送的信息的同时在受限的显示区域的界限内工作。从在不同的客户端设备上运行的不同客户端接收视频流中的至少两个尤其但非排他地是这样的情况，这是由于每个个体客户端不一本文档来自技高网...

【技术保护点】
1.一种经由通信网络在第一用户与一个或多个第二用户之间实现通信事件的计算机实现的方法，所述方法包括在连接至所述网络的计算机上实现以下操作：经由网络接收多个视频流，每个视频流运送一个或多个用户的相应的运动图像；使得所述视频流中第一个流的相应的运动图像在第一时间间隔内在所述第一用户的用户设备处被显示；检测在所述视频流中在所述第一时间间隔期间不在所述用户设备处被显示的第二个流的相应的运动图像的视觉内容的改变，所述视觉内容的所述改变包括所述相应的运动图像中用户总数的改变；以及响应于检测到所述视觉内容的所述改变，使得至少所述第二个流的相应的运动图像在第二时间间隔内在所述用户设备处被显示。

【技术特征摘要】
【国外来华专利技术】2016.02.19 US 15/048,8001.一种经由通信网络在第一用户与一个或多个第二用户之间实现通信事件的计算机实现的方法，所述方法包括在连接至所述网络的计算机上实现以下操作：经由网络接收多个视频流，每个视频流运送一个或多个用户的相应的运动图像；使得所述视频流中第一个流的相应的运动图像在第一时间间隔内在所述第一用户的用户设备处被显示；检测在所述视频流中在所述第一时间间隔期间不在所述用户设备处被显示的第二个流的相应的运动图像的视觉内容的改变，所述视觉内容的所述改变包括所述相应的运动图像中用户总数的改变；以及响应于检测到所述视觉内容的所述改变，使得至少所述第二个流的相应的运动图像在第二时间间隔内在所述用户设备处被显示。2.根据权利要求1所述的方法，其中，所述计算机基于在第二视频流的运动图像中检测到的所述视觉内容的改变，确定所述第二时间间隔的持续时间。3.根据权利要求1所述的方法，其中，所述改变是通过以下方式检测到的：所述计算机将脸部检测算法应用至所述第二视频流的相应的运动图像以检测在所述第一时间间隔期间在所述第二视频流的所述运动图像中脸的总数的改变。4.根据权利要求1所述的方法，其中，所述改变是通过以下方式检测到的：所述计算机将骨骼跟踪算法应用至所述第二视频流的相应的运动图像以检测在所述第一时间间隔期间在所述第二视频流的所述运动图像中骨骼的总数的改变。5.根据权利要求1所述的方法，其中，所述计算机在第一时间间隔内向所述第二视频流分配第一优先级值，并且响应于检测到所述视觉内容的所述改变，向所述流分配指示更高优先级的第二优先级值；并且其中，所述计算机使用所述第二优先级值从所述多个视频流中选择所述第二个流，以用于在所述第二时间间隔内在所述用户设备处进行所述显示。6.根据权利要求1所述的方法，其中，使得至少所述第二视频流的相应的运动图像在用户设备处被显示包括使得所述第一视频流的相应的运动图像被所述第二视频流的相应的运动图像所替代，以使得所述第一视频流的相应的运动图像在所述第二时间间隔内不在所述用...

【专利技术属性】
技术研发人员：J·T·福尔克纳，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US