基于远程用户视场的相机定向制造技术

在包括处理器和与处理器通信的计算机可读介质的系统中，计算机可读介质包括可执行指令，当由处理器执行时，使处理器控制系统经由通信网络从远程系统接收远程主体的第一远程视场(FOV)；基于接收到的第一远程FOV，使相机定向单元在第一取向上定向相机，其中定向在第一取向上的相机具有与从远程系统接收到的第一远程FOV相对应的第一本地FOV；在第一取向上定向相机后，使图像捕获单元通过显示器捕获第一本地图像；以及经由通信网络向远程系统传输所捕获的第一本地图像。所捕获的第一本地图像。所捕获的第一本地图像。

【技术实现步骤摘要】
【国外来华专利技术】基于远程用户视场的相机定向

技术介绍

[0001]视频会议技术已经变得越来越普遍。这种技术现在在世界范围内广泛用于各种个人和商业通信。例如，在电话会议或其他视频会议期间，个人可以通过数码相机捕获并传输给参与者的图像和声音进行“互动”并进行面对面的对话。为了提供更吸引人的视频会议体验，一组被称为“远程呈现”的技术被引入，其目的是让不同地理位置的参与者感觉好像他们在同一个位置。与传统的视频会议方案相比，远程呈现提供了一定的改进，包括为位于不同地理位置的视频会议参与者提供沉浸式体验。通过提供足够的沉浸式体验，参与者可以感受到与在同一位置彼此面对面的相同程度的信任和同理心。然而，为了提供足够的沉浸式体验，有必要同时从多个角度捕获当地场景的多个图像，并将捕获到的图像传输到远程站点。因此，可能需要同时操作大量高速和高性能相机(例如，光场相机)，从而产生大量数据，这些数据需要经由通信网络进行编码并传输到远程站点。因此，对于用于提供足够沉浸式体验的远程呈现技术更有效实现，仍然存在重要的领域。

技术实现思路

[0002]在一种实现中，用于捕获用于传输到远程系统的本地图像的系统包括：显示器，具有面向本地主体的前表面和与前表面相对面向的后表面；图像捕获单元，包括(i)被定位在显示器的后表面并被配置为通过显示器捕获本地图像的相机，以及(ii)被配置为定向相机的相机定向单元；处理器；以及与处理器通信的计算机可读介质。计算机可读介质包括可执行指令，当处理器执行该指令时，使处理器控制系统执行经由通信网络从远程系统接收远程主体的第一远程视场(FOV)的功能；基于接收到的第一远程FOV，相机定向单元将相机定向在第一取向中，其中被定向在第一取向中的相机具有与从远程系统接收到的第一远程FOV相对应的第一本地FOV；在将相机定向在第一取向中时，使图像捕获单元通过显示器捕获第一本地图像；以及经由通信网络向远程系统传输所捕获的第一本地图像。
[0003]在另一种实现中，非暂态计算机可读介质存储可执行指令，当该指令被处理器执行时，使处理器控制系统执行：经由通信网络从远程系统接收远程主体的第一远程视场(FOV)；基于接收到的第一远程FOV，将相机定向在第一取向中，该相机被定位在显示器的后表面上，其中被定向在第一取向中的相机具有与从远程系统接收到的第一远程FOV相对应的第一本地FOV；在将相机定向在第一取向中时，使该相机通过显示器捕获本地图像；以及经由通信网络将捕获到的第一本地图像传输到远程系统。
[0004]在另一种实现中，一种操作用于捕获用于传输到远程系统的本地图像的系统的方法，该系统包括(i)显示器，具有面向本地主体的前表面和与前表面相对面向的后表面，以及(ii)相机，被定位在显示器的后表面上并且被配置为通过显示器捕获本地图像，包括：经由通信网络从远程系统接收远程主体的第一远程视场(FOV)；基于接收到的第一远程FOV，将相机定向在第一取向中，其中被定向在第一取向中的相机具有与从远程系统接收到的第一远程FOV相对应的第一本地FOV；在将相机定向在第一取向中时，使相机通过显示器捕获第一本地图像；以及经由通信网络向远程系统传输所捕获的第一本地图像。
[0005]在另一种实现中，用于捕获用于传输到远程系统的本地图像的系统包括处理器和与该处理器通信的计算机可读介质。该计算机可读介质包括可执行指令，当该指令被处理器执行时，使处理器控制系统执行功能：经由通信网络从远程系统接收远程主体的远程视场(FOV)；基于接收到的远程视场，将相机定向在第一取向中，其中被定向在第一取向中的相机具有与从远程系统接收到的远程FOV相对应的本地FOV；检测本地主体相对于本地FOV的位置、头部面向方向和眼睛注视方向中的至少一者；基于所检测到的本地主体相对于本地FOV的位置、头部面向方向和眼睛注视方向中的至少一者，确定本地主体不被定位在本地FOV的中心处或本地主体不是正在注视本地FOV的中心处；将相机定向在第二取向中，该第二取向至少偏移第一本地FOV中心与所检测到的本地主体位置之间的距离和第一本地FOV中心与所检测到的本地主体的头部面向方向或眼睛注视方向之间的角度差中的一者；使相机利用第二取向来捕获本地图像；以及经由通信网络将所捕获的第一本地图像传输到远程系统。
[0006]提供本摘要是为了以简化的形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本摘要不旨在确定权利要求的主题的关键特征或基本特征，也不旨在用于限制权利要求的主题的范围。此外，所要求保护的主题不限于解决本公开任何部分中所指出的任何或所有缺点的实现。
附图说明
[0007]附图描绘了根据本教导的一种或多种实现，仅通过示例的方式，而不是通过限制的方式。在附图中，相同的附图标记是指相同或类似的元素。此外，应当理解的是，附图不一定是按比例绘制的。
[0008]图1图示了了两个人站在同一站点，并通过位于两人之间的物理窗口看向对方。
[0009]图2图示了两个人分别站在两个不同站点，并且每个人看着显示另一个人的图像的远程呈现设备。
[0010]图3图示了图像捕获系统的实现。
[0011]图4A、4B和4C图示了图3中所示的以不同角度倾斜的图像捕获系统的相机。
[0012]图5A和5B图示了被横摇到不同的角度的相机。
[0013]图6A、6B和6C图示了图3中所示的图像捕获系统的相机定向单元，将相机移动到图像捕获系统的显示器的后表面上的平面上的各个位置上的定位。
[0014]图7A、7B和7C图示了相机定向单元在显示器的后表面上的三维(3D)空间中移动相机。
[0015]图8A、8B、8C、8D和8E图示了基于不同的远程视场(FOV)定向相机以具有分别对应于远程FOV的不同的本地FOV。
[0016]图9是示出了用于捕获用于传输到远程系统的本地图像的方法的实现的流程图。
[0017]图10图示了基于本地主体的位置被偏移的相机的方向。
[0018]图11图示了基于所述本地主体的头部面向方向或眼睛注视方向而被偏移的相机的方向。
[0019]图12图示了示出用于调整相机的方向以偏移偏差的方法的实现的流程图。
[0020]图13是示出可在其上实现本公开的各个方面的示例计算机系统的框图。
具体实施方式
[0021]在下面的详细描述中，为了提供对相关教导的透彻理解，以示例的方式阐述了许多具体细节。然而，应当很明显的是，没有这些细节，本教导也可以实践。在其他情况下，众所周知的方法、程序、组件和/或电路已经在相对高层次上进行了描述，没有细节，以避免不必要地模糊本教导的各个方面。
[0022]本描述针对使用根据远程主体的视场(FOV)定向的相机，捕获本地站点的本地图像。在接收到远程主体的FOV后，可以通过旋转(例如，横摇、倾斜、对角线移动等)相机、控制相机的缩放和/或在二维(2D)平面或三维(3D)空间中移动相机来定向相机，使其具有与远程主体FOV相对应的本地FOV。然后，利用相机来捕获本地图像并将本地图像传输到远程系统。当本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于捕获用于向远程系统传输的本地图像的系统，包括：显示器，具有面向本地主体的前表面和与所述前表面相对面向的后表面；图像捕获单元，包括(i)相机，所述相机被定位在所述显示器的所述后表面上并且被配置为通过所述显示器捕获本地图像，以及(ii)相机定向单元，被配置为定向所述相机；处理器；以及与所述处理器通信的计算机可读介质，所述计算机可读介质包括可执行指令，所述可执行指令在由所述处理器执行时使所述处理器控制所述系统执行以下功能：经由通信网络从远程系统接收远程主体的第一远程视场(FOV)；基于接收到的所述第一远程FOV，使所述相机定向单元将所述相机定向在第一取向中，其中被定向在所述第一取向中的所述相机具有与从所述远程系统接收的所述第一远程FOV相对应的第一本地FOV；在将所述相机定向在所述第一取向中时，使所述图像捕获单元通过所述显示器捕获第一本地图像；以及经由所述通信网络向所述远程系统传输所捕获的所述第一本地图像。2.根据权利要求1所述的系统，其中为了使所述相机定向单元将所述相机定向在所述第一取向中，所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：使所述相机定向单元旋转所述相机或者控制所述相机的缩放。3.根据权利要求2所述的系统，其中为了使所述相机定向单元将所述相机定向在所述第一取向中，所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：使所述相机定向单元在所述显示器的所述后表面上移动所述相机。4.根据权利要求3所述的系统，其中为了使所述相机定向单元将所述相机定向在所述第一取向中，所述指令在由所述处理器执行时还使所述处理器控制所述系统执行以下至少一项：使所述相机定向单元在与所述显示器的所述后表面基本平行的平面上移动所述相机；以及使所述相机定向单元在所述显示器的所述后表面上的三维(3D)空间中移动所述相机。5.根据权利要求1所述的系统，其中所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：处理所捕获的所述第一本地图像，以模拟所述相机的旋转、移动和缩放中的至少一项。6.根据权利要求1所述的系统，其中所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：在接收到所述第一远程FOV之后，经由所述通信网络从所述远程系统接收所述远程主体的所述第二远程FOV，所述第二远程FOV与所述第一远程FOV不同；响应于接收到所述远程主体的所述第二远程FOV，执行以下操作中的一项：执行(i)基于接收到的所述第二远程FOV，使所述相机定向单元将所述相机定向在第二取向中，其中被定向在所述第二取向中的所述相机具有与从所述远程系统接收的所述第二远程FOV相对应的第二本地FOV，以及(ii)在将所述相机定向在所述第二取向中时，使所述图像捕获单元通过所述显示器捕获第二本地图像；执行(i)使所述图像捕获单元通过所述显示器捕获第三本地图像，以及(ii)基于接收
到的所述第二远程FOV来处理所捕获的所述第三本地图像，以模拟所述相机的旋转、移动和缩放中的至少一项；以及执行(i)基于接收到的所述第二远程FOV，使所述相机定向单元将所述相机定向在第三方向中，(ii)在将所述相机定向在所述第三方向中时，使所述图像捕获单元通过所述显示器捕获第四本地图像，以及(iii)基于接收到的所述第二远程FOV来处理所捕获的所述第四本地图像，以模拟所述相机的旋转、移动和缩放中的至少一项；以及经由所述通信网...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：