三维遥现终端及方法技术

本公开涉及三维遥现终端及方法。一种示例遥现终端包括透镜显示器、图像传感器、红外发射器和红外深度传感器。所述终端可以使用由红外发射器发射并由图像传感器捕获的可见光来确定图像数据，并且使用由红外深度传感器捕获的红外光来确定深度数据。所述终端还可以将深度数据和图像数据传达到远程的遥现终端，并接收远程图像数据和远程深度数据。所述终端还可以基于能够从第一观看位置观看的远程图像数据使用透镜显示器生成第一显示图像，并且基于能够从第二观看位置看到的远程图像数据和远程深度数据使用透镜显示器生成第二显示图像。

【技术实现步骤摘要】
三维遥现终端及方法分案说明本申请属于申请日为2017年9月8日的中国专利技术专利申请201780047564.2的分案申请。相关申请的交叉引用本申请要求在2016年9月9日提交的名称为THREE-DIMENSIONALTELEPRESENCESYSTEM(三维遥现系统)的美国临时申请No.62/385,685的优先权，其全部内容通过引用合并于此。
本公开涉及三维遥现终端及方法。
技术介绍
诸如视频会议系统之类的会议系统被用于各种设置中，以便为参与者提供进行虚拟会议而无需共处的机会。例如，视频会议系统可以提供显示器、通信链路、扬声器和麦克风，它们允许参与者查看远程参与者并与之通信。因为参与者可以在他们说话时看到彼此，所以视频会议系统可以提供比单独的书面或口头交流更好的对于所讨论的主题的理解。这样的视频会议系统还可以提供更容易的会议安排，因为并非所有参与者都需要共处。此外，视频会议系统可以通过消除旅行的需要来减少资源(例如，时间和金钱)浪费。传统的视频会议系统通常包括通信系统(例如，电话或VoIP系统等)、标准视频监视器(例如，CRT、等离子、HD、LED或LCD显示器)、相机、麦克风和扬声器。
技术实现思路
以下公开的实施方式涉及视频会议和遥现系统。至少一些实施方式提供三维遥现，而不使用头戴式显示器、耳机和/或任何其他类型的物理累赘。在一个方面，一种遥现终端包括显示器，该显示器具有设置在像素网格前面的微透镜阵列。所述终端还可以包括图像传感器、红外发射器和红外深度传感器。所述终端还可以包括处理设备和存储指令的存储器。所述指令在被执行时可以使处理设备执行操作，所述操作包括：基于由图像传感器捕获的可见光确定图像数据，并且基于由红外发射器发出并由红外深度传感器捕获的红外光确定深度数据。所述操作还可以包括将深度数据和图像数据传达到远程的遥现终端，并接收远程图像数据和远程深度数据，所述远程图像数据和远程深度数据源自远程的遥现终端。所述操作还可以包括：使用可从第一观看位置通过微透镜阵列观看的像素网格的第一像素子集基于远程图像数据生成第一显示图像；并且，使用可从第二观看位置通过微透镜阵列观看的像素网格的第二像素子集基于远程图像数据和远程深度数据生成第二显示图像。在一些实施方式中，可以生成第一显示图像和第二显示图像以具有基于所接收的深度数据来模拟视差的差异。在这方面，所述指令还可以使处理设备执行包括确定遥现终端的用户的位置的操作。可以例如基于深度数据和/或基于图像数据来确定遥现终端的用户的位置。例如，可以生成第一显示图像和第二显示图像以具有基于所确定的用户位置来模拟视差的差异。在一些实施方式中，所述指令还可以使处理设备执行操作，所述操作包括：使用远程图像数据和远程深度数据以及遥现终端的用户的确定的位置在显示器上生成三维立体图像。在可以与上述实施方式组合的一些实施方式中，所述指令还可以使处理设备执行包括在第一方向上生成第一显示图像的第一部分并且在第二方向上生成第二显示图像的第二部分的操作。例如，微透镜阵列中的微透镜可以被配置为跨一个或多个角度发出光和/或在一个或多个不同方向上显示不同的像素值。可以基于第一位置确定第一方向，并且可以基于第二位置确定第二方向。在一些实施方式中，所述指令还可以使处理设备执行包括基于飞行时间方法确定深度数据的操作，该飞行时间方法测量在由红外发射器发出的第一红外光和在所发出的第一红外光的路径中的对象反射并由红外深度传感器捕获的第二红外光之间的相位偏移。在一些实施方式中，遥现终端还可包括麦克风组件，该麦克风组件包括位于显示器的第一侧上的第一麦克风和位于显示器的第二侧上的第二麦克风；扬声器组件，其包括位于显示器第一侧的第一扬声器和位于显示器第二侧的第二扬声器。在这样的实施方式中，所述指令还可以使处理设备执行包括下述步骤的操作：使用麦克风组件捕获定向音频数据；将定向音频数据传送到远程终端；从远程终端接收远程定向音频数据；并基于远程定向音频数据使用扬声器组件输出音频。所述遥现终端可以包括相机组件，该相机组件包括至少一个相机单元，该相机单元包括图像传感器、红外发射器和红外深度传感器。当显示器是透明的时，至少一个相机单元可以位于显示器后面。在透明显示器的情况下，显示器可以在关闭状态和照明状态之间切换，其中，所述指令还使处理设备执行包括使可见光和红外光的捕获与显示器的关闭状态同步的操作。在这样的实施方式中，微透镜阵列中的微透镜可以由第一材料和第二材料制成，其中，第一材料是实质上不受电流影响的材料，而第二材料是实质上受电流影响的材料，并且其中，当没有电流施加到第一和第二材料时，第一材料和第二材料具有不同的折射率。在一些实施方式中，遥现终端可以包括分束器，其分离入射光并将其发送到图像传感器和红外深度传感器。因此，分束器可以分离入射光，使得图像传感器和红外深度传感器接收相同的光。在另一方面，一种方法包括使用红外发射器生成第一红外光。该方法还包括使用红外深度传感器接收第二红外光。第二红外光可以由发射的第一红外光的反射引起。该方法还可以包括：基于第一红外光和第二红外光确定捕获的深度数据，并基于由图像传感器捕获的可见光确定捕获的图像数据。该方法还可以包括将捕获的深度数据和捕获的图像数据传达到远程终端。该方法还可以包括：使用像素网格的第一子集，基于源自远程终端的接收的图像数据生成第一显示图像，可从第一位置通过微透镜阵列观看第一显示图像；并使用像素网格的第二子集，基于源自远程终端的接收的图像数据和接收的深度数据生成第二显示图像，可从第二位置通过微透镜阵列观看第二显示图像。在另一方面，一种非暂时性计算机可读存储介质包括存储在其上的指令，所述指令当由至少一个处理器执行时，被配置为使计算系统至少使用红外发射器生成第一红外光；使用红外深度传感器接收第二红外光；基于第一红外光和第二红外光确定深度数据；基于图像传感器捕获的可见光确定图像数据；将深度数据和图像数据传达到远程的遥现终端；使用透镜显示器基于源自远程终端的接收的图像数据生成第一显示图像，可从第一位置观看第一显示图像；并使用透镜显示器基于源自远程终端的接收的图像数据和接收的深度数据生成第二显示图像，可从第二位置观看第二显示图像。接收的深度数据可以源自远程终端。该方面的其他实施方式包括相应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个计算机系统、装置和计算机程序被配置为执行上述方法的操作。在一个方面，遥现系统中的本地终端包括显示器。所述显示器包括在像素网格前面的微透镜阵列。所述本地终端还包括一个或多个相机单元。所述相机单元可包括镜头、图像传感器、红外发射器和红外深度传感器。所述本地终端还包括处理设备和存储指令的存储器，所述指令在被执行时使处理设备执行操作。所述操作可以包括：基于由本地终端处的图像传感器捕获的可见光来确定本地图像数据；以及，基于由本地终端处的红外深度传感器捕获的红外光来确定本地深度数据。所述本地深度数据可以基于观看者相对于本地终端的位置。所述操作还可以包本文档来自技高网...

【技术保护点】
1.一种遥现终端，包括：/n透明显示器，所述透明显示器包括至少一个微透镜阵列；/n相机组件；/n处理设备；和/n存储指令的存储器，所述指令在被执行时使所述处理设备执行操作，所述操作包括：/n使用红外发射器生成第一红外光；/n使用红外深度传感器接收第二红外光；/n基于所述第一红外光和所述第二红外光来确定深度数据；/n基于由图像传感器捕获的可见光来确定图像数据，在所述透明显示器的关闭状态期间所述可见光的所述捕获与所述第二红外光的所述捕获同步；/n确定所述图像数据内与用户相关联的第一位置和第二位置；/n基于所述深度数据和与所述第一位置相关联的像素来确定第一观看位置的三维坐标；/n基于所述深度数据和与所述第二位置相关联的像素来确定第二观看位置的三维坐标；/n从远程的遥现终端接收远程数据；/n使用所述透明显示器基于所述远程数据来生成第一图像，所述第一图像能够从所述第一位置观看；以及/n使用所述透明显示器基于所述远程数据来生成第二图像，所述第二图像能够从所述第二位置观看。/n

【技术特征摘要】
20160909 US 62/385,6851.一种遥现终端，包括：
透明显示器，所述透明显示器包括至少一个微透镜阵列；
相机组件；
处理设备；和
存储指令的存储器，所述指令在被执行时使所述处理设备执行操作，所述操作包括：
使用红外发射器生成第一红外光；
使用红外深度传感器接收第二红外光；
基于所述第一红外光和所述第二红外光来确定深度数据；
基于由图像传感器捕获的可见光来确定图像数据，在所述透明显示器的关闭状态期间所述可见光的所述捕获与所述第二红外光的所述捕获同步；
确定所述图像数据内与用户相关联的第一位置和第二位置；
基于所述深度数据和与所述第一位置相关联的像素来确定第一观看位置的三维坐标；
基于所述深度数据和与所述第二位置相关联的像素来确定第二观看位置的三维坐标；
从远程的遥现终端接收远程数据；
使用所述透明显示器基于所述远程数据来生成第一图像，所述第一图像能够从所述第一位置观看；以及
使用所述透明显示器基于所述远程数据来生成第二图像，所述第二图像能够从所述第二位置观看。


2.根据权利要求1所述的遥现终端，其中，确定所述第一位置包括使用面部检测器来：
在来自所述相机组件的第一相机单元和所述相机组件的第二相机单元的所述图像数据中定位所述第一位置；以及
三角测量所述第一位置的三维坐标。


3.根据权利要求1所述的遥现终端，其中，所述可见光和所述第二红外光的所述捕获由包括至少一个位于所述透明显示器后面的相机单元的所述相机组件执行。


4.根据权利要求1所述的遥现终端，其中，所述透明显示器是能够在所述关闭状态和照明状态之间切换的透镜显示器。


5.根据权利要求1所述的遥现终端，其中，所述第一位置和所述第二位置与在所述图像数据内描绘的所述用户的面部特征相对应。


6.根据权利要求1所述的遥现终端，其中，所述第一位置与所述图像数据内的所述用户的嘴相关联并且所述第二位置与所述图像数据内的所述用户的至少一个眼睛相关联。


7.根据权利要求1所述的遥现终端，其中，所述远程数据包括与访问所述远程的遥现终端的用户相关联的远程深度数据和远程图像数据。


8.根据权利要求1所述的遥现终端，其中，所述相机组件包括至少设置在所述显示器的第一边缘附近的第一相机单元，设置在所述显示器的第二边缘附近的第二相机单元，设置在所述显示器的第三边缘附近的第三相机单元以及第四相机单元，所述第四相机单元被设置在所述显示器后面并且被布置为模拟与所述图像数据内描绘的并访问所述遥现终端的所述用户的眼神接触。


9.一种方法，包括：
基于相机组件捕获的可见光来确定图像数据；
基于所述相机组件捕获的红外光来确定深度数据；
确定所述图像数据内的第一眼睛位置和第二眼睛位置；
基于所确定的第一眼睛位置和所述深度数据来确定第一观看位置的三维坐标；
基于所确定的第二眼睛位置和所述深度数据来确定第二观看位置的三维坐标；
生成用于从所述第一观看位置观看的第一图像；
生成用于从所述第二观看位置观看的第二图像；以及
使具有至少一个微透镜阵列的透镜显示器使用像素网格的第一像素子集显示所述第一图像以及使用所述像素网格的第二像素子集显示所述第二图像，所述第一子集能够从所...

【专利技术属性】
技术研发人员：丹尼尔·戈德曼，杰森·劳伦斯，安德鲁·胡伊博斯，安德鲁·伊安·拉塞尔，史蒂文·M·塞茨，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US