【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、扩展现实(xr)系统诸如混合现实(mr)或增强现实(ar)系统将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图相结合，以增强或增加用户对世界的认识。因此，可利用xr系统为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者所处环境的实时视图中的应用、与虚拟训练环境交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。
2、一些设备可包括捕获设备前方的环境的图像或视频的前向相机。这些图像或视频流可被组合并渲染以通过显示器提供环境的立体视图。然而，这些系统的视场(fov)限于前向相机的fov。
技术实现思路
1、描述了用于使用设备或系统的多个相机提供扩展视场(fov)的方法和装置的实施方案。一种设备可包括捕获设备前方的环境的图像或视频的前向相机。这些图像或视频流可被组合并渲染以通过显示器提供环境的立体视图。然而，这些系统的视场(fov)限于前向相机的fov。实施方案可使用来自设备或系统的一个或多个其他相机的输入来扩展设备或系统的前向相机的fov。这些其他相机可被称为侧面相机，而前向相机可被称为前置相机。通常，这些侧面相机具有宽fov，并且可包括或者可以是所谓的“鱼眼”相机或类似的相机。侧面相机的fov通常与前置相机的fov在某种程度上重叠。实施方案可利用来自这些侧面相机的输入来提供可显示给设备的用户的扩展fov。
2、在实施方案中，为了提供扩展fov立体图像以供显示，至少初始照常处
3、在一些实施方案中，为了提供“更平坦”的图像以进行扩展fov处理，可使侧面相机图像“不失真”以使图像在某种程度上平坦，使得图像中的对象的深度和几何形状更密切地对应于根据前置相机输入生成的立体图像中的对象的深度和几何形状。
4、然后可将来自侧面相机图像的像素信息(颜色、纹理等)重新投影到第二层和第三层中的相应像素。然后可合并这三个层。在一些实施方案中，在三个层合并之前或之后至少对第二层进行模糊处理；不对第一层(原始立体图像)进行模糊处理。
5、该方法可独立地应用于立体图像的左侧和右侧以生成扩展fov立体图像，然后可将该扩展fov立体图像提供给设备的显示器以显示给用户。所显示的所得图像是“中央凹的”；立体图像(第一层)向用户提供环境的图像的中心清晰区；第二层在立体图像的扩展且变化的深度处提供模糊区，作为从立体图像到第三层的过渡；并且第三层在平坦的深度处提供周边区。另外，实施方案通过投影由侧面相机捕获的实际图像的内容，而不是如常规上为扩展立体图像所做的那样仅用环境内容或颜色填充立体图像周围的周边区，来将第一层的立体图像中的场景扩展到由第二层和第三层创建的扩展区中。使用一种用接近正确深度和位置的实际场景内容填充扩展区的方法，将来自侧面相机图像的像素重新投影到聚焦立体图像周围的扩展区中，其中扩展区略微模糊或散焦。
6、通过如本文所述将深度信息扩展到扩展区中，实施方案本质上将图像平面放置在场景内，并且来自侧面相机的图像数据被重新投影到该图像平面。图像平面充当场景的代理，并且所描述的操作在该图像平面上执行。因此，实施方案充当具有浅dof的虚拟相机。从虚拟视点来看，由侧面相机捕获的场景的仅实际上在该图像平面上的部分才聚焦。这类似于浅dof光学模糊。
7、通过使用上述方法将场景扩展到立体图像周围的扩展区中，实施方案可通过提供fov的场景连接的环境扩展来增加xr体验的沉浸感，这可通过诸如xr系统的头戴式设备(hmd)的设备的显示器提供比常规方法更自然的环境视图。与常规方法相比，所显示的场景可能更密切地接近正常人类视觉，其中由前置相机立体图像提供的聚焦中心区由场景的扩展部分包围，根据由侧面相机提供的图像，该扩展部分被渲染为略微失焦。
本文档来自技高网...【技术保护点】
1.一种系统，包括：
2.根据权利要求1所述的系统，其中为了将所述深度信息从所述一个或多个第一图像的一个或多个边缘向外扩展以生成扩展区，所述一个或多个处理器被配置为：
3.根据权利要求2所述的系统，其中根据所述一个或多个第一图像的内容动态地确定所述第一距离和所述第二距离。
4.根据权利要求2所述的系统，其中为了将所述深度信息从所述一个或多个第一图像的所述一个或多个边缘向外扩展第一距离以生成第二层，其中所述一个或多个第一图像是第一层，所述深度信息在图像修复步骤中扩展，其中来自所述深度图的所述边缘的深度信息远离所述深度图的中心以行和列方式向外传播。
5.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为在所述重新投影之前使所述一个或多个第二图像不失真。
6.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为对所述扩展区进行模糊处理。
7.根据权利要求1所述的系统，其中所述一个或多个主相机包括设备上的两个前置相机，所述两个前置相机提供所述场景的立体图像，并且其中所述一个或多个次相机包括所述设备的至少
8.根据权利要求7所述的系统，其中所述设备是头戴式设备(HMD)，并且其中所述一个或多个处理器被配置为将所述扩展FoV图像提供给所述HMD的显示面板以显示给用户。
9.根据权利要求7所述的系统，其中所述设备的所述至少两个侧上的所述相机包括与所述两个前置相机相比的更宽FoV相机。
10.根据权利要求7所述的系统，其中由所述设备的第一侧上的至少一个相机捕获的所述图像用于扩展所述两个前置相机中的第一个前置相机的所述FoV，并且其中由所述设备的第二侧上的至少一个相机捕获的所述图像用于扩展所述两个前置相机中的第二个前置相机的所述FoV。
11.根据权利要求1所述的系统，其中所述深度信息是稀疏深度信息，其提供由所述一个或多个主相机捕获的场景中的边缘的深度。
12.根据权利要求1所述的系统，其中所述一个或多个次相机包括灰度相机，并且其中所述一个或多个处理器还被配置为将颜色从由所述一个或多个主相机捕获的图像扩展到所述扩展区中。
13.一种方法，包括：
14.根据权利要求13所述的方法，其中将所述深度信息从所述一个或多个第一图像的一个或多个边缘向外扩展以生成扩展区包括：
15.根据权利要求14所述的方法，还包括根据所述一个或多个第一图像的内容动态地确定所述第一距离和所述第二距离。
16.根据权利要求13所述的方法，还包括在所述重新投影之前使所述一个或多个第二图像不失真。
17.根据权利要求13所述的方法，还包括对所述扩展区进行模糊处理。
18.根据权利要求13所述的方法，其中所述一个或多个主相机包括设备上的两个前置相机，所述两个前置相机提供所述场景的立体图像，并且其中所述一个或多个次相机包括所述设备的至少两个侧上的至少一个相机。
19.根据权利要求18所述的方法，其中将来自所述一个或多个第二图像的像素数据重新投影到所述扩展区中以生成所述环境中的场景的扩展视场(FoV)图像包括：
20.一种设备，包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种系统，包括：
2.根据权利要求1所述的系统，其中为了将所述深度信息从所述一个或多个第一图像的一个或多个边缘向外扩展以生成扩展区，所述一个或多个处理器被配置为：
3.根据权利要求2所述的系统，其中根据所述一个或多个第一图像的内容动态地确定所述第一距离和所述第二距离。
4.根据权利要求2所述的系统，其中为了将所述深度信息从所述一个或多个第一图像的所述一个或多个边缘向外扩展第一距离以生成第二层，其中所述一个或多个第一图像是第一层，所述深度信息在图像修复步骤中扩展，其中来自所述深度图的所述边缘的深度信息远离所述深度图的中心以行和列方式向外传播。
5.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为在所述重新投影之前使所述一个或多个第二图像不失真。
6.根据权利要求1所述的系统，其中所述一个或多个处理器被配置为对所述扩展区进行模糊处理。
7.根据权利要求1所述的系统，其中所述一个或多个主相机包括设备上的两个前置相机，所述两个前置相机提供所述场景的立体图像，并且其中所述一个或多个次相机包括所述设备的至少两个侧上的至少一个相机。
8.根据权利要求7所述的系统，其中所述设备是头戴式设备(hmd)，并且其中所述一个或多个处理器被配置为将所述扩展fov图像提供给所述hmd的显示面板以显示给用户。
9.根据权利要求7所述的系统，其中所述设备的所述至少两个侧上的所述相机包括与所述两个前置相机相比的更宽fov相机。
10.根据权利要求7所述的系统，其中由所述设备的第一侧上的...
【专利技术属性】
技术研发人员：K·伯格，D·C·莱列斯库，T·里克，
申请(专利权)人：苹果公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。