具有图像信号处理器(ISP)的护目镜，图像信号处理器(ISP)在用于增强现实(AR)和计算机视觉(CV)系统的相机流水线中动态可操作。多用途相机用于在可穿戴AR装置上同时进行图像捕获和CV。相机耦接到镜架且被配置为生成图像，其中相机和ISP被配置为以在第一AR模式下操作并且捕获具有适合在AR中使用的第一分辨率的图像，以及被配置为在第二CV模式下操作以提供具有适合于在CV中使用的第二分辨率的图像。AR模式下的第一分辨率高于CV模式下的第二分辨率，并且相机和ISP在第二CV模式下消耗的功率小于第一AR模式。相机和ISP通过在低功率模式CV模式下操作来节省大量系统功率。CV模式下操作来节省大量系统功率。CV模式下操作来节省大量系统功率。
【技术实现步骤摘要】
【国外来华专利技术】用于增强现实以及计算机视觉应用的多用途相机
[0001]相关申请的交叉引用
[0002]本申请要求于2020年9月30日申请的美国临时申请序列号第63/085，215号以及于2020年11月13日申请的美国临时申请序列号第63/113，336号的优先权，这两个美国临时申请的内容通过引用全部并入本文。
[0003]本主题涉及一种护目镜装置，例如智能眼镜。
技术介绍
[0004]现今可用的便携式护目镜装置(诸如智能眼镜、头饰和头盔等)集成相机和透视显示器。功耗是处理护目镜装置的各种特征的函数。
附图说明
[0005]附图仅通过举例而非限制的方式描绘了一个或更多个实施方式。在附图中，相同的附图标记表示相同或相似的元件。
[0006]图1A是护目镜装置的示例硬件配置的侧视图，该护目镜装置示出了具有图像显示器的右光学组件，并且基于由用户检测到的头部或眼睛运动将视场调整应用于呈现在图像显示器上的用户界面；
[0007]图1B是图1A的护目镜装置的镜腿的顶部截面视图，描绘了可见光相机、用于跟踪护目镜装置的用户的头部运动的头部运动跟踪器以及电路板；
[0008]图2A是眼镜装置的示例硬件配置的后视图，该眼镜装置包括镜架上的眼睛扫描器，用于在用于识别护目镜装置的用户的系统中使用；
[0009]图2B是另一种护目镜装置的示例硬件配置的后视图，该眼镜装置包括在镜腿上的眼睛扫描器，用于在用于识别护目镜装置的用户的系统中使用；
[0010]图2C和图2D是护目镜装置的示例硬件配置的后视图，包括两种不同类型的图像显示器。
[0011]图3示出了图2A的眼镜装置的后立体图，描绘了红外发射器、红外相机、镜架前部、镜架后部和电路板；
[0012]图4是穿过图3的护目镜装置的红外发射器和镜架所截取的截面视图；
[0013]图5图示了检测眼睛注视方向；
[0014]图6图示了检测眼睛位置；
[0015]图7描绘了由左可见光相机所捕获的可见光作为左原始图像以及由右可见光相机所捕获的可见光作为右原始图像的示例；
[0016]图8图示了包括布置在护目镜中的示例电子部件的高级功能框图；
[0017]图9图示了各种像素速率的相机图像处理器功耗；
[0018]图10图示了各种像素速率的每轨功率测量值；
[0019]图11图示了将更高分辨率数据读出到ISP中的相机流水线；
[0020]图12图示了通过在相机本身中进行图像缩小来节省功率的根据本公开的相机流水线；
[0021]图13图示了图像质量和颜色退化，其中，左捕获在自动白平衡(AWB)之后，并且右捕获完全禁用AWB；
[0022]图14图示了以CPU利用的形式消耗大量功率的成品3A相机(自动曝光、自动白平衡、自动对焦)；
[0023]图15图示了用于向ISP提供基本色温信息的外部低功率光谱环境光传感器(ALS)；
[0024]图16图示了用来提供基本亮度信息和能够有效计算的基本图像属性(例如，平均像素强度)的外部ALS，以提供低功率自动曝光解决方案；
[0025]图17图示了两个相机之间的使垂直同步(vsyncs)控制信号同步的通用输入/输出(GPIO)；
[0026]图18图示了从每个相机生成的图像帧由ISP匹配，并且在进一步的算法处理之前将其放入单个缓存区中；
[0027]图19A和图19B图示了动态单声道/立体相机流水线，其中，在图19B中，相机114A或相机114B中的一个由ISP动态关闭，并且然后再次通电，立体同步(共享垂直同步)也被重新启用；
[0028]图20图示了非线性功耗增加，其中，功耗对DDR负载在重负载下显著增加。
[0029]图21图示了输入到共享缓冲器中的来自ISP的最后阶段的图像数据；
[0030]图22图示了根据本公开的图像处理的方法；以及
[0031]图23图示了在相机流水线中操作相机的方法。
具体实施方式
[0032]本公开包括具有图像信号处理器(ISP)的护目镜，图像信号处理器能够在用于增强现实(AR)和计算机视觉(CV)系统的相机流水线中动态地操作。多用途相机用于在可穿戴AR装置上同时进行图像捕获和CV。相机耦接到镜架且被配置成生成图像，其中相机和ISP被配置成在第一AR模式下操作且捕获具有适合在AR中使用的第一分辨率的图像，且相机和ISP被配置成在第二CV模式下操作以提供具有适合于在CV中使用的第二分辨率的图像。AR模式下的第一分辨率高于CV模式下的第二分辨率，并且相机和ISP在第二CV模式下消耗的功率小于第一AR模式。相机和ISP通过在低功率模式CV模式下操作来节省大量系统功率。
[0033]示例的另外的目的、优点和新颖特征将部分地在以下说明中进行阐述，并且对于本领域的普通技术人员而言在检查以下和附图时将部分地变得清楚，或者可以通过示例的生产或操作来学习。本主题的目的和优点可以借助于所附权利要求中特别指出的方法、手段和组合来实现和获得。
[0034]在以下详细说明中，通过举例的方式阐述了许多具体细节，以便提供对相关教导内容的透彻理解。然而，对于本领域技术人员应当清楚的是，可以在没有此类细节的情况下实践本教导内容。在其他实例中，众所周知的方法、过程、部件和电路已经相对高水平而没有细节地进行了描述，以便避免不必要地使本教导内容的方面模糊不清。
[0035]如本文所使用的术语“耦接”是指任何逻辑、光学、物理或电的连接、关联等，通过
“
耦接”，由一个系统元件产生或提供的信号或光被给予另一个耦接元件。除非另有描述，否则经耦接的元件或装置不一定直接连接到彼此，并且可以由可以修改、操纵或运载光或信号的中间部件、元件或通信媒介分离。
[0036]护目镜装置、相关联的部件以及结合了眼睛扫描器和相机的任何完整装置(诸如在附图中的任一幅图中所示)的取向仅是通过示例的方式给出的，用于图示和讨论的目的。在针对特定可变光学处理应用的操作中，护目镜装置可以被定向在适合于该护目镜装置的特定应用的任何其他方向，例如上、下、侧向或任何其他定向。而且，在本文中使用的范围内，任何方向术语(诸如，前、后、向内、向外、朝向、左、右、横向、纵向、上、下、上部、下部、顶部、底部和侧部)仅仅通过示例的方式使用，并且不限制任何光学件或如在本文中另外描述构造的光学件的部件的方向或取向。
[0037]现在详细参考在附图中图示并在以下讨论的示例。
[0038]图1A是护目镜装置100的示例硬件配置的侧视图，该护目镜装置100包括具有图像显示器180D(图2A)的右光学组件180B。护目镜装置100包括形成立体相机的多个可见光相机114A
‑
114B(图7)，其中右可见光相机114B位于右镜腿110B上。
[0039]左可见光相机114A和右可见光相机114B具有对可见光范围波长敏感的图像传感器。可见光相机114A...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种护目镜，包括：镜架；显示器，所述显示器由所述镜架支撑；多个相机，所述多个相机耦接至所述镜架并且被配置成生成图像，其中，所述相机被配置成在第一模式中操作并且提供具有第一分辨率的图像以用于在增强现实(AR)中使用，并且所述相机被配置成在第二模式中操作并且提供具有第二分辨率的图像以用于在计算机视觉(CV)中使用，其中，所述第一分辨率高于所述第二分辨率；以及图像信号处理器(ISP)，所述图像信号处理器被配置为处理所述图像并在所述第一模式中以第一功率操作以及在所述第二模式中以第二功率操作，其中，所述第二功率低于所述第一功率。2.根据权利要求1所述的护目镜，其中，所述ISP具有相机流水线拓扑，所述相机流水线拓扑具有被配置为在所述第一模式中处理所述图像的第一部分以及被配置为在所述第二模式中处理所述图像的第二部分。3.根据权利要求2所述的护目镜，其中，所述ISP被配置为生成拼接的同步图像。4.根据权利要求3所述的护目镜，其中，所述ISP被配置为匹配来自所述多个相机的所述帧并且将所述帧放入缓冲器中。5.根据权利要求1所述的护目镜，其中，所述ISP具有CPU/DDR(中央处理单元/双数据读取)轨，其中，所述ISP被配置为在所述第一模式中放大所述CPU/DDR轨的频率和电压。6.根据权利要求1所述的护目镜，其中，所述相机被配置为以所述第一分辨率捕获所述图像，并且将所述图像缩小至所述第二分辨率。7.根据权利要求1所述的护目镜，其中，所述ISP被配置为在所述第二模式中选择性地关闭所述多个相机中的第一相机。8.根据权利要求7所述的护目镜，其特征在于，所述ISP被配置为选择性地恢复打开所述第一相机并且使所述多个相机同步。9.一种操作护目镜的方法，所述护目镜包括镜架、由所述镜架支撑的显示器、耦接到所述镜架并被配置为生成图像的多个相机以及被配置为处理所述图像的图像信号处理器(ISP)，其中：所述多个相机在第一模式中操作并生成具有第一分辨率的图像以用于增强现实(AR)，以及所述多个相机在第二模式中操作并提供具有第二分辨率的图像以用于计算机视觉(CV)，其中，所述第一分辨率高于所述第二分辨率；以及所述ISP处理所述图像，并且在所述第一模式中以第一功率操作，并且在所述第二模式中以第二功率操作，其中，所述第二功率低于所述第一功率。1...
【专利技术属性】
技术研发人员：丁博，金丹，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。