使用肌肉传感器确定面部表情的眼戴设备制造技术

眼戴设备(100)配有传感器(225)，用于感知用户肌肉运动产生的电信号，以确定用户的面部表情。对面部表情进行处理，为所述眼戴设备提供用户输入，实施使用摄像头拍摄图像等动作，并通过执行心电图(ECG或EKG)等确定用户生物特征。在示例中，用户可以竖起眉毛指示眼戴设备拍摄图像，并斜视使光学元件的阴影变亮/变暗。暗。暗。

【技术实现步骤摘要】
【国外来华专利技术】使用肌肉传感器确定面部表情的眼戴设备
相关申请的交叉引用
[0001]本申请要求于2020年3月18日提交的名称为“使用肌肉传感器确定面部表情的眼戴设备”的美国申请16/822,361的优先权，其内容通过引用完整纳入本文。


[0002]本主题涉及一种眼戴设备，例如智能眼镜和透视显示器。

技术介绍

[0003]当今可用的便携式眼戴设备，例如智能眼镜、头戴设备和头套，集成了摄像头和透视显示器。眼戴设备通常包括镜架和镜腿，用于佩戴并提供眼戴设备特征。
附图说明
[0004]附图仅以示例的方式而不是以限制的方式说明一种或多种实施方式。在附图中，相同的参考数字表示相同或相似的元素。
[0005]图1A是眼戴设备示例硬件配置的侧视图，其示出了配有图像显示器的右侧光学组件，其根据检测到的用户头部或眼睛移动情况，对呈现在图像显示器上的用户界面应用视场调节；
[0006]图1B是图1A所示眼戴设备镜腿的俯视横剖视图，显示的是可见光摄像头、用于跟踪眼戴设备的用户头部运动的头动追踪器和电路板；
[0007]图2A是眼戴设备的示例硬件配置后视图，其包括镜架上的眼睛扫描仪，供系统使用，以识别眼戴设备用户；
[0008]图2B是另一台眼戴设备的示例硬件配置后视图，其包括镜腿上的眼睛扫描仪，供系统使用，以识别眼戴设备用户；
[0009]图2C和2D是眼戴设备的示例硬件配置后视图，包括两种不同类型的图像显示器。
[0010]图2E示出的是示例硬件配置的后视图，其具有用于确定面部肌肉运动的肌肉传感器；
[0011]图3示出了图2A所示眼戴设备的后透视图，所示为红外发射器、红外摄像头、镜架前部、镜架后部和电路板；
[0012]图4是穿过图3所示眼戴设备的红外发射器和镜架截取的横剖视图；
[0013]图5示出的是眼睛注视方向检测；
[0014]图6示出的是眼睛位置检测；
[0015]图7所示为由左侧可见光摄像头捕捉的可见光，作为左侧原始图像，和由右侧可见光摄像头捕捉的可见光，作为右侧原始图像。
[0016]图8示出的是肌肉传感器处理电信号并根据感测到的电信号确定面部表情；
[0017]图9示出的是眼戴设备的电子组件框图；以及
[0018]图10示出的是用于处理传感器信号、确定面部表情和执行动作或功能的方法。
具体实施方式
[0019]本公开涉及配有传感器的眼戴设备，用于感知用户肌肉运动产生的电信号，以确定用户的面部表情。对面部表情进行处理，为所述眼戴设备提供用户输入，实施使用摄像头拍摄图像等动作，并通过执行心电图(ECG或EKG)等确定用户生物特征。在示例中，用户可以竖起眉毛指示眼戴设备拍摄图像，并斜视使光学元件的阴影变亮/变暗。
[0020]下文的说明将部分阐述示例的其他目的、优点和新颖特征。该等其他目的、优点和新颖特征对于查阅下文和附图后的本领域的技术人员来说显而易见，或者可以通过制作或操作示例来了解。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
[0021]下文的具体实施方式通过示例阐述大量具体细节，以便对相关教学内容有透彻的理解。然而，对于本领域的技术人员来说应当显而易见的是，无需该等细节也可以实践本教学内容。在其他情况下，为了避免不必要地模糊本教学内容的各个方面，故在相对较高的层面上描述了公知的方法、过程、组件和电路，而未详细描述。
[0022]本文使用的术语“耦合”指任何逻辑、光学、物理或电气连接、链路等，一个系统元件产生或提供的信号或光由此传递给另一个耦合元件。除非另有说明，否则耦合元件或设备不一定彼此直接连接，并且可以由可以修改、操纵或携带光或信号的中间组件、元件或通讯介质分离。
[0023]任何附图中所示的眼戴设备、相关组件和结合有眼睛扫描仪和摄像头的任何成套设备的方位仅作为示例，用于说明和讨论的目的。在特定可变光学处理应用的操作中，可将眼戴设备定向在适合于眼戴设备特定应用的任何其他方向上，例如上、下、侧向或任何其他方向。此外，就本文所用的范围而言，任何方向术语，例如前、后、向内、向外、朝向、左、右、侧向、纵向、上、下、高、低、顶、底和侧，仅作为示例使用，并不限制如本文所述配置的任何光学器件或光学器件组件的方向或朝向。
[0024]现详细参照附图中示出并在下文讨论的示例。
[0025]图1A为眼戴设备100的示例硬件配置侧视图，其包括配有图像显示器180D的右侧光学组件180B(图2A)。眼戴设备100包括组成立体摄像头的多个可见光摄像头114A
‑
B(图7)，其中右侧可见光摄像头114B位于右镜腿110B上。
[0026]左侧和右侧可见光摄像头114A
‑
B配有对可见光范围波长敏感的图像传感器。每个可见光摄像头114A
‑
B具有不同的朝向前方的覆盖角度，例如，可见光摄像头114B具有所示的覆盖角度111B。覆盖角度是可见光摄像头114A
‑
B的图像传感器拾取电磁辐射并生成图像的角度范围。此类可见光摄像头114A
‑
B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)摄像头，例如640p(例如，640
×
480像素，总共0.3兆像素)、720p或1080p。来自可见光摄像头114A
‑
B的图像传感器数据与地理位置数据一起被捕获，通过图像处理器数字化，然后存储在存储器中。
[0027]为呈现立体视觉，可见光摄像头114A
‑
B可与图像处理器(图9所示元件912)耦合，用于进行数字处理连通捕捉场景图像的时间戳。图像处理器912包括用于接收来自可见光摄像头114A
‑
B的信号并将来自可见光摄像头114A
‑
B的信号处理成适于存储在存储器中的格式的电路(图9中的元件934)。可通过图像处理器912或控制可见光摄像头114A
‑
B操作的其他处理器来添加时间戳。可见光摄像头114A
‑
B支持立体摄像头模拟人类双目视觉。立体
摄像头具备根据分别来自可见光摄像头114A
‑
B的具有相同时间戳的两个捕获图像(图7的元件758A
‑
B)来再现三维图像(图7中的元件715)的能力。此类三维图像715提供了，例如虚拟现实或电子游戏中沉浸式栩栩如生的体验。对于立体视觉，在给定时刻生成图像对758A
‑
B，左侧和右侧可见光摄像头114A
‑
B各对应一个图像。当将从左侧和右侧可见光摄像头114A
‑
B的面朝前方的覆盖角111A
‑
B生成的图像对758A
‑
B拼接在一起时(例如，通过图像处理器912)，光学组件180A
‑
B可提供深度感知。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.眼戴设备，包括：镜架；所述镜架支撑的光学部件；与所述镜架耦合的镜腿；与所述镜架或所述镜腿耦合，并用于感知指示面部肌肉运动的电信号的传感器；以及用于处理所述电信号并确定面部表情的处理器。2.根据权利要求1所述的眼戴设备，其特征在于，所述处理器执行动作或功能，回应所述确定的面部表情。3.根据权利要求2所述的眼戴设备，其特征在于，所述动作或功能从以下组中选择：获取图像和调整光学部件。4.根据权利要求1所述的眼戴设备，其特征在于，所述面部表情从以下组中选择：眉毛竖起和眼睛斜视。5.根据权利要求1所述的眼戴设备，其特征在于，所述传感器位于所述镜腿内。6.根据权利要求5所述的眼戴设备，其特征在于，所述传感器用于在使用者佩戴眼戴设备时与所述使用者接触。7.根据权利要求1所述的眼戴设备，其特征在于，所述处理器用于将所述确定的面部表情映射到不同的眼戴设备动作或功能。8.一种使用眼戴设备的方法，包括：镜架；所述镜架支撑的光学部件；与所述镜架耦合的镜腿；与所述镜架或所述镜腿耦合，并用于感知指示面部肌肉运动的电信号的传感器；以及处理器，其包括处理所述电信号并确定面部表情的处理器。9.根据权利要求8所述的方法，其特征在于，所述处理器执行动作或功能，响应所述确定的面部表情。10.根据权利要求9所述的方法，其特征在于，所述动作或功能从以下组中选择：获取图像和调整光学部件。11.根据权利要求8所述的方法...

【专利技术属性】
技术研发人员：沙欣，
申请(专利权)人：美国斯耐普公司，
类型：发明
国别省市：