增强现实内容中显示屏的检测和模糊化制造技术

本主题技术接收由眼戴设备的摄像装置捕获的第一图像数据。本主题技术使用机器学习模型检测第一图像数据中的显示屏的表示。本主题技术选择显示屏的表示的至少一部分。本主题技术调整显示屏的表示的该部分的视觉外观。本主题技术使得使用眼戴设备的显示系统显示调整后的视觉外观。后的视觉外观。后的视觉外观。

【技术实现步骤摘要】
【国外来华专利技术】增强现实内容中显示屏的检测和模糊化
[0001]优先权请求
[0002]本申请要求2020年12月31日提交的第63/132,955号美国临时专利申请的优先权权益，该美国临时专利申请的全部内容在此出于所有目的通过引用并入本文。

技术介绍

[0003]随着数字图像的使用的增加、便携式计算设备的可负担性、数字存储介质的增加的容量的可获得性以及网络连接的增加的带宽和可访问性，数字图像已经成为越来越多人日常生活的一部分。
[0004]一些电子眼戴设备(诸如所谓的智能眼镜)允许用户在用户参与某一活动的同时与虚拟内容交互。用户佩戴眼戴设备并且可以在与由眼戴设备显示的虚拟内容交互的同时通过眼戴设备观察真实世界环境。
附图说明
[0005]为了容易标识对任何特定元件或动作的讨论，附图标记中的一个最高位数字或多个最高位数字指代该元件被首次引入时所在的图号。
[0006]图1是根据一些示例实施方式的其中可以部署本公开内容的联网环境的图解表示。
[0007]图2是根据一些示例实施方式的消息客户端应用的图解表示。
[0008]图3是根据一些示例实施方式的如在数据库中维护的数据结构的图解表示。
[0009]图4是根据一些示例实施方式的消息的图解表示。
[0010]图5示出了根据一个示例实施方式的包括眼戴系统的一副智能眼镜形式的眼戴设备的前透视图。
[0011]图6是示出根据一些实施方式的包括与给定消息相对应的附加信息的如图4中所述的消息注释的结构的示意图。
[0012]图7是示出根据某些示例实施方式的眼戴系统的各种模块的框图。
[0013]图8示出了AR内容的示例，在该AR内容中在使用眼戴设备时在用户的视场中检测到显示屏(例如，由给定电子设备包括)。
[0014]图9是示出根据某些示例实施方式的方法的流程图。
[0015]图10是示出根据一些示例实施方式的在其中可以实现本公开内容的软件架构的框图。
[0016]图11是根据一些示例实施方式的呈计算机系统形式的机器的图解表示，在该计算机系统中可以执行一组指令以使机器执行本文中讨论的方法中任何一种或更多种。
具体实施方式
[0017]来自各种位置的兴趣广泛的用户可以捕获各种主题的数字图像，并且使其他人可经由网络(诸如因特网)获得所捕获的图像。为了增强用户对数字图像的体验并提供各种特
征，使得计算设备能够对在各种变化条件(例如，图像尺度、噪声、照明、运动或几何失真的变化)下捕获的各种对象和/或特征执行图像处理操作可能是有挑战性的并且是计算密集的。
[0018]增强现实技术旨在通过提供利用电子信息增强的增强真实世界环境来缩小虚拟环境与真实世界环境之间的差距。因此，电子信息看起来是用户所感知的真实世界环境的一部分。在示例中，增强现实技术还提供用户界面以与覆盖在增强真实世界环境中的电子信息进行交互。
[0019]增强现实(AR)系统使得真实环境和虚拟环境能够以不同的程度组合以促进来自用户的实时交互。因此，如本文所描述的这样的AR系统可以包括真实环境和虚拟环境的各种可能的组合，其包括主要包括真实元素并且比虚拟环境(例如，没有真实元素)更接近真实环境的增强现实。以这种方式，真实环境可以通过AR系统与虚拟环境连接。沉浸在AR环境中的用户可以导航通过这样的环境，并且AR系统可以跟踪用户的视点以基于用户如何位于环境中提供可视化。可以在本文的实施方式中所描述的消息收发客户端应用(或消息收发系统)中提供增强现实(AR)体验。
[0020]本文所描述的主题技术的实施方式支持涉及AR内容的各种操作，所述各种操作利用给定电子设备(诸如可穿戴头戴式耳机设备(例如，给定眼戴设备)和移动计算设备)来捕获和修改这样的内容。
[0021]在各种场景中，移动计算设备的用户经常使用和越来越多地利用消息收发系统，以用便利的方式提供不同类型的功能。如本文中所描述的，本主题消息收发系统包括以下实际应用：该实际应用通过至少向使用电力和资源受限电子设备捕获图像数据提供技术改进，来提供捕获图像数据和基于所捕获的图像数据渲染AR内容(例如，图像、视频等)方面的改进。通过由本主题技术提供的技术实现捕获图像数据的这种改进，这减少了对所捕获的图像数据进行处理的时延并提高了效率，从而也降低了捕获设备中的功耗。
[0022]如本文进一步讨论的，本主题基础设施支持在消息收发系统的全部各种组件中创建和共享包括3D内容或AR效果的交互式媒体，本文称为消息。在本文所描述的示例实施方式中，消息可以从现场摄像装置或经由存储装置(例如，其中，包括3D内容和/或AR效果的消息被存储在存储器或数据库中)进入系统。本主题系统支持运动传感器输入以及外部效果和资产数据的加载。
[0023]如本文所提及的，短语“增强现实体验”、“增强现实内容项”、“增强现实内容生成器”包括或指代与图像修改、滤波、AR内容生成器、媒体叠加、变换等相对应的各种图像处理操作，并且另外可以包括在AR内容或媒体内容的呈现期间音频或音乐内容的回放，如本文进一步描述的。
[0024]图1是示出用于通过网络交换数据(例如，消息和相关联的内容)的示例消息收发系统100的框图。消息收发系统100包括客户端设备102的多个实例，每个实例托管包括消息收发客户端应用104的多个应用。每个消息收发客户端应用104经由网络106(例如，因特网)通信地耦接至消息收发客户端应用104的其他实例和消息收发服务器系统108。
[0025]消息收发客户端应用104能够经由网络106与另一消息收发客户端应用104和消息收发服务器系统108进行通信和交换数据。在消息收发客户端应用104之间以及在消息收发客户端应用104与消息收发服务器系统108之间交换的数据包括函数(例如，调用函数的命
令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。
[0026]消息收发系统100包括眼戴设备150，该眼戴设备150托管眼戴系统160以及其他应用。眼戴设备150经由网络106(其可以包括经由专用短程通信路径，诸如Bluetooth
TM
或Wi
‑
Fi直接连接)通信地耦接至客户端设备102。
[0027]眼戴设备150可以是由用户佩戴的头戴式便携式系统，其包括能够向用户呈现增强现实环境的可视化的显示系统(例如头戴式显示设备)。眼戴设备150可以用某种电池供电。在示例中，由眼戴设备150的眼戴系统160控制的显示系统向用户提供增强现实环境的立体呈现，所述立体呈现实现特定场景的渲染的三维视觉显示。此外，眼戴设备150可以包括各种传感器，包括但不限于摄像装置、图像传感器、触摸传感器、麦克风、惯性测量单元(IMU)、心率、温度以及其他类型的传感器。而且，眼戴设备150可以包括能够接收用户输入的硬件元件诸如硬件按钮或开关。由这样的传感器和/或硬件元件检测到的用户输入对应于各种输入模态以发起特定操作。例如，这样的输入模态可以包括但不限于面部跟本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收由眼戴设备的摄像装置捕获的第一图像数据；使用机器学习模型检测所述第一图像数据中的显示屏的表示；选择所述显示屏的表示的至少一部分；调整所述显示屏的表示的所述部分的视觉外观；以及使得使用所述眼戴设备的显示系统显示调整后的视觉外观。2.根据权利要求1所述的方法，其中，使用所述机器学习模型检测所述显示屏的表示包括：对所述第一图像数据执行对象检测处理以确定所述显示屏的表示，其中，所述机器学习模型确定所述第一图像数据中包括的所述显示屏的表示的预测。3.根据权利要求2所述的方法，其中，所述机器学习模型包括卷积神经网络(CNN)。4.根据权利要求3所述的方法，其中，所述CNN确定其中存在所述显示屏的表示的感兴趣区域，所述感兴趣区域包括所述第一图像数据的部分。5.根据权利要求4所述的方法，其中，所述感兴趣区域包括候选边界框，所述候选边界框包括所述显示屏的表示。6.根据权利要求4所述的方法，其中，所述CNN基于所述感兴趣区域生成特征图，并且提供与所述特征图对应的值的向量作为输出，所述向量包括描述所述感兴趣区域的内容的相应值。7.根据权利要求6所述的方法，其中，所述特征图包括特征集合，并且分类器模型生成来自所述特征图的特征集合的分类，所述分类包括显示屏对象。8.根据权利要求1所述的方法，其中，调整所述显示屏的表示的所述部分的视觉外观包括：生成围绕所述显示屏的表示的边界框的表示，所述框的表示包括与至少四个边对应的像素集合；通过至少将第一像素的第一颜色值改变为第二颜色值来修改所述像素集合，其中，所述第二颜色值不同于所述第一颜色值；以及通过至少将第三像素的第一光度值改变为第二光度值来修改与所述显示屏的表示对应的第二像素集合，其中，所述第二光度值大于所述第一光度值。9.根据权利要求8所述的方法，还包括：通过至少生成指示已经检测到屏幕的消息来修改所述像素集合。10.根据权利要求1所述的方法，还包括：接收由所述摄像装置捕获的第二图像数据，所述第二图像数据是在所述眼戴设备的摄像装置基于佩戴所述眼戴设备的用户的头部的位置的变化而移动时被接收的；检测所述显示屏的表示不再存在于所述第二图像数据中；以及修改所述第二图像数据以指示所述显示屏的表示不再存在，所述修改包括减少所述第二图像数据的部分以减小来自所述第二图像数据的像素的至少一个光度值。11.一种系统，其包括：处理器；以及存储器，所述存储器包括指令，所述指令...

【专利技术属性】
技术研发人员：凯尔，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：