本发明专利技术揭示涉及使用视线追踪实现扩增实境应用的方法和设备。根据本发明专利技术的一种示范性方法包含对用户显示可由所述用户观看的场景的图像；接收指示所述用户的视线的信息；基于所述视线信息确定所述图像内的所关注区域；基于所述所关注区域确定图像区段；起始对所述图像区段的对象辨识过程；以及显示所述对象辨识过程的结果。
【技术实现步骤摘要】
【国外来华专利技术】
本文中揭示的标的物涉及具有后置相机的电子装置，且更明确地说，涉及用于供 (例如）移动电子装置中的扩增实境（AR)使用的方法、设备和系统。
技术介绍
移动计算装置（移动装置）给用户提供能够经由无线通信系统存取多种信息。作 为实例，经启用用于供无线蜂窝式网络和/或无线局域网（诸如，Wi-Fi或WiMAX)使用的移 动装置给用户提供能够存取大量的因特网信息资源。移动装置也可使用户能够探宄提供与 计算机产生的图形内容合并或由计算机产生的图形内容扩增的目标对象的实时视图的扩 增实境环境。举例而言，驻留于移动装置机上的相机可与图形显示器一起用以给使用者呈 现涉及在移动装置的相机视图中捕获的所关注对象的补充信息。此补充信息可形成重叠在 移动装置的相机视图中捕获的现实世界对象的信息层。此功能性通常被称作扩增实境（AR) 视图模式。在AR视图中，在相机视图中捕获的对象可转变到与显示屏对准以允许用户更容 易地存取信息层。 移动装置可具有AR模式视图，且可在图形显示屏上呈现AR目标对象。在一些情 形中，对用户显示的AR目标对象的数目可广泛。AR目标对象可在观看屏幕上创造混杂，这 可使用户的观看分心，且可对移动装置的处理能力提出要求。
技术实现思路
根据本专利技术的一种用于使用视线追踪实现扩增实境应用的方法的实例包含对用 户显示可由所述用户观看的场景的图像，接收指示所述用户的视线的信息，基于所述视线 信息确定在所述图像内的所关注区域，使对象标签将基于所述所关注区域的位置显示于所 述场景的图像中，和如果所述所关注区域留在所述对象标签上或周围，那么显示扩增实境 信息。 所述方法的实施方案可包含以下特征中的一或多者。对用户显示的图像可用耦合 到移动装置的第一相机捕获，且可基于用耦合到移动装置的第二相机捕获的图像来确定视 线信息。如果所关注区域不留在对象标签上或周围，那么隐藏对象标签。后置相机或视线 追踪工具可用以接收视线信息。对象标签可为图标。所关注区域的图形表示可显示于图像 上。图形表示可为一或多个圆或其他图形图标。可用前置相机捕获图像。 根据本专利技术的一种用于使用视线追踪实现对象辨识的方法的实例包含对用户显 示可由所述用户观看的场景的图像，接收指示所述用户的视线的信息，基于所述视线信息 确定在所述图像内的所关注区域，基于所述所关注区域确定图像区段，起始对所述图像区 段的对象辨识过程，和显示所述对象辨识过程的结果。 所述方法的实施方案可包含以下特征中的一或多者。起始可包含执行所述对象辨 识过程。起始可包含将所述图像区段提供到远程服务器和从所述远程服务器接收对象辨识 结果，使得所述显示可包含基于所述对象辨识结果显示扩增实境信息。从所述远程服务器 接收姿态信息，和基于所述姿态信息显示所述扩增实境信息。可用耦合到移动装置的第一 相机捕获所述图像，且可基于用耦合到所述移动装置的第二相机捕获的图像确定所述视线 信息。对象辨识过程的结果可包含显示扩增实境信息。如果所关注区域留在所述图像区段 上或周围，那么显示所述扩增实境信息。显示所述对象辨识过程的结果可包含显示对象标 签。如果所关注区域留在所述对象标签上或周围，那么显示所述扩增实境信息。显示图像 区段边界线。 根据本专利技术的一种用于使用视线追踪显示基于位置的扩增实境信息的方法的实 例包含在移动装置上显示图像，基于所述移动装置的位置确定基于位置的扩增实境对象， 在所述图像中显示图标，其中所述图标在所述图像内的位置是基于与所述基于位置的扩增 实境对象相关联的位置信息或在所述图像中可见的现实世界对象的位置，基于用户的视线 确定在所述图像内的所关注区域，和如果所述所关注区域与所述图标的所述位置重叠，那 么在所述移动装置上显示与所述基于位置的扩增实境对象或所述现实世界对象相关联的 扩增实境信息。 所述方法的实施方案可包含以下特征中的一或多者。可用在所述移动装置上的前 置相机获得图像。可使用在所述移动装置上的后置相机确定用户的视线。图像可为在应用 程序中显示的文件。可显示所关注区域的图形表示。 根据本专利技术的一种方法的实例包含在移动装置上显示由所述移动装置的第一相 机捕获的第一图像，基于由所述移动装置的第二相机捕获的第二图像确定所述移动装置的 用户的注视，基于所述确定的注视确定在所述第一图像内的所关注区域，和至少部分基于 所述确定的所关注区域在所述移动装置处执行与扩增实境功能相关联的一或多个动作。 所述方法的实施方案可包含以下特征中的一或多者。所述一或多个动作可包含显 示与所述第一图像中实质上在所述所关注区域内的对象相关联的扩增信息。所述一或多个 动作可包含追踪所述第一图像中实质上在所述所关注区域内的对象。所述一或多个动作可 包含关于所述第一图像中实质上在所述所关注区域内的对象执行的对象辨识。扩增实境功 能可进一步基于所述移动装置的位置。 根据本专利技术的用于使用图像分段实现对象追踪的方法的实例包含对用户显示可 由所述用户从第一相机定向观看的场景的第一图像，接收指示所述用户的视线的信息，基 于所述视线信息确定在所述第一图像内的所关注区域，基于所述所关注区域确定图像区 段，对所述图像区段执行对象追踪过程以确定所述图像区段的第一姿态，和基于所述图像 区段的所述第一姿态显示在第一 AR姿态中的扩增实境对象。 所述方法的实施方案可包含以下特征中的一或多者。对所述用户显示可由所述用 户从第二相机定向观看的所述场景的第二图像，使得所述第二图像包含所述图像区段，对 所述图像区段执行所述对象追踪过程以确定所述图像区段的第二姿态，和基于所述图像区 段的所述第二姿态显示在第二扩增实境姿态中的所述扩增实境对象。执行所述对象追踪过 程可包含将所述图像区段提供到远程服务器。 根据本专利技术的用于使用视线追踪实现对象辨识的方法的实例包含对用户显示可 由所述用户观看的场景的图像，接收指示所述用户的视线的信息，基于所述视线信息确定 在所述图像内的所关注区域，基于所述所关注区域确定图像区段，将所述图像区段提供到 远程服务器，从所述远程服务器接收对象辨识结果，和基于所述对象辨识结果显示扩增实 境信息。在一实施方案中，所述方法可从所述远程服务器接收姿态信息，且基于所述姿态信 息显示所述扩增实境信息。 根据本专利技术的一种用于使用视线追踪实现对象辨识的装置的实例包含：存储器； 至少一处理器，其耦合到所述存储器且经配置以对用户显示可由所述用户观看的场景的图 像，接收指示所述用户的视线的信息，基于所述视线信息确定在所述图像内的所关注区域， 基于所述所关注区域确定图像区段，起始对所述图像区段的对象辨识过程，和显示所述对 象辨识过程的结果。 根据本专利技术的一种用于使用视线追踪显示基于位置的扩增实境信息的装置的实 例包含：存储器；至少一处理器，其耦合到所述存储器且经配置以在移动装置上显示器图 像，基于所述移动装置的位置确定基于位置的扩增实境对象，在所述图像中显示图标，其中 所述图标在所述图像内的位置是基于与所述基于位置的扩增实境对象相关联的位置信息 或在所述图像中可见的现实世界对象的位置，基于用户的视线确定在所述图像内的所关注 区域，和如果所述所关注区域与所述图标的所述位置重叠，那么在所述移动装置上显示与 所述基于位置的扩增实境对象或所述现实世本文档来自技高网...
【技术保护点】
一种用于使用视线追踪实现对象辨识的方法，其包括：对用户显示可由所述用户观看的场景的图像；接收指示所述用户的视线的信息；基于所述视线信息确定所述图像内的所关注区域；基于所述所关注区域确定图像区段；起始对所述图像区段的对象辨识过程；以及显示所述对象辨识过程的结果。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：阿许温·史汪明纳桑，玛荷许·瑞玛屈安卓恩，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。