通过以下操作从在远程用户与本地用户之间举行的远程引导的增强现实(AR)会话生成自引导的AR会话计划：接收在所述远程引导的AR会话期间记录的数据。将所述数据分段到对应于由所述本地用户在所述远程引导的AR会话期间执行的步骤的时间段。使用以下中的至少一个来检测所述步骤：自然语言理解(NLU)算法，其被应用于所述数据中包括的对话，以检测指示逐步转变的话语；对被包括在所述数据中的注释进行位置分析，以检测指示逐步转变的位置差异；以及分析被包括在数据中的相机姿态数据，以检测指示逐步转变的姿态转变。基于所分段的数据和所述场景的3D表示生成所述自引导的AR会话计划，所述AR会话计划包括关于如何执行所述各个步骤的逐步AR引导。的逐步AR引导。的逐步AR引导。
【技术实现步骤摘要】
从远程引导的增强现实会话自动生成自引导的增强现实会话计划
[0001]本专利技术涉及增强现实(AR)领域。
技术介绍
[0002]基于AR的远程引导(或“协助”)是对AR技术的相对新的使用。位于远程的专家用户通过将数字内容覆盖在由本地用户的相机捕获的实时视频上来辅助和引导本地用户处理本地用户附近的物理装备。当本地用户在视频显示器上观看他或她的物理周围环境的这个视频时，该视频被同时发送给远程用户，该远程用户可以使用计算机软件在视频上的各个位置添加文本和图形注释，这些文本和图形注释被立即发送回本地用户并且覆盖在他或她正在观看的视频上。远程用户可以在两个用户之间使用文本、音频和/或视频通信来同时提供附加的引导。
[0003]为了免除远程专家用户在每次本地用户必须处理特定设备时提供引导的需要，已经提出并实现了自引导的AR会话。这些会话可以由本地用户单独进行，该用户由预先记录的指令引导。
[0004]相关技术的前述示例和与其相关的限制旨在是说明性的而非排他性的。在阅读说明书和研究附图之后，相关技术的其它限制对于本领域技术人员将变得显而易见。
技术实现思路
[0005]结合系统、工具和方法描述和说明了以下实施例及其方面，这些实施例及其方面旨在是示例性和说明性的，而不是限制范围。
[0006]一个实施例涉及一种方法，该方法包括操作至少一个硬件处理器以：接收在远程用户与本地用户之间举行的远程引导的增强现实(AR)会话期间记录的数据，所记录的数据包括：由本地用户的相机捕获的场景的图像；相机的姿态数据；由远程和本地用户中的至少一个所做的注释；以及远程用户和本地用户之间的对话。基于图像和相机姿态数据自动生成场景的三维(3D)表示，并且自动将注释与3D表示中的位置相关联。将数据中的至少一些自动地分段到多个时间段中，该多个时间段对应于在远程引导的AR会话期间由本地用户在场景中执行的多个步骤，其中，多个步骤是使用以下各项中的至少一项来自动地检测的：(a)将自然语言理解(NLU)算法应用于对话，以检测指示逐步转变的话语，(b)分析与注释相关联的位置，以检测指示逐步转变的位置差异，以及(c)分析相机姿势数据，以检测指示逐步转变的姿势转变。基于所分段的数据和3D表示来自动生成自引导的AR会话计划，其中，AR会话计划包括关于如何在场景中或在类似场景中执行多个步骤的逐步AR引导。
[0007]另一实施例涉及一种系统，该系统包括：至少一个硬件处理器；以及非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质中体现有程序代码，程序代码可由至少一个硬件处理器执行以：接收在远程用户与本地用户之间举行的远程引导的增强现实(AR)会话期间记录的数据，所记录的数据包括：由本地用户的相机捕获的场景的图像；相机的姿
态数据；由远程和本地用户中的至少一个所做的注释；以及远程用户与本地用户之间的对话。基于图像和相机姿态数据自动生成场景的三维(3D)表示，并且自动将注释与3D表示中的位置相关联。将数据中的至少一些自动地分段到多个时间段中，该多个时间段对应于在远程引导的AR会话期间由本地用户在场景中执行的多个步骤，其中，多个步骤是使用以下各项中的至少一项来自动地检测的：(a)将自然语言理解(NLU)算法应用于对话，以检测指示逐步转变的话语，(b)分析与注释相关联的位置，以检测指示逐步转变的位置差异，以及(c)分析相机姿势数据，以检测指示逐步转变的姿势转变。基于所分段的数据和3D表示来自动生成自引导的AR会话计划，其中，AR会话计划包括关于如何在场景中或在类似场景中执行多个步骤的逐步AR引导。
[0008]另一实施例涉及一种计算机程序产品，其包括具有体现在其中的程序代码的非暂时性计算机可读存储介质，程序代码可由至少一个硬件处理器执行以：接收在远程用户与本地用户之间举行的远程引导的增强现实(AR)会话期间记录的数据，所记录的数据包括：由本地用户的相机捕获的场景的图像；相机的姿态数据；由远程和本地用户中的至少一个所做的注释；以及远程用户和本地用户之间的对话。基于图像和相机姿态数据自动生成场景的三维(3D)表示，并且自动将注释与3D表示中的位置相关联。将数据中的至少一些自动地分段到多个时间段中，该多个时间段对应于在远程引导的AR会话期间由本地用户在场景中执行的多个步骤，其中，多个步骤是使用以下各项中的至少一项来自动地检测的：(a)将自然语言理解(NLU)算法应用于对话，以检测指示逐步转变的话语，(b)分析与注释相关联的位置，以检测指示逐步转变的位置差异，以及(c)分析相机姿势数据，以检测指示逐步转变的姿势转变。基于所分段的数据和3D表示来自动生成自引导的AR会话计划，其中，AR会话计划包括关于如何在场景中或在类似场景中执行多个步骤的逐步AR引导。
[0009]在一些实施例中：自引导的AR会话计划被配置为由计算机化的AR系统执行；以及自引导的AR会话计划包括程序指令，该程序指令被配置为使计算机化的AR系统响应于以下各项中的至少一项而在逐步AR引导的步骤之间转换：用户命令，以及对步骤完成的机器视觉检测。
[0010]在一些实施例中，逐步AR引导包括注释中的至少一些注释，至少一些注释是根据其在3D表示中的相关联位置而定位的。
[0011]在一些实施例中，逐步AR引导包括被提供为以下中的至少一个的对话中的至少一些对话：音频，以及文本。
[0012]在一些实施例中：由本地用户在场景中执行的多个步骤包括：对至少一个物理对象的操纵；生成场景的3D表示包括：分别生成至少一个物理对象的至少一个3D模型；并且逐步AR引导包括关于如何分别操纵场景中的至少一个物理对象或类似场景中的至少一个类似物理对象的引导。
[0013]在一些实施例中：该方法还包括，或者该程序代码还可执行以用于：基于来自远程引导的AR会话的手动标记的对话样本，训练机器学习NLU模型以检测指示逐步转变的话语；将NLU算法应用于对话是基于经训练的机器学习NLU模型。
[0014]在一些实施例中，自动检测步骤使用(a)、(b)和(c)中的至少两个的融合。
[0015]除了上述示例性方面和实施例之外，通过参考附图和研究以下的详细描述，其他方面和实施例将变得显而易见。
附图说明
[0016]在参考的附图中示出了示例性实施例。图中所示的部件和特征的尺寸通常是为了方便和清楚地呈现而选择的，并且不一定按比例示出。附图列于下面。
[0017]图1是涉及远程引导的AR会话和从该远程引导的AR会话生成自引导的AR会话计划的过程的流程图。
[0018]图2是用于生成自引导的AR会话计划的系统的框图。
[0019]图3是用于生成自引导的AR会话计划的方法的流程图。
[0020]图4A和4B是在远程引导的AR会话期间的示例性个人计算设备的半图示说明。
[0021]图5A和5B是示例性个人计算设备在远程引导的AR会话期间的附加半图示说明。
具体实施方式
[0022]本文公开了一种从远程引导的AR会话自动生成自引导的A本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种方法，包括操作至少一个硬件处理器以：接收在远程用户与本地用户之间举行的远程引导的增强现实AR会话期间记录的数据，所记录的数据包括：由所述本地用户的相机捕获的场景的图像，所述相机的姿态数据，由所述远程用户和所述本地用户中的至少一个用户所做的注释，以及所述远程用户和所述本地用户之间的对话；基于所述图像和所述相机的姿态数据自动生成所述场景的三维3D表示，并且自动将所述注释与所述3D表示中的位置相关联；将所述数据中的至少一些自动地分段到多个时间段中，所述多个时间段对应于在所述远程引导的AR会话期间由所述本地用户在所述场景中执行的多个步骤，其中，所述多个步骤是使用以下各项中的至少一项来自动地检测的：(a)将自然语言理解NLU算法应用于所述对话，以检测指示逐步转变的话语，(b)分析与所述注释相关联的位置，以检测指示逐步转变的位置差异，以及(c)分析所述相机的姿态数据，以检测指示逐步转变的姿态转变；以及基于所分段的数据和所述3D表示来自动生成自引导的AR会话计划，其中，所述AR会话计划包括关于如何在所述场景中或在类似场景中执行所述多个步骤的逐步AR引导。2.根据权利要求1所述的方法，其中：所述自引导的AR会话计划被配置为由计算机化的AR系统执行；以及所述自引导的AR会话计划包括程序指令，所述程序指令被配置为使所述计算机化的AR系统响应于以下各项中的至少一项而在所述逐步AR引导的步骤之间转变：用户命令，以及对步骤完成的机器视觉检测。3.根据权利要求1所述的方法，其中，所述逐...
【专利技术属性】
技术研发人员：E，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。