一种AR设备的目标检测方法及AR设备技术

本申请提供一种AR设备的目标检测方法及AR设备，用于提高目标检测的准确率。包括：针对AR设备中的相机在任一时刻拍摄的包含目标对象的图像，利用目标检测算法对图像进行目标检测，得到目标对象在当前时刻的尺度；基于所述尺度和当前时刻相机在世界坐标系中的位姿，得到当前时刻相机在目标坐标系中的位姿，其中，所述目标坐标系为所述目标对象对应的坐标系；根据当前时刻相机在目标坐标系中的位姿和当前时刻目标对象的局部位姿，得到当前时刻目标对象在相机坐标系中的初始位姿，其中，所述目标的局部位姿是基于目标的尺度得到的；通过相机的位姿变化量对当前时刻目标对象的初始位姿进行优化，得到当前时刻目标对象在相机坐标系中的目标位姿。系中的目标位姿。系中的目标位姿。

【技术实现步骤摘要】
一种AR设备的目标检测方法及AR设备


[0001]本申请涉及虚拟现实设备图像处理
，尤其涉及一种AR设备的目标检测方法及AR设备。

技术介绍

[0002]AR(Augmented Reality，增强现实)技术为用户提供了丰富的虚实交互体验，用户通过AR设备能够在现实场景中与虚拟物品进行交互。目前虚实交互主要体现在用户通过AR设备在现实场景中生成虚拟物品，并通过AR设备的相关信息，如AR设备中相机的位姿来确定虚拟物品在现实空间中的位置。进一步地，用户更希望虚拟物品能够通过与现实物品产生交互，例如，图1中的虚拟物品可以放置在现实物品的周围。或如图2中的虚拟物品的运动能够与现实物品产生碰撞的效果。在虚拟物品与现实物品交互中，3D(3
‑
dimension，三维)目标检测技术起到了举足轻重的作用。
[0003]现有技术中的3D目标检测技术，主要采用基于激光雷达的方案，尽管通过激光雷达生成3D点云数据能够获得目标较高精度的3D位置，但激光雷达等采集设备成本高、功耗大难以直接应用在便携式设备上。但是，现有技术中若不使用激光雷达的目标检测技术，检测精度较低，导致对目标检测的准确率较低。

技术实现思路

[0004]本申请提供了一种AR设备的目标检测方法及AR设备，用于在使用激光雷达等采集设备的前提下实现对目标的精准定位，提高了目标检测的准确率。
[0005]第一方面，本申请实施例提供一种AR设备的目标检测方法，包括：
[0006]针对AR设备中的相机在任意一个时刻拍摄的包含目标对象的图像，利用目标检测算法对所述图像进行目标检测，得到所述目标对象在当前时刻的尺度，其中，所述目标对象在当前时刻的尺度包括所述目标对象的长度、宽度和高度；以及，
[0007]基于所述目标对象在当前时刻的尺度和当前时刻所述相机在世界坐标系中的位姿，得到当前时刻所述相机在目标坐标系中的位姿，其中，所述目标坐标系为所述目标对象对应的坐标系；
[0008]根据当前时刻所述相机在目标坐标系中的位姿和当前时刻所述目标对象的局部位姿，得到当前时刻所述目标对象在相机坐标系中的初始位姿，其中，所述目标的局部位姿是基于所述目标的尺度得到的；
[0009]通过相机的位姿变化量对当前时刻所述目标对象的初始位姿进行优化，得到当前时刻所述目标对象在相机坐标系中的目标位姿，其中，所述位姿变化量为所述相机在当前时刻与上一时刻在世界坐标系中的位姿的变化量。
[0010]本申请第二方面提供一种AR设备，包括处理器和存储器，所述处理器和所述存储器通过总线连接；
[0011]所述存储器中存储有计算机程序，所述处理器被配置为基于所述计算机程序执行
以下操作：
[0012]针对AR设备中的相机在任意一个时刻拍摄的包含目标对象的图像，利用目标检测算法对所述图像进行目标检测，得到所述目标对象在当前时刻的尺度，其中，所述目标对象在当前时刻的尺度包括所述目标对象的长度、宽度和高度；以及，
[0013]基于所述目标对象在当前时刻的尺度和当前时刻所述相机在世界坐标系中的位姿，得到当前时刻所述相机在目标坐标系中的位姿，其中，所述目标坐标系为所述目标对象对应的坐标系；
[0014]根据当前时刻所述相机在目标坐标系中的位姿和当前时刻所述目标对象的局部位姿，得到当前时刻所述目标对象在相机坐标系中的初始位姿，其中，所述目标的局部位姿是基于所述目标的尺度得到的；
[0015]通过相机的位姿变化量对当前时刻所述目标对象的初始位姿进行优化，得到当前时刻所述目标对象在相机坐标系中的目标位姿，其中，所述位姿变化量为所述相机在当前时刻与上一时刻在世界坐标系中的位姿的变化量。
[0016]根据本专利技术实施例提供的第三方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于执行如第一方面所述的方法。
[0017]本申请的上述实施例中，通过基于检测出的目标对象的尺度和相机在世界坐标系中的位姿，得到所述相机在目标坐标系中的位姿，然后根据所述相机在目标坐标系中的位姿和所述目标对象的局部位姿，得到所述目标对象在相机坐标系中的初始位姿，最后通过相机的位姿变化量对所述目标对象的初始位姿进行优化，得到所述目标对象在相机坐标系中的目标位姿。本实施例中通过相机的位姿变化量来对目标对象的初始位姿进行优化，能够有效地平滑视频中每一帧图像中目标对象相对相机的3D位置，缓解了位置抖动造成的目标对象的交互影响，由此，在不使用激光雷达等采集设备的前提下实现对目标的精准定位，提高了目标检测的准确率。
附图说明
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1示例性示出了本申请实施例提供的应用场景示意图之一；
[0020]图2示例性示出了本申请实施例提供的应用场景示意图之二；
[0021]图3示例性示出了本申请实施例提供的应用场景示意图之三；
[0022]图4示例性示出了本申请实施例提供的AR设备的目标检测方法的流程图之一；
[0023]图5示例性示出了本申请实施例提供的确定第二位姿变化量的流程示意图；
[0024]图6示例性示出了本申请实施例提供的确定当前时刻所述目标对象在相机坐标系中的目标位姿的流程示意图；
[0025]图7示例性示出了本申请实施例提供的对目标对象的尺度进行优化的流程示意图；
[0026]图8示例性示出了本申请实施例提供的为确定当前时刻所述目标对象的目标尺度
的流程示意图；
[0027]图9示例性示出了本申请实施例提供的AR设备的目标检测方法的流程图之二；
[0028]图10示例性示出了本申请实施例提供的AR设备的目标检测装置的结构示意图；
[0029]图11示例性示出了本申请实施例提供的AR设备的硬件结构图。
具体实施方式
[0030]为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
[0031]基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
[0032]需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
[0033]本申请的说明书和权利要求书及上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AR设备的目标检测方法，其特征在于，所述方法包括：针对AR设备中的相机在任意一个时刻拍摄的包含目标对象的图像，利用目标检测算法对所述图像进行目标检测，得到所述目标对象在当前时刻的尺度，其中，所述目标对象在当前时刻的尺度包括所述目标对象的长度、宽度和高度；以及，基于所述目标对象在当前时刻的尺度和当前时刻所述相机在世界坐标系中的位姿，得到当前时刻所述相机在目标坐标系中的位姿，其中，所述目标坐标系为所述目标对象对应的坐标系；根据当前时刻所述相机在目标坐标系中的位姿和当前时刻所述目标对象的局部位姿，得到当前时刻所述目标对象在相机坐标系中的初始位姿，其中，所述目标的局部位姿是基于所述目标的尺度得到的；通过相机的位姿变化量对当前时刻所述目标对象的初始位姿进行优化，得到当前时刻所述目标对象在相机坐标系中的目标位姿，其中，所述位姿变化量为所述相机在当前时刻与上一时刻在世界坐标系中的位姿的变化量。2.根据权利要求1所述的方法，其特征在于，所述通过相机的位姿变化量对当前时刻所述目标对象的初始位姿进行优化，得到当前时刻所述目标对象在相机坐标系中的目标位姿之后，所述方法还包括：利用当前时刻所述目标对象的目标位姿对当前时刻所述目标对象的尺度进行优化，得到当前时刻所述目标对象的目标尺度；将当前时刻所述目标对象的目标尺度和所述目标对象在下一时刻的图像中的尺度输入至卡尔曼滤波算法中对所述目标对象在下一时刻的图像的尺度进行平滑处理，得到所述目标对象在下一时刻的图像中平滑后的尺度，并将所述平滑后的尺度确定为所述目标对象在下一时刻的图像中的尺度，以便于基于所述目标对象在下一时刻的图像中的尺度得到所述目标对象在下一时刻在相机坐标系中的目标位姿。3.根据权利要求2所述的方法，其特征在于，所述利用当前时刻所述目标对象的目标位姿对当前时刻所述目标对象的尺度进行优化，得到当前时刻所述目标对象的目标尺度，包括：将当前时刻所述目标对象的目标位姿在对应的图像上进行重投影，得到所述目标对象在所述图像中的实际位置；以及，将所述目标对象的目标位姿输入至预先训练好的神经网络中，得到所述目标对象在所述图像中的预测位置；根据所述实际位置和所述预测位置，得到调整权重；基于所述调整权重对所述目标对象在当前时刻的尺度进行调整，得到所述目标对象在当前时刻的目标尺度。4.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象在当前时刻的尺度和当前时刻所述相机在世界坐标系中的位姿，得到当前时刻所述相机在目标坐标系中的位姿，包括：将所述目标对象在当前时刻的尺度和当前时刻所述相机在世界坐标系中的位姿输入至pnp算法中，得到当前时刻所述相机在目标坐标系中的位姿；根据当前时刻所述相机在目标坐标系中的位姿和当前时刻所述目标对象的局部位姿，
得到当前时刻所述目标对象在相机坐标系中的初始位姿，包括：将当前时刻所述相机在目标坐标系中的位姿与当前时刻所述目标对象的局部位姿相乘，得到当前时刻所述目标对象在相机坐标系中的初始位姿。5.根据权利要求1所述的方法，其特征在于，所述位姿变化量包括第一位姿变化量和第二位姿变化量，其中，所述第一位姿变化量是基于所述相机在世界坐标系中的位姿得到的，所述第二位姿变化量是基于所述相机在目标坐标系中的位姿得到的；所述通过相机的位姿变化量对当前时刻所述目标对象的初始位姿进行优化，得到当前时刻所述目标对象在相机坐标系中的目标位姿，包括：基于所述目标对象在上一时刻对应的中间权重矩阵，得到所述目标对象在当前时刻的初始权重矩阵；利用所述目标对象在当前时刻的初始权重矩阵，得到所述目标对象在当前时刻的目标权重矩阵；通过所述目标权重矩阵、所述第一位姿变化量和所述第二位姿变化量，得到目标位姿变化量...

【专利技术属性】
技术研发人员：卢锦亮，郑贵桢，
申请(专利权)人：海信电子科技深圳有限公司，
类型：发明
国别省市：