【技术实现步骤摘要】
本专利技术属于具身智能领域，具体地说，是一种基于时空上下文感知转换器的室内机器人物体导航方法。
技术介绍
1、物体导航作为具身人工智能的一个关键分支，为各种与视觉导航相关的应用提供了重要的基础上游任务，例如图像目标导航和视觉-语言导航。在物体导航中，一个机器人学习从第一人称视角的rgb-d图像中识别未知的3d环境，并使其自带的导航模型能够做出明智的决策，以定位指定的目标。因此，如何充分挖掘从探索的空间布局和时间代理姿态轨迹中得到的时空导航线索，并用来准确引导导航决策，已经成为物体导航任务成功的关键。
2、现有的物体导航方法主要可以分为两大类：端到端方法和模块化方法。端到端方法直接处理第一人称视角的rgb图像，通过学习当前状态与最优短期动作之间的映射关系来寻找目标对象。虽然这种方法有效，但当未知场景布局与先验知识之间存在显著差异时，学习到的导航模型不可避免地会陷入次优决策，导致频繁与周围物体或障碍物发生碰撞。相比之下，模块化方法利用在鸟瞰图视角下的地图中累积的场景信息来确定长期目标并搜索目标物体。例如，使用像卷积神经网络这样的简单网络来融合累积的导航线索，包括探索的空间布局和时间姿态轨迹，形成当前机器人的状态表示。然而，由于不同场景中的空间布局较大，以及卷积神经网络固有的局部偏差，使得基于卷积神经网络的简单导航信息融合可能导致导航模型忽略空间布局和时间姿态轨迹之间的长期时空依赖性，从而导致状态表示的误解和潜在的决策失败。
技术实现思路
1、本专利技术的目的在于提出一种基于
2、实现本专利技术目的的技术解决方案为：一种基于时空上下文感知转换器的室内机器人物体导航方法，包括以下步骤：
3、步骤一，机器人从场景中获取当前第一视角下的彩色图像和深度图，语义分割网络从彩色图像中分割出不同的物体实例，深度图中所有像素点转化成三维点云；
4、步骤二，将步骤一中语义分割网络得到的每一种物体像素类别和点云中对应位置的点对齐，并用几何变换将带有语义标签的点云投影到鸟瞰图视角就得到空间布局和机器人的时序轨迹。
5、步骤三，利用图像处理工具opencv提取出空间布局中占用图的轮廓，并对空间布局中障碍物图的外边界进行膨胀处理，并用处理的障碍物图和占用图相减，然后用一个得分函数筛选出重要的可行边界，用于构建出可行边界图；
6、步骤四，将步骤三中得到可行边界图，以及步骤二中得到空间布局和机器人的时序轨迹输入到导航编码器中，分别编码出边界特征，空间布局特征和时序轨迹特征；
7、步骤五，将步骤四中得到的三种特征输入导航解码器中用于构建更加精确的长距离时空上下文状态表示，并用这种状态表示来推理出一个合理的长期目标来指导机器人探索未知场景，直到目标物体被发现。
8、进一步地，步骤一中采用的语义分割网络是通用的残差编码器-解码器网络。
9、进一步地，步骤三中障碍物图和占用图相减得到的是候选可行边界图h和w表示边界图mb的宽和高，mb中包含了所有候选边界，利用打分函数sfo(fi)对mb中对所有的边界进行初步筛选；打分函数sfo(fi)的工作过程如下：
10、sfo(fi)＝afi+λ·dist(pt,cfi)#(1)
11、
12、其中，λ表示一个常数，pt表示机器人当前的位置坐标，fi表示mb中其中的某一个边界，表示边界fi的中心位置坐标，表示边界fi占用的像素数量；将得分高于设定阈值th的边界合并到一张可行边界图
13、进一步地，步骤四中的空间布局包含了障碍物图占用图和包含k种物体的物体语义图机器人的时序轨迹包含了机器人的运动轨迹图和机器人的当前位置图利用导航编码器中的边界编码器e1编码可行边界图mf并得到边界特征bs表示特征bt的通道数，h2和w2表示特征bt的宽和高；空间布局编码器e2编码包含障碍物图mo，占用图ms和物体语义图mc的空间布局，并得到空间布局特征ks表示特征mt的通道数；时序位姿编码器e3编码机器人的运动轨迹图ma和机器人的当前位置图ml并和目标语义特征合并得到时序轨迹特征as表示特征mt的通道数。
14、进一步地，步骤五中利用导航解码器对边界特征bt、空间布局特征mt和时序轨迹特征et进行解码；首先利用自注意力机制对空间布局特征mt和时序轨迹特征et进行特征增强处理：
15、
16、其中都是可学习的参数，和分别是特征mt和特征et经过增强之后的特征，它们的大小与mt和et相同。在导航解码器中，空间边界解码器利用bt和计算出重要边界权重hd3表示公式(5)中自注意力机制的头数：
17、
18、时序位姿解码器利用和计算出目标相关权重hd4表示公式(6)中自注意力机制的头数：
19、
20、重要边界权重wf、目标相关权重ws和时序轨迹特征共同用于构建时序上下文状态表示：
21、
22、st通过一个多层感知机网络mlp处理之后，得到一个关于长期目标的动作分布最后根据at的概率分布，从场景鸟瞰图的8个顶点(包括鸟瞰图的4个角点和鸟瞰图4条边界的中点)中随机采样一个顶点作为下一步机器人需要探索的长期目标，在机器人导航到长期目标的过程中，如果步骤二中的语义分割网络检测到了目标物体，那么机器人会将目标物体作为下一步导航的目标点，导航到目标物体附近，结束导航过程。
23、本专利技术与现有技术相比，其显著优点：
24、(1)本专利技术构建了一种新型的导航变换器，以有效地聚合时空上下文导航线索，为判别性的机器人状态表示和可靠的决策提供支持。
25、(2)本专利技术开发了一个利用可通行边界图进行增强的导航编码器，它用于编码空间布局、时序位姿和可通行边界图的时空特征。尤其是本专利技术创新性地构建并整合了一个高效的可通行边界图，用以识别探索到的场景中最有价值的区域。
26、(3)本专利技术设计了一个导航解码器，它利用空间布局、时间姿态轨迹和可通行边界来建立更好的时空上下文状态表示。
本文档来自技高网...【技术保护点】
1.一种基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于，包含以下步骤：
2.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤一中采用的语义分割网络是通用的残差编码器-解码器网络。
3.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤三中障碍物图和占用图相减得到的是候选可行边界图H和W表示边界图Mb的宽和高，Mb中包含了所有候选边界，利用打分函数SFO(fi)对Mb中对所有的边界进行初步筛选；打分函数SFO(fi)的工作过程如下：
4.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤四中的空间布局包含了障碍物图占用图和包含k种物体的物体语义图机器人的时序轨迹包含了机器人的运动轨迹图和机器人的当前位置图利用导航编码器中的边界编码器E1编码可行边界图Mf并得到边界特征Bs表示特征bt的通道数，H2和W2表示特征bt的宽和高；空间布局编码器E2编码包含障碍物图Mo，占用图Ms和物体语义图Mc的空间布局，并得到空间布局特征Ks表
5.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤五中利用导航解码器对边界特征bt、空间布局特征mt和时序轨迹特征et进行解码；首先利用自注意力机制对空间布局特征mt和时序轨迹特征et进行特征增强处理：
6.根据权利要求5所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：所述场景鸟瞰图的8个顶点包括鸟瞰图的4个角点和鸟瞰图4条边界的中点。
...【技术特征摘要】
1.一种基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于，包含以下步骤：
2.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤一中采用的语义分割网络是通用的残差编码器-解码器网络。
3.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤三中障碍物图和占用图相减得到的是候选可行边界图h和w表示边界图mb的宽和高，mb中包含了所有候选边界，利用打分函数sfo(fi)对mb中对所有的边界进行初步筛选；打分函数sfo(fi)的工作过程如下：
4.根据权利要求1所述的基于时空上下文感知转换器的室内机器人物体导航方法，其特征在于：步骤四中的空间布局包含了障碍物图占用图和包含k种物体的物体语义图机器人的时序轨迹包含了机器人的运动轨迹图和机器人的当前位置图利用导航编码器...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。