基于局部信息的机器人自主导航方法、设备及存储介质技术

本发明专利技术涉及一种基于局部信息的机器人自主导航方法，该方法包括以下步骤：步骤1、搭建虚拟导航平台，设计自主导航模型并采集虚拟导航过程的训练数据；步骤2、基于训练数据，采用深度强化学习算法对自主导航模型进行训练；步骤3、导出并封装训练好的自主导航模型；步骤4、将封装好的自主导航模型应用于实际导航任务。与现有技术相比，本发明专利技术具有场景适用性高、计算复杂度低的优点。算复杂度低的优点。算复杂度低的优点。

【技术实现步骤摘要】
基于局部信息的机器人自主导航方法、设备及存储介质


[0001]本专利技术涉及机器人自主导航领域，尤其是涉及一种基于局部信息的机器人自主导航方法、设备及存储介质。

技术介绍

[0002]机器人被广泛应用于各种领域，包括仓储、救援、清洁、安保等，各种复杂多变的应用场景对机器人的自主导航能力提出了越来越高的要求。根据对环境信息的掌握程度，传统的机器人导航主要依赖全局路径规划和局部路径规划两种方案。
[0003]全局路径规划首先通过SLAM(Simultaneous Localization and Mapping，实时定位与建图)技术完成全局地图构建，然后利用路径规划算法在已知地图上迭代求解连接终点和起点的无碰撞最优路径，最后综合考虑机器人的运动约束和优化目标求解一条路径和速度相耦合的复合曲线，机器人严格遵循设计的轨迹移动即可安全从起点移动到目标位置。全局路径规划方法在已知环境中能够辅助机器人完成导航任务，但其存在两个明显缺陷：一是全局路径规划包含建图、定位、路径规划、轨迹生成等多个任务，需要强大的算力作为支撑，通常结合调度系统配合使用，加大了整个方法的实现代价；二是全局路径规划的方法必须建立在已知环境地图的基础上，难以应对动态变化的场景。
[0004]不同于全局路径规划，局部路径规划要求机器人根据当前时刻感知到的局部环境信息实时决策，赋予机器人更高的自主决策能力。DWA(Dynamic Window Approach，动态窗口法)是一种常见的局部路径规划算法，其核心思想是基于非全向机器人小的速度空间范围，结合运动学模型生成多个预测轨迹，通过约束条件和代价函数判断最合适的运动轨迹。该方法的缺点是通常只考虑到轨迹带来的即时价值而没有评估其对整个导航任务的影响，导致整个方法的前瞻性不足。
[0005]近年来，计算机技术和硬件水平的提高，再一次掀起了人工智能的研究热潮，基于人工智能的机器人导航也成了研究的热门方向。基于监督学习的机器人导航雇佣专家对RGB
‑
D深度相机采集彩色图和深度图打标，然后使用标记的图片训练神经网络模型，将训练好的目标检测模型加载至机器人；在实际的导航任务中，将机器人所搭载相机实时采集的图像数据传入神经网络模型，根据模型输出的运动控制策略引导机器人朝向目标位置安全移动，实现机器人的自主导航。但该方法过于依赖人类专家的先验知识，其性能的好坏完全取决于提供的样本和标签。
[0006]综上，现有的导航问题存在三个主要问题：
[0007]1)传统的路径规划算法高度依赖全局地图信息，算力要求高，且难以应对动态变化的场景；
[0008]2)基于学习的导航算法往往只能在单一场景中取得良好的导航表现；
[0009]3)基于探索导航算法要求强大的算力支撑，难以在普通的导航工具上实现。

技术实现思路

[0010]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供了一种对场景适用性高、计算复杂度低的基于局部信息的机器人自主导航方法、设备及存储介质。
[0011]本专利技术的目的可以通过以下技术方案来实现：
[0012]根据本专利技术的第一方面，提供了一种基于局部信息的机器人自主导航方法，该方法包括以下步骤：
[0013]步骤1、搭建虚拟导航平台，设计自主导航模型并采集虚拟导航过程的训练数据；
[0014]步骤2、基于训练数据，采用深度强化学习算法对自主导航模型进行训练；
[0015]步骤3、导出并封装训练好的自主导航模型；
[0016]步骤4、将封装好的自主导航模型应用于实际导航任务。
[0017]优选地，所述步骤1包括以下子步骤：
[0018]步骤1.1、搭建虚拟导航平台：确定机器人导航模型、选择运动学模型以及装载多种传感器模块，所述多种传感器模块包括实时定位装置、激光雷达传感器和里程计；
[0019]步骤1.2、设计自主导航模型：根据场景的复杂程度设计相应的神经网络模型作为自主导航模型，以感知机器人当前状态并输出动作a；设计奖励函数评估动作a带来的奖励r；
[0020]步骤1.3、设置任务：随机设置多个目标点，采集虚拟导航过程产生的数据；
[0021]步骤1.4、整合数据：整合多种传感器数据得到机器人实时状态s＝[s
o
,s
m
]；其中，s
o
为激光雷达传感器扫描环境返回的机器人前进方向的障碍物信息，s
m
为机器人的运动状态；
[0022]步骤1.5、激光雷达数据预处理：采用预处理函数对激光雷达数据进行预处理，所述预处理函数具有缩小原始激光雷达数据的值域并提高小数值的变化率的特点；
[0023]步骤1.6、发送动作指令：通过神经网络模型推理得到机器人的下一步动作a，根据指令控制机器人运动进入下一个状态s
‑
；
[0024]步骤1.7、采集训练数据：将机器人的当前状态s、动作a、奖励r以及下一时刻的状态s
‑
存储在经验池[s,a,r,s
‑
]中。
[0025]优选地，所述步骤1.4中运动状态s
m
＝[d,θ,v,w]，其中，d为机器人到终点的距离，θ为机器人朝向α和终点方向β之间的角度差，v为机器人实时的线速度，w为机器人实时的角速度。
[0026]优选地，所述机器人前进方向的障碍物信息s
o
＝[l1,l2,
…
,l
K
]，包括：
[0027]设定采样分辨率，激光雷达传感器提供机器人运动方向设定范围内的测距数据，选取测距数据中相邻M个元素的最小值使原始数据缩减为得到K维的向量[l1,l2,
…
,l
K
]，作为机器人前进方向的障碍物信息s
o
。
[0028]优选地，所述步骤1.5中预处理函数的数学表达式为：
[0029][0030]其中：m是预处理后的值；m
max
是预处理后的最大值；l是原始数据；l
min
是原始数据的最小值；ζ为自定义常数，用来控制预处理函数的斜率变化，ζ为越大，预处理函数初期的斜率越大。
[0031]优选地，所述步骤2中采用深度强化学习算法对自主导航模型训练，包括以下子步骤：
[0032]步骤2.1、初始化神经网络模型：设置1个动作网络π
φ
和2个评价网络对应的可调参数分别为φ、θ1、θ2，输入输出关系分别为：动作网络π
φ
输入状态s输出动作a，评价网络输入[s,a]输出价值评估q；
[0033]步骤2.2、初始化参数：初始化动作噪声ε、未来奖励折扣γ、网络更新间隔f和网络更新幅度τ；
[0034]步骤2.3、设定目标网络：将步骤2.1中的神经网络模型作为目标网络
[0035]步骤2.4、更新网络：随机抽取经验池中N个数据作为样本数据(s,a,r,s...

【技术保护点】

【技术特征摘要】
1.一种基于局部信息的机器人自主导航方法，其特征在于，该方法包括以下步骤：步骤1、搭建虚拟导航平台，设计自主导航模型并采集虚拟导航过程的训练数据；步骤2、基于训练数据，采用深度强化学习算法对自主导航模型进行训练；步骤3、导出并封装训练好的自主导航模型；步骤4、将封装好的自主导航模型应用于实际导航任务。2.根据权利要求1所述的一种基于局部信息的机器人自主导航方法，其特征在于，所述步骤1包括以下子步骤：步骤1.1、搭建虚拟导航平台：确定机器人导航模型、选择运动学模型以及装载多种传感器模块，所述多种传感器模块包括实时定位装置、激光雷达传感器和里程计；步骤1.2、设计自主导航模型：根据场景的复杂程度设计相应的神经网络模型作为自主导航模型，以感知机器人当前状态并输出动作a；设计奖励函数评估动作a带来的奖励r；步骤1.3、设置任务：随机设置多个目标点，采集虚拟导航过程产生的数据；步骤1.4、整合数据：整合多种传感器数据得到机器人实时状态s＝[s
o
,s
m
]；其中，s
o
为激光雷达传感器扫描环境返回的机器人前进方向的障碍物信息，s
m
为机器人的运动状态；步骤1.5、激光雷达数据预处理：采用预处理函数对激光雷达数据进行预处理，所述预处理函数具有缩小原始激光雷达数据的值域并提高小数值的变化率的特点；步骤1.6、发送动作指令：通过神经网络模型推理得到机器人的下一步动作a，根据指令控制机器人运动进入下一个状态s
‑
；步骤1.7、采集训练数据：将机器人的当前状态s、动作a、奖励r以及下一时刻的状态s
‑
存储在经验池[s,a,r,s
‑
]中。3.根据权利要求2所述的一种基于局部信息的机器人自主导航方法，其特征在于，所述步骤1.4中运动状态s
m
＝[d,θ,v,w]，其中，d为机器人到终点的距离，θ为机器人朝向α和终点方向β之间的角度差，v为机器人实时的线速度，w为机器人实时的角速度。4.根据权利要求2所述的一种基于局部信息的机器人自主导航方法，其特征在于，所述机器人前进方向的障碍物信息s
o
＝[l1,l2,
…
,l
K
]，包括：设定采样分辨率，激光雷达传感器提供机器人运动方向设定范围内的测距数据，选取测距数据中相邻M个元素的最小值使原始数据缩减为得到K维的向量[l1,l2,
…
,l
K
]，作为机器人前进方向的障碍物信息s
o
。5.根据权利要求2所述的一种基于局部信息的机器人自主导航方法，其特征在于，所述步骤1.5中预处理函数的...

【专利技术属性】
技术研发人员：陈宏田，张卫东，陈逸阳，章海波，郭东升，胡小波，史颂华，柏林，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：