【技术实现步骤摘要】
本专利技术涉及一种机器人端到端避障方法、装置、系统及介质，属于智能机器人。
技术介绍
1、动态环境的不确定性增加了机器人避障的复杂性和难度。现有的大多数方法，如人工势场（apf）方法和非线性模型预测控制（nmpc）或其变体，都只是在障碍物周围设置一个安全的圆形区域，禁止机器人进入。当人类在移动时遇到障碍物时，可以直观地感知到可能的碰撞区域。transformer以及encoder-decoder架构在视觉领域的巨大进步使得我们对基于vison transformer 的自动避障越来越感兴趣，以利用其强大的推理能力。
技术实现思路
1、本专利技术的目的是提供一种机器人端到端避障方法、装置、系统及介质，通过利用特征关联和特征提取，达到简化了机器人自动避障系统的结构、减少了硬件成本并且提高了避障的性能。
2、为达到上述目的/为解决上述技术问题，本专利技术是采用下述技术方案实现的。
3、一方面，本专利技术提供一种机器人端到端避障方法，包括：
4、获取机器人视觉前方的rgb图像；
5、对rgb图像进行标准化处理；
6、将标准化之后的rgb图像进行视觉特征提取，输出图像特征；
7、将图像特征输入到vit模型特征编码成视觉向量，
8、将视觉向量输入解码层，将其解码成小车避障所需的线速度和角速度。
9、进一步的，所述对图像进行标准化处理，包括：
10、将图像长边缩放至预定像素；
12、所述灰色为：像素值设为[128, 128, 128]。
13、进一步的，所述预定像素为640个像素。
14、进一步的，所述将标准化之后的rgb图像进行视觉特征提取，包括：
15、将标准化之后的rgb图像输入设定的resnet50网络，并输出的视觉特征矩阵和拍平操作，得到图像特征；
16、所述设定的resnet50网络为：标准的resnet50网络的每一层通道数减少一半。
17、进一步的，所述将图像特征输入到vit模型特征编码成视觉向量,包括：
18、将所述的图像特征追加位置信息，
19、在追加位置信息的图像特征的开头添加一个类别嵌入；
20、将带类别嵌入的图像特征数据输入到transformer encode 中进行编码，并将transformer encode编码后的视觉向量作为输出。
21、采用视觉transformer encode（vit）作为向量编码器，在视觉特征前面添加classtoken（类别嵌入），后续解码层并不是用transformer encode的全部输出向量，仅仅使用输出向量的第一个位置的数据；vit的输入是401*512，输出是401*512，但只用到了第一个位置的数据，即上面所述的class token（1*512）；这可以极大的减少后续任务的计算量，并且可以保持高性能。
22、进一步的，所述解码层包括：4层全连接层，每层全连接的分别包含512、128、32和2个神经元；解码层输出向量为[ l,a]， l表示机器人规避障碍物所需的线速度， a表示机器人规避障碍物所需的角速度。
23、所述vit模型的训练方法为：
24、操作机器人在不同的场景下完成设定动作，然后将拍摄的rgb图像和对应的动作数据记录下来；
25、第二方面，本专利技术提供一种机器人端到端避障装置，包括：
26、获取模块：用于获取机器人视觉前方的rgb图像；
27、预处理模块：用于对rgb图像进行标准化处理；
28、提取模块：用于将标准化之后的rgb图像进行视觉特征提取，得到图像特征；
29、编码模块：用于将图像特征输入到vit模型进行特征编码，
30、解码模块：用于将视觉向量输入解码层，将其解码成小车避障所需的线速度和角速度。
31、第三方面，本专利技术提供一种机器人端到端避障系统，包括：
32、存储器，用于存储计算机程序；
33、处理器，用于执行所述计算机程序上述的机器人端到端避障方法的步骤。
34、第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述的机器人端到端避障方法的步骤。
35、与现有技术相比，本专利技术所达到的有益效果：本专利技术提供一种基于纯视觉方案的端到端机器人自动避障方法，包括：视觉特征提取、特征编码和特征解码，其中，我们使用改进的resnet50提取机器人相机视角下的视觉特征；vit模型用于将视觉特征编码成视觉向量；包含4层全连接网络的模块用于将视觉向量解码成机器人的角速度和线速度；本专利技术方法可以只依靠前方相机获取机器人的角速度和线速度，即可实现端到端的自动避障，极大的简化机器人自动避障系统的结构同时提高了避障的性能
本文档来自技高网...【技术保护点】
1.一种机器人端到端避障方法，其特征在于，包括：
2.根据权利要求1所述的机器人端到端避障方法，其特征在于，所述对图像进行标准化处理，包括：
3.根据权利要求2所述的机器人端到端避障方法，其特征在于，所述预定像素为640个像素。
4.根据权利要求1所述的机器人端到端避障方法，其特征在于，所述将标准化之后的RGB图像进行视觉特征提取，包括：
5.根据权利要求1所述的机器人端到端避障方法，其特征在于，所述将图像特征输入到ViT模型特征编码成视觉向量,包括：
6.根据权利要求1所述的机器人端到端避障方法，其特征在于，所述解码层包括：4层全连接层，每层全连接的分别包含512、128、32和2个神经元。
7.一种机器人端到端避障装置，其特征在于，包括：
8.一种机器人端到端避障系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1~6中任一项所述的机器人端到端避障方法的步骤。
【技术特征摘要】
1.一种机器人端到端避障方法，其特征在于，包括：
2.根据权利要求1所述的机器人端到端避障方法，其特征在于，所述对图像进行标准化处理，包括：
3.根据权利要求2所述的机器人端到端避障方法，其特征在于，所述预定像素为640个像素。
4.根据权利要求1所述的机器人端到端避障方法，其特征在于，所述将标准化之后的rgb图像进行视觉特征提取，包括：
5.根据权利要求1所述的机器人端到端避障方法，其特征在于，所述将图像特征输入到vit...
【专利技术属性】
技术研发人员：赖善炎，李峰岳，杨宗林，尚德龙，周玉梅，
申请(专利权)人：中科南京智能技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。