【技术实现步骤摘要】
本专利技术涉及地形感知，具体涉及一种基于transformer的多传感器数据融合机器人地形感知方法。
技术介绍
1、机器人地形感知任务是指让机器人利用各种传感器和技术，获取其周围环境的地表信息，以便能够在复杂、不可预测的地形中行动和导航。这项任务是机器人导航和环境感知的基础，对于让机器人能够在各种复杂环境下工作具有重要意义。机器人地形感知任务的目标是使机器人能够在各种复杂的地形环境中行动，包括室内、室外、不平坦地形等，从而扩展了机器人应用的范围，例如在野外探测、搜救、军事任务等领域的应用。
2、目前机器人地形感知技术可以大致分为基于视觉的地形感知技术以及非视觉的地形感知技术，基于视觉的方法往往会使用深度相机或者激光雷达，显然基于视觉的方法是为地形感知技术提供了十分有力的帮助，通过分析路面的视觉特征来对路面有一个直接的，非接触性的判断，但同时，不可否认基于视觉的路面感知技术往往会受到光照、天气、以及路面遮挡物的影响，导致对于路面的判断失准，这是基于视觉的路面感知技术所固有的缺陷；而非视觉的方法则几乎和前者的特性相反，非视觉的方法往往是通过足底感知器或者与其他来源的融合对机器人当前所处地形做出判断，所以使用非视觉的方法对当前地形进行感知所受到的环境影响比基于视觉的方法少得多。
3、中国申请号为202010070559.7的专利技术专利公开了一种基于虚拟传感器的足式机器人地形感知方法，其建立触地检测神经网络模型和土壤分类机器学习模型；在不同地形、不同步态条件下，采集足式机器人的腿关节的角度、腿关节的角速度、电机
技术实现思路
1、有鉴于此，本专利技术提供一种基于transformer的多传感器数据融合机器人地形感知方法，相比于基于视觉的方法，其所受环境影响更小，鲁棒性更强；使用transformer寻找不同数据在多个阶段的特征关系，而非简单的将特征进行卷积后融合；显式建模地面状态，通过多个物理量标签来描述地面状态。
2、本专利技术的技术目的是这样实现的：
3、本专利技术提供一种基于transformer的多传感器数据融合机器人地形感知方法，包括以下步骤：
4、s1 获取移动机器人的本体数据，包括第一数据、第二数据和第三数据；
5、s2 将本体数据转换为带有时间、频率和幅值信息的时频图，得到第一时频图、第二时频图和第三时频图；
6、s3 构建地形感知框架，包括特征提取模块、transformer模块、融合模块和地形分类器；
7、s4 将第一时频图、第二时频图和第三时频图输入地形感知框架，通过特征提取模块分别提取第一时频图、第二时频图和第三时频图的特征信息，得到第一特征向量、第二特征向量和第三特征向量；
8、s5利用transformer模块学习第一时频图、第二时频图和第三时频图之间的关系信息，得到关系向量；
9、s6 将关系向量、第一特征向量、第二特征向量和第三特征向量输入融合模块中进行融合，得到输出向量；
10、s7 将输出向量输入地形分类器中，得到分类结果。
11、在上述技术方案的基础上，优选的，步骤s3包括：
12、特征提取模块包括三个特征提取子模块，分别为第一特征提取子模块、第二特征提取子模块和第三特征提取子模块，每个特征提取子模块均设计三个网络阶段，每个网络阶段为残差块，每个特征提取子模块包括第一残差块、第二残差块、第三残差块和第四残差块；
13、transformer模块包括四个transformer组件，分别为第一transformer组件、第二transformer组件、第三transformer组件和第四transformer组件，其中，第一transformer组件包括编码器，第二transformer组件、第三transformer组件和第四transformer组件包括编码器和解码器；
14、地形分类器为多标签分类器。
15、在上述技术方案的基础上，优选的，步骤s4包括：
16、将第一时频图、第二时频图和第三时频图分别输入第一特征提取子模块、第二特征提取子模块和第三特征提取子模块，利用每个特征提取子模块的第一残差块、第二残差块、第三残差块、第四残差块分别提取三个时频图的第一阶段特征、第二阶段特征、第三阶段特征和第四阶段特征，将三个时频图的第四阶段特征输入对应的全连接层，得到第一特征向量、第二特征向量和第三特征向量。
17、在上述技术方案的基础上，优选的，步骤s5包括：
18、s51 采用特征处理方法将三个时频图的第一阶段特征、第二阶段特征、第三阶段特征和第四阶段特征均进行全局处理，得到三个时频图的第一全局向量、第二全局向量、第三全局向量和第四全局向量；
19、s52 将三个时频图的第一全局向量输入第一transformer组件的编码器中，通过编码器的自注意力机制重新分配权重后得到三个时频图的第一transformer向量；
20、s53 将三个时频图的第二全局向量输入第二transformer组件的编码器中，通过编码器的自注意力机制重新分配权重后得到三个时频图的第一编码向量，将三个时频图的第一编码向量和三个时频图的第一transformer向量输入第二transformer组件的解码器中，通过解码器的自注意力机制重新分配权重后得到三个时频图的第二transformer向量；
21、s54 将三个时频图的第三全局向量输入第三transformer组件的编码器中，通过编码器的自注意力机制重新分配权重后得到三个时频图的第二编码向量，将三个时频图的第二编码向量和三个时频图的第二transformer向量输入第三transformer组件的解码器中，通过解码器的自注意力机制重新分配权重后得到三个时频图的第三transformer向量；
22、s55 将三个时频图的第四全局向量输入第四transformer组件的编码器中，通过编码器的自注意力机制重新分配权重后得到三个时频图的第三编码向量，将三个时频图的第三编码向量和三个时频图的第三transformer向量输入第四transformer组件的解码器中，通过解码器的自注意力机制重新分配权重后得到三个时频图的第四本文档来自技高网...
【技术保护点】
1.一种基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤S3包括：
3.如权利要求2所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤S4包括：
4.如权利要求3所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤S5包括：
5.如权利要求4所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤S51中，对三个时频图的第一阶段特征、第二阶段特征、第三阶段特征和第四阶段特征进行全局处理的方式相同，所述特征处理方法对第一时频图的第一阶段特征进行全局处理的过程包括：
6.如权利要求4所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，自注意力机制的公式为：
7.如权利要求6所述的基于transformer的多传感器数据融合机器人地形感知方法，
8.如权利要求7所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤S7包括：
9.如权利要求1所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤S1中，第一数据为IMU数据，第二数据为关节编码数据，第三数据为速度数据。
10.如权利要求1所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤S2中，采用短时傅里叶变换方法或连续小波变换方法将本体数据转换为带有时间、频率和幅值信息的时频图。
...【技术特征摘要】
1.一种基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤s3包括：
3.如权利要求2所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤s4包括：
4.如权利要求3所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤s5包括：
5.如权利要求4所述的基于transformer的多传感器数据融合机器人地形感知方法，其特征在于，步骤s51中，对三个时频图的第一阶段特征、第二阶段特征、第三阶段特征和第四阶段特征进行全局处理的方式相同，所述特征处理方法对第一时频图的第一阶段特征进行全局处理的过程包括：
6...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。