一种基于视觉的四足仿生机器人模拟动物步态的方法技术

本发明专利技术公开了一种基于视觉的四足仿生机器人模拟动物步态的方法，本发明专利技术将四足动物的运动特征参数结果与犬类的生理构造特征相结合，建立了仿犬类四足机器人模型，基于Dpnet网络模型计算出的动物关节角度等运动参数输入到Matlab模型的系统中，从而进行机器人运动轨迹的规划以实现按照动物生态模式的运动；通过本发明专利技术能智能获取动物运动图像并及时分析监测动物的健康情况，能够确保动物日常健康信息的及时获取，防止疾病隐患；本发明专利技术在无接触目标对象的情况下提取动物的运动参数，降低了采集数据的难度和不确定性，提高了工作效率，本发明专利技术通过机器人模拟犬类动物对角小跑运动的步态，解决了仿生机器人灵活度不够与参照性不强的问题。强的问题。强的问题。

【技术实现步骤摘要】
一种基于视觉的四足仿生机器人模拟动物步态的方法


[0001]本专利技术涉及一种基于计算机视觉的四足仿生机器人模拟动物运动状态方法，具体涉及基于Dpnet网络的运动参数提取方法，基于运动参数的机器人模拟动物步态方法，属于计算机视觉与图像处理领域。

技术介绍

[0002]在大型农场养犬类或牧场放牧时为了能够及时发现动物的健康隐患，通常有员工负责定期查看动物的活动情况，但人工观察具有主观性且实时度不高，并且具有人力消耗过大和效率较低的缺点，故精确识别动物的步态状况对于农场和牧场养殖上有较高的应用价值。目前动物行为识别研究较为成熟，但对于动物具体步态的分析还存在以下问题：自然环境中不同光照、场景变换与拍摄不同角度造成的干扰，研究对象本身四肢皮毛的相似性与多目标遮挡带来的关键点定位误差。因此本专利技术采用深度学习方法利用网络进行自动检测，通过计算机视觉的方式减少了人力物力，同时提高了效率。四足仿生机器人是近年来的热门研究方向，基于其姿态形式多样、适用范围大的特点被广泛应用，相比于步态受限的履带式机器人与体积笨重的轮式机器人，自由度高的四足机器人具有更强的可控性与灵活度，同时对于仿生机器人的性能来说，足式机器人具有轻重量、结构性强的优势，具有更广的应用空间。

技术实现思路

[0003]本专利技术提供了一种基于计算机视觉的四足仿生机器人模拟动物运动状态的方法，旨在应用于四足机器人参与排雷爆破、运载重物等人力难以完成的情况。本专利技术首先改进了HRnet(High Resolution net)网络；其次利用模型生成的运动参数，将四足动物的生理信息结构运用到四足仿生机器人中，构建了全肘式的机器人结构。然后通过D
‑
H参数方法进行正运动学建模，使用拉格朗日方程法对机器人的动能与势能进行计算，解得拉格朗日方程以获取机器人每个关节的力矩，再对机器人前进的理想状态下足端轨迹进行规划，最后通过MATLAB搭建四足仿生机器人的仿真模型，基于simulink模块分析了机器人质心到原点距离的变化和前进过程中机器人速度与加速度的变化。
[0004]本专利技术的技术方案如下：一种基于计算机视觉的四足仿生机器人模拟动物运动状态方法，所述方法具体步骤如下：
[0005]步骤(1)实验数据采集：拍摄四足动物在道路上的对角小跑运动视频：拍摄视频中图片分辨率为1270
×
720，拍摄设备与四足动物持平且距离四足动物 5
‑
8m，拍摄角度在
±
270
°
之间，在早上8：00
‑
12：00，下午13：00
‑
18：00之间共拍摄十段1min的视频；
[0006]步骤(2)建立模型结构：在HRnet高分辨率基础网络上进行改进，建立骨架模型；
[0007]步骤(3)提取动物运动参数：通过步骤(2)建立的模型预测步骤(1)拍摄的视频中四足动物关键点的位置，实现对四足动物运动参数的提取；
[0008]步骤(4)建立四足机器人模型：将四足动物实体结构信息运用到机器人整体结构
设计中，并结合步骤(3)提取的四足动物的运动参数进行机器人的正运动学建模与动力学分析；
[0009]步骤(5)机器人对角小跑步态仿真：对机器人的足端轨迹进行了规划，将规划的理想状态下的轨迹同四足仿生机器人的实际运动轨迹进行对比，得出机器人模型可靠，最后通过MATLAB对机器人模型进行动物运动状态的模拟。
[0010]步骤(1)中采用摄影机拍摄视频。
[0011]所述步骤(2)中，模型建立的具体步骤如下：
[0012]在HRnet高分辨率基础网络输出的最后四个分支后面添加两条路径，第一条路径设置为三层混合空洞卷积，第二条路径设置为含有通道和空间两种注意力机制的模块；
[0013]其中第一条路径具体为：第一条路径设置为三层混合空洞卷积，基于第一分支与第二分支通道数较少且上下文全局信息较多的表现，选择在前两个输出分支后面添加HDC层，假设空洞卷积率为d，网络中原始卷机核尺寸为k
×
k，那么空洞卷积核大小n为
[0014]n＝k+(k
‑
1)
×
(d
‑
1)
ꢀꢀꢀꢀꢀꢀ
(1)
[0015]由于空洞卷积在扩大特征信息感受野的同时会出现特征像素读取失去连续性的现象，参与卷积运算的像素点均为膨胀后卷积核的有效权重位置，这样会引起栅格效应，丢失部分有价值的特征信息从而影响到最终网络分类预测的准确性，故采用不同膨胀系数的空洞卷积并将三层卷积操作结合为一条路径，其中为了最大限度地填充丢失部分的像素点从而确保信息表征的全面性，需满足在当前层的最大膨胀系数不大于网络原始卷积核尺寸，即满足条件
[0016]M
i
≤k
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0017]M
i
＝Max[M
i+1
‑
2d
i
,M
i+1
‑
2(M
i+1
‑
d
i
),d
i
]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0018]式(3)中M
i
为第i层的最大膨胀系数，d
i
为第i层的空洞卷积率，Max为取三层中的最大值，令中间层M2≤3，可得到各层的空洞卷积率d1＝1，d2＝2，d3＝5，由此可改进前两个分支中普通常规卷积带来的特征表征能力较弱与信息全局性较差两方面；
[0019]第二条路径具体为：设置为含有通道和空间两种注意力机制的模块，具体为在第三分支与第四分支的输出后面添加并行注意力模块PAM，基于后两分支通道数较多故所携带的图像细节信息较全面的特点，将通道注意力机制与空间注意力机制相融合，从而为不同通道的表征和像素的位置分配相应的权重，使得与分类有关的像素点信息在网络训练中更加突出后两分支的输出特征经过最大池化、平均池化与中值池化的操作后将得到的特征向量进行通道和空间的权值计算；先采用1
×
1的卷积调整通道数为256并进行数据批标准化，在两种注意力机制组合输出的特征向量后降低维度，最后通过sigmoid激活获取并分配2个分支0
‑
1的权重值，生成的通道与空间注意力图计算如下：
[0020]Out
channel
＝W(MLP*(in
Avgpool
+in
Maxpool
+in
Medpool
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0021]Out
spatial
＝W(f*(in
Avgpool
,in
Maxpool
,in
Medpool
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的四足仿生机器人模拟动物步态的方法，其特征在于，所述方法具体步骤如下：步骤(1)实验数据采集：拍摄四足动物在道路上的对角小跑运动视频：拍摄视频中图片分辨率为1270
×
720，拍摄设备与四足动物持平且距离四足动物5
‑
8m，拍摄角度在
±
270
°
之间，在早上8：00
‑
12：00，下午13：00
‑
18：00之间共拍摄十段1min的视频；步骤(2)建立模型结构：在HRnet高分辨率基础网络上进行改进，建立骨架模型；步骤(3)提取动物运动参数：通过步骤(2)建立的模型预测步骤(1)拍摄的视频中四足动物关键点的位置，实现对四足动物运动参数的提取；步骤(4)建立四足机器人模型：将四足动物实体结构信息运用到机器人整体结构设计中，并结合步骤(3)提取的四足动物的运动参数进行机器人的正运动学建模与动力学分析；步骤(5)机器人对角小跑步态仿真：对机器人的足端轨迹进行了规划，将规划的理想状态下的轨迹同四足仿生机器人的实际运动轨迹进行对比，得出机器人模型可靠，最后通过MATLAB对机器人模型进行动物运动状态的模拟。2.根据权利要求1所述的基于视觉的四足仿生机器人模拟动物步态的方法，其特征在于：步骤(1)中采用摄影机拍摄视频。3.根据权利要求1所述的基于视觉的四足仿生机器人模拟动物步态的方法，其特征在于：所述步骤(2)中，模型建立的具体步骤如下：在HRnet高分辨率基础网络输出的最后四个分支后面添加两条路径，第一条路径设置为三层混合空洞卷积，第二条路径设置为含有通道和空间两种注意力机制的模块；其中第一条路径具体为：共由三层卷积操作组成，基于第一分支与第二分支通道数较少且上下文全局信息较多的表现，选择在前两个输出分支后面添加HDC层，假设空洞卷积率为d，网络中原始卷机核尺寸为k
×
k，那么空洞卷积核大小n为n＝k+(k
‑
1)
×
(d
‑
1)
ꢀꢀꢀꢀ
(1)由于空洞卷积在扩大特征信息感受野的同时会出现特征像素读取失去连续性的现象，参与卷积运算的像素点均为膨胀后卷积核的有效权重位置，这样会引起栅格效应，丢失部分有价值的特征信息从而影响到最终网络分类预测的准确性，故采用不同膨胀系数的空洞卷积并将三层卷积操作结合为一条路径，其中为了最大限度地填充丢失部分的像素点从而确保信息表征的全面性，需满足在当前层的最大膨胀系数不大于网络原始卷积核尺寸，即满足条件M
i
≤k
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)M
i
＝Max[M
i+1
‑
2d
i
,M
i+1
‑
2(M
i+1
‑
d
i
),d
i
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，M
i
为第i层的最大膨胀系数，d
i
为第i层的空洞卷积率，Max为取三层中的最大值，由此可改进前两个分支中普通常规卷积带来的特征表征能力较弱与信息全局性较差两个方面；第二条路径具体为：在第三分支与第四分支的输出后面添加并行注意力模块PAM，基于后两分支通道数较多故所携带的图像细节信息较全面的特点，将通道注意力机制与空间注意力机制相融合，从而为不同通道的表征和像素的位置分配相应的权重，使得与分类有关的像素点信息在网络训练中更加突出，后两分支的输出特征经过最大池化、平均池化与中值池化的操作后将得到的特征向量进行通道和空间的权值计算；先采用1
×
1的卷积调整通
道数为256并进行数据批标准化，在两种注意力机制组合输出的特征向量后降低维度，最后通过sigmoid激活获取并分配2个分支0
‑
1的权重值，生成的通道与空间注意力图计算如下：Out
channel
＝W(MLP*(in
Avgpool
+in
Maxpool
+in
Medpool
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)Out
spatial
＝W(f*(in
Avgpool
,in
Maxpool
,in
Medpool
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)上式中Out
channel
为通道注意图，Out
spatial
为空间注意力图，W为sigmoid激活函数，MLP为多层感知机，用以共享权值，f为3
×
3的卷积操作，in表示后两分支的输出特征，Out
branch
为通道权重和空间权重分别与输出特征对位相乘再相加得到的最终分支特征；两条路径经过特征融合将低级特征弥补上语义信息同时把高级特征增添上空间信息；通过以上对HRnet高分辨率基础网络的改进，先获得了四足动物的关节点位置再逐次连接形成了骨架模型。4.根据权利要求1所述的基于视觉的四足仿生机器人模拟动物步态的方法，其特征在于：所述步骤(3)中，运动特征参数提取的具体步骤如下：
①
同侧步距参数：在模型中获取研究对象一个步态周期内四个角点的坐标位置后，通过定位每一肢踝关节离图像原点距离最远和最近时的两关节坐标欧氏距离变化，计算四肢踝关节相对本身迈步距离的平均值，假设分别为第f
i
帧和第f
i+1
帧图像中动物左前肢踝关节坐标，则为动物右前肢踝关节坐标，为动物左后肢踝关节坐标，为动物...

【专利技术属性】
技术研发人员：张云伟，田泽薇，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：