基于二维码辅助定位的托盘叉车AGV自动装载方法技术

本发明专利技术公开了一种基于二维码辅助定位的托盘叉车AGV自动装载方法，该方法利用相机获取布设有二维码标签的仓储托盘图像，对图像进行二维码标签检测；基于PnP方法解算标签中心在相机坐标系下的位姿，通过坐标转换得到仓储托盘参考点在相机坐标系下的位姿；根据仓储托盘局部位姿和托盘叉车AGV全局位姿计算仓储托盘全局位姿；进一步获得从托盘叉车AGV当前点到仓储托盘参考点的取货路径；控制托盘叉车AGV跟踪取货路径，实现托盘叉车AGV对仓储托盘的全自动精准装载。本发明专利技术不需要指定托盘颜色和尺寸，与传统技术相比，具有位姿估计准确性高、路径跟踪效果好的特点，显著提高了托盘自动装载成功率，在保证自动搬运安全可靠的前提下，有效提升搬运效率。有效提升搬运效率。有效提升搬运效率。

【技术实现步骤摘要】
基于二维码辅助定位的托盘叉车AGV自动装载方法


[0001]本专利技术涉及移动机器人自主导航控制，仓储托盘检测
，尤其涉及一种基于二维码辅助定位的托盘叉车AGV自动装载方法。

技术介绍

[0002]互联网经济的发展，推动着传统物流配送模式不断变革升级，如何提高物流效率、降低物流成本已经成为焦点问题。自智慧物流概念被首次全方位提起以来，物流在多个环节正在日益实现自动化、智能化，一些重复度高、强度大的工作逐步被智能机器人完成。同时，人口老龄化加剧使得高度自动化的智能仓储成为迫切需求，以托盘叉车AGV为代表自主移动机器人自动搬运在物流业的应用越来越广泛，智慧物流也已经变成行业的风向标。智慧物流能够在装载、搬运、分拣等环节上提升效率并降低失误率，提高社会生产力水平。
[0003]在实际应用中，物流仓储环境复杂多变，存在静态特征物稀疏、光照强度不均、全局导航累计误差等影响因素，托盘叉车AGV依靠自主定位导航能力到达库位点附近准备取货，由于缺乏对装载目标的自动识别与定位能力，托盘叉车AGV无法获取仓储托盘的局部位姿信息，装载时极易发生碰撞、叉取不充分甚至损坏货物等问题，存在很大的安全隐患。为防止事故发生，需要人工监督和调整，虽然一定程度上减少了人工负担，但无法最大化发挥托盘叉车AGV搬运效率高、载重量大的特点。可见，仓储托盘检测与自适应位姿镇定功能是托盘叉车AGV不可或缺的关键技术，是实现物流仓储无人化作业至关重要的环节。
[0004]研究仓储托盘检测与位姿估计算法，以及自适应位姿镇定算法，对于提升托盘叉车AGV智能化水平，在物流装载、搬运、分拣等环节上降低出错率、提高效率，最终实现全自动搬运具有重大意义，也是智慧物流研究的核心问题之一。

技术实现思路

[0005]本专利技术的目的在于克服实现叉车自动搬运存在的种种困难以及现有仓储托盘检测方法的不足，提供一种基于二维码辅助定位的托盘叉车AGV自动装载方法，该方法涉及仓储托盘检测和移动机器人自适应位姿镇定：首先检测出托盘上的二维码标签；然后基于PnP方法解算标签中心的位姿，实现对托盘的位姿估计，并结合托盘叉车AGV的全局位姿计算并更新托盘状态。AGV自动装载部分首先使用局部路径规划算法制定最优取货路径并使用贝塞尔曲线平滑处理；然后提出用于路径跟踪的核心导航控制算法；最后在托盘叉车AGV实验平台上算法实现。
[0006]本专利技术的目的是通过以下技术方案实现的：一种基于二维码辅助定位的托盘叉车AGV自动装载方法，该方法包括以下步骤：
[0007]步骤1、利用安装在托盘叉车AGV的相机获取布设有二维码标签的仓储托盘的原始RGB图像；
[0008]步骤2、对仓储托盘原始RGB图像进行二维码标签区域检测，若未检测到二维码标签区域，则继续获取下一帧图像；
[0009]步骤3、基于PnP方法解算二维码标签中心在相机坐标系下的六自由度位姿，通过坐标转换得到仓储托盘参考点在相机坐标系下的位姿，实现对仓储托盘的局部位姿估计；
[0010]步骤4、根据步骤3得到的仓储托盘局部位姿和托盘叉车AGV全局位姿，计算仓储托盘全局位姿；
[0011]步骤5、根据仓储托盘当前全局位姿和托盘叉车AGV当前全局位姿，获得从托盘叉车AGV当前点到仓储托盘参考点的取货路径；
[0012]步骤6、控制托盘叉车AGV跟踪取货路径，实现托盘叉车AGV对仓储托盘的全自动精准装载。
[0013]进一步地，所述二维码标签布设在仓储托盘取货侧中心立柱的外侧面，将仓储托盘上与二维码标签中心对称的点作为仓储托盘参考点。
[0014]进一步地，所述步骤2中，对于仓储托盘原始RGB图像，通过图像灰度化、自适应阈值处理、连续边界分割、四边形拟合、解码匹配，检测出布设在仓储托盘上的二维码标签。
[0015]进一步地，所述连续边界分割具体为：基于自适应阈值处理得到的二值图的黑色和白色像素信息分割边缘；使用联合查找算法对明暗像素的连接像素簇进行分割，并用唯一的ID代表每个像素簇。
[0016]进一步地，所述四边形拟合具体为：先找到少量角点，然后遍历角点的所有组合方式来计算近似分组，输出一组或多组候选四边形；
[0017]所述解码匹配具体为：将四边形包含的四个方向的码值分别与标签簇中的每个标签代码进行异或比较，过滤错误的候选四边形。
[0018]进一步地，所述步骤3具体为：
[0019]3‑
1、通过步骤2检测到的目标二维码标签，结合相机内参矩阵、二维码标签物理尺寸和相机单应矩阵，求解二维码标签中心在相机坐标系下的六自由度位姿信息，即相机坐标系下三个方向的坐标：X
c
、Z
c
、Y
c
和欧拉角：偏航角俯仰角和横滚角；
[0020]3‑
2、将二维码标签中心点在相机坐标系下的位姿表示为O:坐标转换之后，得到仓储托盘参考点在相机坐标系下的位姿P:其参考点与标签中心存在横向和纵向偏差，托盘边长假设为a，则托盘参考点的位姿表示为：
[0021][0022]进一步地，所述步骤4中，计算仓储托盘全局位姿具体为：
[0023]相机光心到托盘叉车AGV参考点存在位姿偏差，假设纵向偏差为x
c
、横向偏差为y
c
、角度偏差为θ；由相机坐标系到叉车AGV坐标系，旋转矩阵R表示为：
[0024][0025]令托盘叉车AGV在世界坐标系下的位姿为(X
w
,Y
w
,α)，仓储托盘在相机坐标系下的位姿为则仓储托盘在世界坐标系下的位姿计算公式为：
[0026][0027]其中(X
wp
,Y
wp
)是仓储托盘在世界坐标系下的全局坐标，φ是仓储托盘在世界坐标系下的全局偏航角；仓储托盘参考点在全局坐标系下的状态表示为：(X
wp
,Y
wp
,φ)。
[0028]进一步地，所述步骤5中，根据仓储托盘当前全局位姿和托盘叉车AGV当前全局位姿，获得从托盘叉车AGV当前点到仓储托盘参考点的最优取货路径，并使用贝塞尔曲线平滑处理，取货路径F(t)的表达式为：
[0029]F(t)＝(1
‑
t)3P1+3t(1
‑
t)2P2+3t2(1
‑
t)P3+t3P
4 t∈[0,1][0030]上式为三阶贝塞尔曲线参数方程，比例系数t取值为0到1；P1为起点，即托盘叉车AGV的当前位姿，P4为终点，即仓储托盘参考点，P2和P3为控制点，人为设定；通过人为选取两个控制点进行路径拟合，拟合之后取货路径更加平滑。
[0031]进一步地，控制点P2和P3分别设定为从托盘叉车AGV当前世界坐标到二维码标签中心世界坐标连线的中点，以及二维码标签中心世界坐标到仓储托盘参考点连线的中点。
[0032]进一步地，所述步骤6中，通过计算角速度和速度下发给叉车底盘，控制其运动，实现托盘叉车本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维码辅助定位的托盘叉车AGV自动装载方法，其特征在于，包括：步骤1、利用安装在托盘叉车AGV的相机获取布设有二维码标签的仓储托盘的原始RGB图像；步骤2、对仓储托盘原始RGB图像进行二维码标签区域检测，若未检测到二维码标签区域，则继续获取下一帧图像；步骤3、基于PnP方法解算二维码标签中心在相机坐标系下的六自由度位姿，通过坐标转换得到仓储托盘参考点在相机坐标系下的位姿，实现对仓储托盘的局部位姿估计；步骤4、根据步骤3得到的仓储托盘局部位姿和托盘叉车AGV全局位姿，计算仓储托盘全局位姿；步骤5、根据仓储托盘当前全局位姿和托盘叉车AGV当前全局位姿，获得从托盘叉车AGV当前点到仓储托盘参考点的取货路径；步骤6、控制托盘叉车AGV跟踪取货路径，实现托盘叉车AGV对仓储托盘的全自动精准装载。2.根据权利要求1所述的基于二维码辅助定位的托盘叉车AGV自动装载方法，其特征在于，所述二维码标签布设在仓储托盘取货侧中心立柱的外侧面，将仓储托盘上与二维码标签中心对称的点作为仓储托盘参考点。3.根据权利要求1所述的基于二维码辅助定位的托盘叉车AGV自动装载方法，其特征在于，所述步骤2中，对于仓储托盘原始RGB图像，通过图像灰度化、自适应阈值处理、连续边界分割、四边形拟合、解码匹配，检测出布设在仓储托盘上的二维码标签。4.根据权利要求3所述的基于二维码辅助定位的托盘叉车AGV自动装载方法，其特征在于，所述连续边界分割具体为：基于自适应阈值处理得到的二值图的黑色和白色像素信息分割边缘；使用联合查找算法对明暗像素的连接像素簇进行分割，并用唯一的ID代表每个像素簇。5.根据权利要求3所述的基于二维码辅助定位的托盘叉车AGV自动装载方法，其特征在于，所述四边形拟合具体为：先找到少量角点，然后遍历角点的所有组合方式来计算近似分组，输出一组或多组候选四边形；所述解码匹配具体为：将四边形包含的四个方向的码值分别与标签簇中的每个标签代码进行异或比较，过滤错误的候选四边形。6.根据权利要求1
‑
5中任一项所述的基于二维码辅助定位的托盘叉车AGV自动装载方法，其特征在于，所述步骤3具体为：3
‑
1、通过步骤2检测到的目标二维码标签，结合相机内参矩阵、二维码标签物理尺寸和相机单应矩阵，求解二维码标签中心在相机坐标系下的六自由度位姿信息，即相机坐标系下三个方向的坐标：X
c
、Z
c
、Y
c
和欧拉角：偏航角俯仰角和横滚角；3
‑
2、将二维码标签中心点在相机坐标系下的位姿表示为坐标转换之后，得到仓储托盘参考点在相机坐标系下的位姿其参考点与标签中心存在横向和纵向偏差，托盘边长假设为a，则托盘参考点的位姿表示为：
7.根据权利要求1所述的基于二维码辅助定位的托盘叉车AGV自动装载方法，其特征在于，所述步骤4中，计算仓储托盘全局位姿具体为：相机光心...

【专利技术属性】
技术研发人员：王明俊，魏璇，施盛华，罗江勇，王洁，
申请(专利权)人：浙江科钛机器人股份有限公司，
类型：发明
国别省市：