【技术实现步骤摘要】
本专利技术属于托盘检测，尤其涉及一种基于光学图像的托盘检测及位姿计算方法。
技术介绍
1、托盘检测，是指通过传感器获得的数据，在一定范围内识别托盘并确定托盘的位置。在工业生产中，通过对托盘进行自动化检测和定位，使得机器人或叉车能够自动准确地拾取或放置物品，提高生产效率和减少人力成本。为了实现自动化托盘检测，需要借助计算机视觉、深度学习和机器人控制等技术。目前主流的检测方法是基于图像数据对托盘进行检测，其相较于其他形式的传感器数据探测范围大，价格低廉，携带信息丰富。基于图像数据的方法又分为基于传统目标检测的方法以及基于神经网络的检测方法。基于传统目标检测的方法是根据托盘在图像中的几何特征，寻找最相似的特征位置，从而达到检测托盘的目的，此类方法算法简单，运行速度快，易于部署。但是对于复杂环境，遮挡，光照等不利条件的鲁棒性不强，在实际操作中呈现出准确率低的特点。而基于神经网络的检测方法由于其鲁棒性强，在各种复杂条件下仍能保持很高的准确率，因而被越来越多的人们应用。然而，基于神经网络的方法通常计算量巨大，难以被部署在机器人端侧，同时计算时间长，难以达到实时的检测，从而无法很好的引导机器人自动拾取托盘。此外，现有技术大多应用通用的目标检测方法，对于托盘检测任务的专一性不强，这在实际操作中表现为准确率低下或计算资源消耗过多等问题。最后，基于神经网络的方法需要大量的数据供算法学习，这会耗费大量的劳动力以及开发时间，使得难以快速迭代产品。
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供
2、为了达到以上目的，本专利技术采用的技术方案为：
3、本方案提供一种基于光学图像的托盘检测及位姿计算方法，包括以下步骤：
4、s1、获取传感器图像，并根据kcf目标跟踪算法对其进行半自动标注；
5、s2、对经标注后的传感器图像进行预处理，并利用经预处理后的传感器图像对基于神经网络的自适应聚焦算法模型进行训练；
6、s3、利用经训练后的自适应聚焦算法模型对传感器图像进行特征提取、托盘朝向的分类以及托盘在传感器图像中的位置回归处理，得到托盘在传感器图像中的大小及位置，其中，所述托盘在传感器图像中的大小及位置为托盘框选区域；
7、s4、根据托盘在传感器图像中的大小及位置，通过mlp模型映射得到托盘在真实世界的位置和偏向角，根据托盘朝向的分类和托盘的偏向角，完成托盘位姿的计算。
8、进一步地，所述步骤s1包括以下步骤：
9、s101、采集现场传感器图像，并对其首帧进行手动标注；
10、s102、根据首帧标注结果，利用kcf目标跟踪算法依次对除首帧外的帧进行自动标注，其中，若kcf目标跟踪算法对当前帧的标注存在偏差时，则对当前帧进行手动调整；
11、s103、判断是否所有帧均标注完成，若是，则完成对传感器图像的半自动标注，否则，返回步骤s102。
12、进一步地，所述步骤s2中对基于神经网络的自适应聚焦算法模型进行训练，其具体为：
13、分别搭建第一优化目标网络和第二优化目标网络；
14、利用经预处理后的传感器图像及半自动标注数据对第一优化目标网络进行训练；
15、对经训练后的第一优化目标网络得到的托盘检测结果进行标签转换处理，得到托盘聚焦区域数据集；
16、利用托盘聚焦区域数据集对第二优化目标网络进行训练，完成对基于神经网络的自适应聚焦算法模型的训练。
17、再进一步地，所述得到托盘聚焦区域数据集，其具体为：
18、根据经训练后的第一优化目标网络得到的托盘检测结果，得到托盘粗区域集；
19、在托盘粗区域上扩大1.2倍区域范围，在传感器图像边界处采用平移截断处理，当某一方向扩大范围超出图像范围时，向相反方向扩充像素；当双向扩大范围均超出图像范围时，选择最大图像范围；并对托盘粗区域进行冗余处理；
20、将经冗余处理后的托盘粗区域进行尺度归一化操作，并将归一化后的托盘粗区域作为托盘聚焦区域数据集。
21、再进一步地，所述步骤s3中自适应聚焦算法模型包括：
22、第一优化目标网络，用于提取传感器图像中的托盘粗区域；
23、第二优化目标网络，用于根据经聚焦操作后的托盘粗区域，确定托盘精确区域。
24、再进一步地，所述步骤s3包括以下步骤：
25、s301、利用第一优化目标网络对传感器图像进行特征提取，确定托盘粗区域，并对托盘粗区域进行聚焦处理；
26、s302、设置用于控制所述第一优化目标网络输出结果的高置信度阈值h和低置信度阈值l，初始化空集合a1，a3，b1；
27、s303、根据托盘聚焦区域，判断置信度是否大于高置信度阈值h，若是，则将置信度大于高置信度阈值h的区域，保存为数据集合a1，并进入步骤s307；若置信度在高置信度阈值h和低置信度阈值l之间，保存为数据集合a3，则进入步骤s304；若置信度低于低置信度阈值l，丢弃；
28、s304、对数据集合a3进行归一化以及去冗余操作，并将处理结果输入至所述第二优化目标网络；
29、s305、利用第二优化目标网络对经聚焦操作后的托盘聚焦区域进行托盘朝向分类以及托盘在传感器图像中的位置回归处理，确定托盘精确区域；
30、s306、对托盘精确区域进行逆映射操作，得到归一化的托盘框选位置在原始传感器图像中对应的框选位置，并将其作为数据集b1；
31、s307、合并数据集a1和数据集b1，并对合并结果进行nms非极大值抑制处理，剔除重复的框选区域，得到托盘在传感器图像中的大小及位置，其中，所述托盘在传感器图像中的大小及位置为托盘框选区域。
32、再进一步地，所述第一优化目标网络，包括轻量化双路卷积模块，所述轻量化双路卷积模块进一步包括：
33、双路卷积单元：用于将输入特征图进行卷积操作，其中卷积操作分为双路进行，一条链路首先对输入特征图进行3×3分组卷积操作，其次进行1×1标准卷积操作；另一条链路相反，首先对输入特征图进行1×1标准卷积操作，其次进行3×3分组卷积操作，其中设计了通道控制因子k，用于控制双路卷积操作的通道占比；
34、通道拼接单元：用于将双路卷积操作得到的两组特征图进行拼接操作；
35、通道重排单元：用于将拼接得到的特征图组进行通道间的重新排列，得到输出特征图。
36、再进一步地，所述第二优化目标网络，包括优化预测特征融合模块，所述优化预测特征融合模块进一步包括：
37、预测特征图提取模块，用于根据经聚焦后的托盘粗区域，在神经网络结构中提取三个不同尺度的预测特征图；
38、多尺度融合模块，用于对相邻尺度的两个预测特征图，利用mf特征融合模块进行mf特本文档来自技高网...
【技术保护点】
1.一种基于光学图像的托盘检测及位姿计算方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述步骤S1包括以下步骤：
3.根据权利要求1所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述步骤S2中对基于神经网络的自适应聚焦算法模型进行训练，包括：
4.根据权利要求3所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述得到托盘聚焦区域数据集，包括：
5.根据权利要求3所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述步骤S3中自适应聚焦算法模型，包括：
6.根据权利要求5所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述步骤S3包括以下步骤：
7.根据权利要求6所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述第一优化目标网络，包括轻量化双路卷积模块，所述轻量化双路卷积模块进一步包括：
8.根据权利要求6所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述第二优化目标网络，包括优化预测特
9.根据权利要求8所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述MF特征融合模块包括：
10.根据权利要求1所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述步骤S4包括以下步骤：
...【技术特征摘要】
1.一种基于光学图像的托盘检测及位姿计算方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述步骤s1包括以下步骤：
3.根据权利要求1所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述步骤s2中对基于神经网络的自适应聚焦算法模型进行训练，包括：
4.根据权利要求3所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述得到托盘聚焦区域数据集，包括：
5.根据权利要求3所述的基于光学图像的托盘检测及位姿计算方法，其特征在于，所述步骤s3中自适应聚焦算法模型，包括：
6.根据权利要求5所述的基于光学图...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。