本发明专利技术公开了一种货架位姿识别方法、装置、设备及存储介质，方法包括：采集待识别货架的图像信息，并检测出所述待识别货架的整体侧面；对所述待识别货架整体侧面的横连杆和竖连杆进行点云分割，得到所述待识别货架的连杆点云；计算真实地面或建立虚拟地面，并根据所述待识别货架与所述真实地面或虚拟地面的垂直关系，对所述连杆点云进行修正以及平面拟合，得到所述待识别货架的姿态信息；将所述连杆点云中的竖连杆进行直线拟合，并计算出所述竖连杆和所述真实地面或虚拟地面的交点，从而得到所述待识别货架的位置信息；从而实现待识别货架的位姿识别。本发明专利技术能够确保对货架位置及姿态识别的高准确性、高鲁棒性和高通用性。高鲁棒性和高通用性。高鲁棒性和高通用性。
【技术实现步骤摘要】
一种货架位姿识别方法、装置、设备及存储介质
[0001]本专利技术涉及目标检测定位
，尤其涉及一种货架位姿识别方法、装 置、设备及存储介质。
技术介绍
[0002]无人叉车在智能仓储中应用十分广泛，越来越多的仓储中心使用无人叉车 代替人工进行货物搬运。在搬运货物的过程中，通常将货物装载到货架(台车或 料笼)内整体进行搬运。由于一些原因货架在被放置其所在库位时，其位置相对 于库位来讲并不理想，可能会出现一定的偏移。
[0003]由于无人叉车在搬运货架之前，需要通过插臂对货架进行插取。如果叉车 没有预先知道货架所在的位置和姿态，没有调整插臂的最佳插取位置，在插取 的过程中可能会出现无法插取成功，或者货架在插臂上不稳定的情况，从而导 致货物搬运的失败。对于货架的位置和姿态识别所存在的挑战有以下三个方面： 第一，绝大部分货架都是基于圆柱连杆拼接组装而成，结构复杂，没有特定的 特征规律，很难总结出符合货架的通用特征；第二，由于工厂环境复杂，会存 在其他货架、设备、行人、光线等不可控因素的干扰，增加了对货架位姿识别 的复杂度，第三，货架的种类非常多，其他无法预知的更多类型的货架需要进 行位姿识别。
[0004]因此，目前急需一种能够提高识别姿态准确性、鲁棒性和通用性的货架位 置姿态识别方法。
技术实现思路
[0005]本专利技术提供了一种货架位姿识别方法、装置、设备及存储介质，以解决现 有技术中对货架位置及姿态识别的准确性、鲁棒性和通用性低的技术问题。
[0006]为了解决上述技术问题，本专利技术实施例提供了一种货架位姿识别方法，包 括：
[0007]采集待识别货架的图像信息，并检测出所述待识别货架的整体侧面；所述 待识别货架的整体侧面包括横连杆和竖连杆；
[0008]对所述待识别货架整体侧面的横连杆和竖连杆进行点云分割，得到所述待 识别货架的连杆点云；
[0009]计算真实地面或建立虚拟地面，并根据所述待识别货架与所述真实地面或 所述虚拟地面的垂直关系，对所述连杆点云进行修正以及平面拟合，得到所述 待识别货架的姿态信息；
[0010]将所述连杆点云中的竖连杆进行直线拟合，并计算出所述竖连杆和所述真 实地面或所述虚拟地面的交点，从而得到所述待识别货架的位置信息；
[0011]根据所述待识别货架的姿态信息和位置信息，得到待识别货架的位姿信息， 从而完成待识别货架的位姿识别。
[0012]作为优选方案，所述检测出所述待识别货架的整体侧面，具体为：
[0013]根据深度学习识别算法，判断并检测出所述图像信息中的待识别货架，从 而识别出所述待识别货架的横连杆和竖连杆，从而得到待识别货架的整体侧面。
[0014]作为优选方案，所述对所述待识别货架整体侧面的横连杆和竖连杆进行点 云分割，得到所述待识别货架的连杆点云，具体为：
[0015]对所述待识别货架整体侧面的横连杆和竖连杆进行点云分割，得到每个横 连杆对应的点云信息和每个竖连杆对应的点云信息；
[0016]分别将每个横连杆对应的点云信息和每个竖连杆对应的点云信息进行组合， 得到待识别货架整体侧面的连杆点云。
[0017]作为优选方案，所述计算真实地面或建立虚拟地面，具体为：
[0018]采集地面数据并识别真实地面；
[0019]在叉车坐标系下选取若干个点，并根据预设的摄像机的外参，将所述叉车 坐标系中的选取的点变换至摄像机坐标系中，并将变换至摄像机坐标系中的点 进行平面拟合，得到虚拟地面；
[0020]通过虚拟地面校验所述真实地面的可信度；
[0021]若所述可信度通过，则采用真实地面进行货架的位姿识别；
[0022]若所述可信度不通过，则采用虚拟地面进行货架的位姿识别。
[0023]作为优选方案，所述根据所述待识别货架与所述真实地面或所述虚拟地面 的垂直关系，对所述连杆点云进行修正以及平面拟合，得到所述待识别货架的 姿态信息，具体为：
[0024]对所述连杆点云进行第一平面拟合，得到第一拟合平面的第一法向量；
[0025]根据所述待识别货架与所述真实地面或所述虚拟地面的垂直关系，对第一 平面拟合后的所述待识别货架整体侧面的连杆点云进行修正；
[0026]对修正后的连杆点云进行第二平面拟合，得到第二拟合平面的第二法向量， 进而将第二法向量作为待识别货架的姿态信息。
[0027]作为优选方案，将所述连杆点云中的竖连杆进行直线拟合，并计算出所述 竖连杆和所述虚拟地面的交点，从而得到所述待识别货架的位置信息，具体为：
[0028]将所述连杆点云中的竖连杆进行直线拟合；
[0029]计算出直线拟合后的竖连杆和所述真实地面或所述虚拟地面的交点坐标；
[0030]将交点坐标的中点作为所述待识别货架的位置信息。
[0031]作为优选方案，根据所述待识别货架的姿态信息和位置信息，得到待识别 货架的位姿信息，从而完成待识别货架的位姿识别之后，还包括：
[0032]将待识别货架在摄像机坐标系下得到的位姿信息变换到叉车坐标系中，以 使叉车能够对待识别货架进行位姿识别后的搬运。
[0033]相应地，本专利技术还提供一种货架位姿识别装置，包括：采集检测模块、点 云分割模块、姿态信息模块、位置信息模块和位姿信息模块；
[0034]所述采集检测模块，用于采集待识别货架的图像信息，并检测出所述待识 别货架的整体侧面；所述待识别货架的整体侧面包括横连杆和竖连杆；
[0035]所述点云分割模块，用于对所述待识别货架整体侧面的横连杆和竖连杆进 行点云分割，得到所述待识别货架的连杆点云；
[0036]所述姿态信息模块，用于计算真实地面或建立虚拟地面，并根据所述待识 别货架与所述真实地面或所述虚拟地面的垂直关系，对所述连杆点云进行修正 以及平面拟合，得到所述待识别货架的姿态信息；
[0037]所述位置信息模块，用于将所述连杆点云中的竖连杆进行直线拟合，并计 算出所述竖连杆和所述真实地面或所述虚拟地面的交点，从而得到所述待识别 货架的位置信息；
[0038]所述位姿信息模块，用于根据所述待识别货架的姿态信息和位置信息，得 到待识别货架的位姿信息，从而完成待识别货架的位姿识别。
[0039]作为优选方案，所述检测出所述待识别货架的整体侧面，具体为：
[0040]根据深度学习识别算法，判断并检测出所述图像信息中的待识别货架，从 而识别出所述待识别货架的横连杆和竖连杆，从而得到待识别货架的整体侧面。
[0041]作为优选方案，所述对所述待识别货架整体侧面的横连杆和竖连杆进行点 云分割，得到所述待识别货架的连杆点云，具体为：
[0042]对所述待识别货架整体侧面的横连杆和竖连杆进行点云分割，得到每个横 连杆对应的点云信息和每个竖连杆对应的点云信息；
[0043]分别将每个横连杆对应的点云信息和每个竖连杆对应的点云信息进行组合， 得到待识别货架整体侧本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种货架位姿识别方法，其特征在于，包括：采集待识别货架的图像信息，并检测出所述待识别货架的整体侧面；所述待识别货架的整体侧面包括横连杆和竖连杆；对所述待识别货架整体侧面的横连杆和竖连杆进行点云分割，得到所述待识别货架的连杆点云；计算真实地面或建立虚拟地面，并根据所述待识别货架与所述真实地面或所述虚拟地面的垂直关系，对所述连杆点云进行修正以及平面拟合，得到所述待识别货架的姿态信息；将所述连杆点云中的竖连杆进行直线拟合，并计算出所述竖连杆和所述真实地面或所述虚拟地面的交点，从而得到所述待识别货架的位置信息；根据所述待识别货架的姿态信息和位置信息，得到待识别货架的位姿信息，从而完成待识别货架的位姿识别。2.如权利要求1所述的一种货架位姿识别方法，其特征在于，所述检测出所述待识别货架的整体侧面，具体为：根据深度学习识别算法，判断并检测出所述图像信息中的待识别货架，从而识别出所述待识别货架的横连杆和竖连杆，从而得到待识别货架的整体侧面。3.如权利要求1所述的一种货架位姿识别方法，其特征在于，对所述待识别货架整体侧面的横连杆和竖连杆进行点云分割，得到所述待识别货架的连杆点云，具体为：对所述待识别货架整体侧面的横连杆和竖连杆进行点云分割，得到每个横连杆对应的点云信息和每个竖连杆对应的点云信息；分别将每个横连杆对应的点云信息和每个竖连杆对应的点云信息进行组合，得到待识别货架整体侧面的连杆点云。4.如权利要求1所述的一种货架位姿识别方法，其特征在于，所述计算真实地面或建立虚拟地面，具体为：采集地面数据并识别真实地面；在叉车坐标系下选取若干个点，并根据预设的摄像机的外参，将所述叉车坐标系中的选取的点变换至摄像机坐标系中，并将变换至摄像机坐标系中的点进行平面拟合，得到虚拟地面；通过虚拟地面校验所述真实地面的可信度；若所述可信度通过，则采用真实地面进行货架的位姿识别；若所述可信度不通过，则采用虚拟地面进行货架的位姿识别。5.如权利要求4所述的一种货架位姿识别方法，其特征在于，所述根据所述待识别货架与所述真实地面或所述虚拟地面的垂直关系，对所述连杆点云进行修正以及平面拟合，得到所述待识别货架的姿态信息，具体为：对所述连杆点云进行第一平面拟合，得到第一拟合平面的第一法向量；根据所述待识别货架与所述真实地面或所述虚拟地面的垂直关系，对第一平面拟合后的所...
【专利技术属性】
技术研发人员：邢彦文，卓钟烁，黄杰军，
申请(专利权)人：广东省大湾区集成电路与系统应用研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。