【技术实现步骤摘要】
本专利技术属于物流，更具体地说，特别涉及一种基于3d目标检测的异形件判别算法。
技术介绍
1、近年来，基于3d视觉的目标检测技术已经逐渐成熟，在实际生活、生产得到了广泛应用，例如物流包裹检测与定位等；3d目标检测是对三维场景中的目标进行定位和识别的任务，目前目标检测方案主要分为两类，第一种方法仅使用单个图像作为输入，没有任何额外信息，但此类方法精度较低，第二种方法使用额外的数据，例如多视图、深度图、lidar点云和cad模型，来获取附加信息并增强检测，此类方法在工业领域应用较为广泛。
2、但是，现有3d目标检测技术由于物体高度及相机视角的影响，只能比较准确的定位目标上表面的坐标信息；在需要更加精细的底面坐标的物流场景下，存在较大局限，尤其是出现异形件的情况，比如智慧物流分拣机或视觉供件台，如果无法准确定位底面坐标，在上件时会使得包裹无法准确上件到小车中心，导致包裹容易出现飘格或上件失败问题。
3、随着视觉技术在物流领域的应用越来越广泛，想要实现物流全自动化，现有方法缺少针对于底面坐标还原的方案和对于异形件的判定，因此，就需要一种对异形件的判别算法，使得系统拥有更准确的包裹底面位置定位，有效提高单件分离及视觉供件的可控性和精确度。
技术实现思路
1、为了解决上述技术问题，本专利技术提供了一种基于3d目标检测的异形件判别算法，以解决现有技术中，传统的目标检测技术只能定位目标上表面的坐标信息，缺乏对底面坐标的定位，在上件时会使得包裹无法准确上件到小车中心，导致包裹
2、本专利技术一种基于3d目标检测的异形件判别算法的目的与功效，由以下具体技术手段所达成：
3、一种基于3d目标检测的异形件判别算法，包括有以下步骤:
4、步骤一：在物流生产场景供件皮带上按照安装要求来安装多台3d相机，确保待测物体在相机工作距离范围内；
5、步骤二：通过相机分别获取三个视角的包裹rgb图和深度图，并利用对齐算法进行对齐；
6、步骤三：对正上方对齐的数据进行包裹坐标及其底面坐标的标注，修改yolov8分割模型使其适应rgbd输入并增加检测头，对修改后的分割模型进行指定的训练得到yolov8-rgbd分割模型；
7、步骤四：进行推理，得到包裹坐标、底面坐标及其计算投影坐标；
8、步骤五：拟合底面的所述计算投影坐标及模型回归的所述底面坐标，进行加权融合后，对底面形状进行修正，得到最终的底面位置坐标；
9、步骤六：利用侧边视角的两组数据，通过底面还原算法计算底面坐标，并计算底面曲率；
10、步骤七：对异形件包裹进行综合判定，得到是否为异形件的结论。
11、在一个优选地实施方式中，在步骤一中，所述安装要求包括有：所述3d相机共有三台，其中一台3d相机架设于供件皮带中心正上方,另外两台3d相机架设于皮带左右两侧，高于皮带面50cm，并与皮带面平行。
12、在一个优选地实施方式中，在步骤三中，所述指定的训练包括有将对齐数据的20％作为测试集，余下的80％作为训练集，利用训练集训练修改后的分割模型，得到可以输出包裹坐标及其底面坐标的所述yolov8-rgbd分割模型。
13、在一个优选地实施方式中，在步骤四中，所述推理过程包括有；
14、重复步骤二，将正上方视角数据输入yolov8-rgbd分割模型，得到所述包裹坐标及其所述底面坐标；
15、根据正上方视角数据深度图中的物体高度信息，对模型得到的包裹坐标进行透射变换修正，得到包裹在底面的所述计算投影坐标。
16、在一个优选地实施方式中，在步骤六中，所述底面还原算法包括有根据侧面相机与顶面相机的位置关系对齐物体，再以所述底面位置坐标为基础，根据深度信息，结合ipm图像逆透视算法，对底面形状进行修正。
17、在一个优选地实施方式中，在步骤七中，综合判定包括有根据底面形状、底面曲率、包裹长宽比信息对异形件包裹进行判定。
18、在一个优选地实施方式中，所述判定要求包括有所述底面形状与表面形状交并比大于0.5，底面弧度要求曲率小于1/50每厘米，所述包裹长宽比小于50。
19、现有技术相比，本专利技术具有如下有益效果：
20、1.通过多台3d相机的设置，并结合深度信息和rgbd图像处理技术,能够得到包裹底面位置及形状信息，在物流生产场景中，传统的目标检测技术只能获取包裹上表面的坐标信息,而无法感知底面特征,导致在自动上件时出现偏移或失败的问题；而本算法通过不同视角的相机数据采集、特定的模型训练和底面还原算法，能够全面地捕捉包裹的底面特征，提高上件的准确性，减少错误分拣的概率。
21、2.实现了两个底面位置分支(计算坐标分支、回归坐标分支)之间的互补关系，能够有效降低整体预测误差；结合多个底面位置线索，将底面位置估计制定为多个底面位置预测的集合，能够有效地修正底面位置信息的偏移，在实际应用中，通过集成多个底面位置线索,并对其加权融合,该算法能够更准确地修正底面信息中的偏移,提升了系统的可控性和精确度。
22、3.采用底面还原算法，能够充分利用多视角深度信息，更好地还原物体的底面信息，以包裹坐标为基础，根据深度信息，结合ipm图像逆透视算法对底面形状进行修正，能够在各种复杂情况下准确地还原底面形状，提高了对包裹形状的认知精度，能够更加准确地识别出异常包裹,从而有效避免在分拣、上件等环节出现问题。
23、4.在模型层面，本算法采用yolov8作为基底模型，并针对rgbd输入进行了定制化改造,使其能够同时处理深度图，并增加检测头，实现端到端输出包裹坐标和底面预测坐标，相比现有3d检测算法，本算法更加快速，提高了部署时的便利性，同时，在取得较好精度效果的同时，对于计算资源的需求降低，这对于物流企业来说，意味着可以在不增加大量硬件成本的情况下，提高物流检测的效率。
24、5.采用异形件判定算法，通过底面形状、底面曲率、包裹外轮廓、包裹长宽比来判断是否为异形件，当这些数据超过待上机的小车尺寸或用户需求时，定义包裹为异形件，并在输送过程中采取减速或剔除处理；解决了传统目标检测技术中因缺乏底面坐标定位而导致的包裹上件问题，在物流运输中，准确判断异形件可以避免包裹在运输过程中出现飘格或上件失败的情况，提高物流运输的稳定性和可靠性。
本文档来自技高网...【技术保护点】
1.一种基于3D目标检测的异形件判别算法，其特征在于：包括有以下步骤:
2.根据权利要求1所述的一种基于3D目标检测的异形件判别算法，其特征在于：在步骤一中，所述安装要求包括有：所述3D相机共有三台，其中一台3D相机架设于供件皮带中心正上方,另外两台3D相机架设于皮带左右两侧，高于皮带面50cm，并与皮带面平行。
3.根据权利要求1所述的一种基于3D目标检测的异形件判别算法，其特征在于：在步骤三中，所述指定的训练包括有将对齐数据的20％作为测试集，余下的80％作为训练集，利用训练集训练修改后的分割模型，得到可以输出包裹坐标及其底面坐标的所述yolov8-RGBD分割模型。
4.根据权利要求1所述的一种基于3D目标检测的异形件判别算法，其特征在于：在步骤四中，所述推理计算包括有；
5.根据权利要求1所述的一种基于3D目标检测的异形件判别算法，其特征在于：在步骤六中，所述底面还原算法包括有根据侧面相机与顶面相机的位置关系对齐物体，再以所述底面位置坐标为基础，根据深度信息，结合IPM图像逆透视算法，对底面形状进行修正。
6.根
7.根据权利要求6所述的一种基于3D目标检测的异形件判别算法，其特征在于：判定要求包括有所述底面形状与表面形状交并比大于0.5，底面弧度要求曲率小于1/50每厘米，所述包裹长宽比小于50。
...【技术特征摘要】
1.一种基于3d目标检测的异形件判别算法，其特征在于：包括有以下步骤:
2.根据权利要求1所述的一种基于3d目标检测的异形件判别算法，其特征在于：在步骤一中，所述安装要求包括有：所述3d相机共有三台，其中一台3d相机架设于供件皮带中心正上方,另外两台3d相机架设于皮带左右两侧，高于皮带面50cm，并与皮带面平行。
3.根据权利要求1所述的一种基于3d目标检测的异形件判别算法，其特征在于：在步骤三中，所述指定的训练包括有将对齐数据的20％作为测试集，余下的80％作为训练集，利用训练集训练修改后的分割模型，得到可以输出包裹坐标及其底面坐标的所述yolov8-rgbd分割模型。
4.根据权利要求1所述的一种基于3d目标检测的异形件判别算法，...
【专利技术属性】
技术研发人员：刘国庆，李志，代伟，
申请(专利权)人：中邮科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。