【技术实现步骤摘要】
本专利技术涉及信息处理，具体地，涉及一种岸桥船扫作业过程中的船舱箱体信息延迟自适应对齐方法及系统，同时涉及一种相应的计算机终端和计算机可读存储介质。
技术介绍
1、基于深度学习的目标检测方法已经广泛应用到工业场景，但其不稳定性和黑盒的特性，使得不能预测其决策过程，以至于不能单独用于具有高精度检测需求的场景。
2、当前主流的基于视觉的目标追踪算法高度依赖于历史和未来的检测目标的序列，当目标检测方法失效时也随着同时失效。例如，视觉目标追踪方法如：kcf、cmt、卡尔曼滤波、bytetrack、deepsort等能追踪非运动相机所拍摄的多帧物体，但面对岸桥船扫作业时运动的相机坐标系且箱体物被遮挡的情况，也会丢失目标。虽然目标在后续帧不被遮挡时能够被检测，但会被跟踪方法标记成新的物体。因为同时点云信息会被吊具遮挡，且雷达以俯视姿态面对船舱箱体，只能扫描到箱体的上表面，作业时间导致激光雷达扫描时间短，点云稀疏，因此基于时间序列点云的3d目标检测和追踪方法在该场景不适用。
3、经过检索发现：
4、公开号为cn117830355a的中国专利技术专利申请《一种目标重跟踪方法、装置、设备及计算机可读存储介质》，针对其排队场景设计了感兴趣区域人的头肩，结合卡尔曼滤波目标和上一帧的目标信息来解决遮挡导致的目标偏移问题，但在岸桥作业船扫场景会遇到开始时箱体已经被吊具完全遮挡和部分被吊具遮挡的场景，因此该方法在岸桥作业船扫场景下失效。
5、公开号为cn115496779a的中国专利技术专利申请《基于图像的物
6、公开号为cn117893571a的中国专利技术专利申请《基于自回归运动模型的被遮挡目标运动追踪方法、系统及设备》，根据邻居目标对被遮挡目标的运动轨迹进行回归追踪，但跟踪目标必须在其图像帧序列中出现过，且该方法可能存在某些未知的不稳定情况。
7、公开号为cn117036740a的中国专利技术专利申请《一种用于运动目标的抗遮挡性跟踪方法》，首先提取不同特征向量融合和滤波抵抗复杂光线阴影，并且用目标追踪器的响应峰值检测机制判断遮挡，然后用卡尔曼滤波预测被遮挡目标位置。该方法目标必须在输入帧序列中至少出现过一次，否则该方法不可用，因此岸桥作业船扫场景下失效。
技术实现思路
1、本专利技术针对现有技术中存在的上述不足，提供了一种岸桥船扫作业过程中的船舱箱体信息延迟自适应对齐方法及系统，同时涉及一种相应的计算机终端和计算机可读存储介质。
2、根据本专利技术的一个方面，提供了一种船舱箱体信息延迟自适应对齐方法，包括：
3、获取相机图像中箱体和吊具的目标位置-类别向量，构建目标位置时序列表，用于粗定位目标；
4、在所述目标位置时序列表的基础上加入从激光雷达获取的包含点云信息的时序列表，得到箱体和吊具的目标平均高度时序列表，其中m为目标数量，用于辅助定位可能被遮挡的目标；
5、获取小车的坐标、速度和加速度信息，其中n为帧序列的长度，通过世界坐标-目标位置映射，得到箱体和吊具的世界位置-目标位置时序信息列表；
6、基于所述目标位置时序列表，分别获得包含完整箱体和吊具视觉特征的目标向量时序列表以及包含箱体和吊具边缘特征的随机裁剪目标向量时序列表；
7、提供一帧间目标位置延迟自适应预测模型，将所述、、、、和输入所述帧间目标位置延迟自适应预测模型，对齐不同传感器间的各帧的时序目标，用于补全被遮挡和/或缺失的箱体和吊具的目标位置信息，完成船舱箱体信息延迟自适应对齐。
8、优选地，所述获取相机图像中箱体和吊具的目标位置-类别向量，构建目标位置时序列表，包括：
9、提供一单阶段目标检测模型，该单阶段目标检测模型用于输入rgb通道图片，输出目标位置-类别向量；其中， = [[当前目标类别，当前目标几何中心位置在图像上的x轴坐标，当前目标几何中心位置在图像上的y轴坐标，当前目标在图像上的x轴方向上的像素长度，当前目标在图像上的y轴方向上的像素长度]，...]；
10、获取相机图像，将所述相机图像作为所述单阶段目标检测模型的输入，通过该单阶段目标检测模型的视觉定位输出集装箱箱体和吊具的目标位置以及吊具类型，得到相应的目标位置-类别向量，构建目标位置时序列表，用于被遮挡目标的粗定位。
11、优选地，所述在所述目标位置时序列表的基础上加入从激光雷达获取的包含点云信息的时序列表，得到箱体和吊具的目标平均高度时序列表，包括：
12、提供一预标定的相机内/外参，包括：光学中心/旋转矩阵/平移向量-，将点云，投影至相机图像的坐标，得到：
13、<mi>s∙</mi><mtable><mtr><mtd><mi>u</mi></mtd></mtr><mtr><mtd><mi>v</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mi>=k∙[r|t]∙</mi><mtable><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>y</mi></mtd></mtr><mtr><mtd><mtable><mtr><mtd><mi>z</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mtd></mtr></mtable></mfenced>
14、其中，为比例系数，表示从三维空间到二维图像平面的比例；
15、所述目标位置-类别向量包含多边形区域的 4 个顶点坐标, ,, ，构建得到一个在二维平面上设定的x 和 y 轴的四边形边界范围；对于点云中的任意点的坐标，判断该任意点是否位于该四边形边界的内部，对点云数据进行过滤，只保留位于边界范围内的有效点；
16、对点云中的异常值和离群值进行处理后对点云取平均值，得到箱体和吊具的目标平均高度时序列表。本文档来自技高网...
【技术保护点】
1.一种船舱箱体信息延迟自适应对齐方法，其特征在于，包括：
2.根据权利要求1所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述获取相机图像中箱体和吊具的目标位置-类别向量，构建目标位置时序列表，包括：
3.根据权利要求1所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述在所述目标位置时序列表的基础上加入从激光雷达获取的包含点云信息的时序列表，得到箱体和吊具的目标平均高度时序列表，包括：
4.根据权利要求1所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述获取小车的坐标、速度和加速度信息，其中N为帧序列的长度，通过世界坐标-目标位置映射，得到箱体和吊具的世界位置-目标位置时序信息列表，包括：
5.根据权利要求4所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述基于当前帧目标的目标位置时序列表，对该当前帧画面内的目标进行排序，再赋予，得到单帧所有目标的排位坐标，并构建得到目标时序列表和箱体和吊具的目标时序所在船排位列表，包括：
6.根据权利要求1所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述基于所述
7.根据权利要求1所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述提供一帧间目标位置延迟自适应预测模型，将所述、、、、和输入所述帧间目标位置延迟自适应预测模型，对齐不同传感器间的各帧的时序目标，用于补全被遮挡和/或缺失的箱体和吊具的目标位置信息，包括：
8.一种船舱箱体信息延迟自适应对齐系统，其特征在于，包括：箱体吊具目标视觉探测器、目标高度-位置绑定器、世界坐标-目标位置映射器、目标特征记录模块以及帧间目标位置延迟自适应预测器；其中：
9.一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，该处理器执行该计算机程序时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时可用于执行权利要求1-7中任一项所述的方法，或，运行权利要求8所述的系统。
...【技术特征摘要】
1.一种船舱箱体信息延迟自适应对齐方法，其特征在于，包括：
2.根据权利要求1所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述获取相机图像中箱体和吊具的目标位置-类别向量，构建目标位置时序列表，包括：
3.根据权利要求1所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述在所述目标位置时序列表的基础上加入从激光雷达获取的包含点云信息的时序列表，得到箱体和吊具的目标平均高度时序列表，包括：
4.根据权利要求1所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述获取小车的坐标、速度和加速度信息，其中n为帧序列的长度，通过世界坐标-目标位置映射，得到箱体和吊具的世界位置-目标位置时序信息列表，包括：
5.根据权利要求4所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述基于当前帧目标的目标位置时序列表，对该当前帧画面内的目标进行排序，再赋予，得到单帧所有目标的排位坐标，并构建得到目标时序列表和箱体和吊具的目标时序所在船排位列表，包括：
6.根据权利要求1所述的船舱箱体信息延迟自适应对齐方法，其特征在于，所述基于所述...
【专利技术属性】
技术研发人员：宋子申，余一宽，
申请(专利权)人：甄觉科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。