【技术实现步骤摘要】
本专利技术涉及集装箱查验相关，尤其是指一种利用深度学习技术图像识别的集装箱智能查验方法、装置及系统。
技术介绍
1、现阶段，绝大多数情况下集装箱检验采用堆场检验的方式，即主要由检验人员通过人眼识别和手动测量方式实地检验集装箱残损，然后利用手持相机和测量工具对残损部位测量拍照上传至业务系统，故可能存在以下缺点：
2、一方面，人工检测可能受复杂环境如天气条件、光照变化等因素影响，同时人为操作存在疏忽或错误的可能较高，因此传统人工检测方式的准确性受到局限，检验质量波动大；而且，随着集装箱数量的增加，传统人工检测方式无法满足快速检测的需求，导致自动化程度及检测效率低。
3、另一方面，近年来随着检测设备的创新和ai技术(artificial intelligence，人工智能技术)的发展，使得机器自动化验箱取代人工验箱成为可能。其中，基于深度学习的图像识别技术利用卷积神经网络(cnn)学习大量集装箱损伤的2d及3d图像数据，以进行集装箱损伤检测，不仅可以提高验箱效率，节约人力成本，还能提高验箱结果的质量与稳定性，降低设备交接方之间的沟通成本。其中，用于ai验箱的3d点云数据在实际使用时，往往面临着配准的需求，但目前3d点云配准仍然存在着噪声影响、密度差异、计算成本高昂、实时配准等技术难点与挑战。
4、再一方面，在应用于ai验箱的点云特征提取技术中，目前的点云处理模型如pointnet对局部结构的捕捉能力有限，而主要关注全局特征，这使得在提取集装箱的残损目标时，细节特征被忽视，导致重要信息丢失；在处理复杂
5、因此，针对目前的集装箱查验方法存在的检测效率低，准确性差，3d点云配准较准准确性低、计算成本高昂、难以实时配准，以及点云特征提取局部结构捕捉能力有限的特点下，如何提供一种自动化程度高、计算快捷方便、准确性高、对点云局部特征进行捕捉的集装箱智能查验方法，是有待解决的技术问题。
技术实现思路
1、鉴于现有技术的以上问题，本申请提供一种集装箱智能查验方法以能最大化减少人工参与，自动化验箱程序，并提升验箱效率与准确率。与此对应，本申请还提供了实现以上效果的集装箱智能查验装置及系统。
2、为达到上述目的，本申请第一方面提供了一种集装箱智能查验方法，包括以下步骤：
3、获取通过一2d相机采集的集装箱箱体的2d图像；
4、获取通过多个3d相机分别采集的所述集装箱箱体的多组3d点云数据，其中，每组3d点云数据对应所述集装箱箱体的一局部；
5、分别将所述每组3d点云数据配准到一统一的坐标系下，获得所述坐标系下的所述集装箱箱体的完整的3d点云数据；
6、根据所述2d图像和所述完整的3d点云数据，对所述集装箱箱体进行检测。
7、由上，本申请所述的集装箱智能查验方法利用相机提取集装箱箱体数据，便于后续计算机进行视觉识别与处理，可配合机械臂等自动化结构，人工参与度小。经过配准后的点云数据更加准确且能包含集装箱整体的三维信息。同时，由于使用了2d图像与3d点云数据结合的方式，因此其定位的准确度更高，减少了信息损失，对小物体的检测定位能力更强；且由于简化了学习问题，利用了更为成熟的2d图像处理技术，其网络学习和检测的效率更高。
8、作为第一方面的一种可能的实现方式，所述集装箱智能查验方法的所述每组3d点云数据配准到一统一的标准坐标系下，包括：
9、a、分别提取每组3d点云数据所包括的各关键点的描述符；
10、b、针对每组3d点云数据，执行以下步骤：
11、针对该组每个源关键点，在描述符空间进行k近邻搜索的方式确定出多个候选目标关键点，所述每个源关键点与对应的所述多个候选目标关键点形成每个簇；其中，所述源关键点位于待配准的所述该组3d点云数据中，所述目标关键点位于所述统一的坐标系下的一组3d点云数据中；
12、提取每个簇的特征；
13、将每个簇的特征输入第一模型，输出每个簇中的源关键点对应的各候选目标关键点的修正值和各置信度；
14、基于下述公式计算配准到所述统一的坐标系下所使用的最优旋转平移矩阵：
15、
16、其中，r*,t*表示旋转平移矩阵r,t中的最优值，表示源关键点，表示候选目标关键点的修正值，表示置信度，‖·‖2表示l2范数，m表示候选关键点的数量；
17、使用所述最优旋转平移矩阵将待配准的该组3d点云数据配准到所述统一的坐标系下。
18、由上，所述的点云数据配准使用了k近邻搜索的方式确定目标关键点并形成簇，具有简单直观、易于实现、适应性强、鲁棒性高等优点。同时，由于所述的点云数据配准方法是对簇的特征进行提取，而并非点对的特征进行提取，因此，运算量从目标点个数平方的量级降到了目标点个数的量级，极大地减少了计算负担。同时，所述的点云数据配准方法可以根据需求提取、构建多种簇描述符；且易与多种算法模型相结合，改进点云配准的处理与修正。利用l2范数与置信度，寻找使得源关键点经过转换后距离修正后的目标关键点最小的r，t，该方法对表现较差的r，t进行了严厉惩罚，从而更快速地找到最优变换r*,t*，优化了寻找速度。
19、作为第一方面的一种可能的实现方式，所述的各关键点的描述符，是通过inception模型进行提取。
20、由上，inception模型作为一种在图像识别和分类任务中表现出色的深度卷积神经网络架构，可以提高关键点描述符提取的效率与准确性。
21、作为第一方面的一种可能的实现方式，所述提取每个簇的特征，包括提取每个簇的至少以下之一的特征：簇的几何特征，簇的描述符特征、簇的相似性特征。
22、由上，簇的几何特征、描述符特征及相似性特征等特征在点云的旋转和尺度变化下能保持不变性，这对于点云数据的匹配和识别任务至关重要。
23、作为第一方面的一种可能的实现方式，所述簇的几何特征包括至少以下之一：簇内源关键点与各候选目标关键点的连接、之间的相对坐标、距离；或
24、所述簇的描述符特征包括至少以下之一：簇内源关键点与各候选目标关键点的描述符、显著性、不确定性；或
25、所述簇的相似性特征包括至少以下之一：双边一致性、邻域一致性。
26、由上，簇内源关键点与各候选目标关键之间的连接、坐标、距离可以较为简便地描述簇的几何特征；源关键点与各候选目标关键的描述符、显著性、不确定性可以较为准确地描述点的特征信息；簇的双边一致性、邻域一致性可以提示关键点与目标点之间的相似性。上述三类簇特征的构建包含了源关键点与目标关键点是否为同一物理关键点的重要信息。
27、作为第一方面的一种可能的实现方式，所述每个簇的特征输入第一模型，输出每个簇中的源关键点对应的各候选目标关键点的修正值和各置信度，包本文档来自技高网...
【技术保护点】
1.一种对集装箱箱体的残损检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述每组3D点云数据配准到一统一的标准坐标系下，包括：
3.根据权利要求2所述的方法，其特征在于，所述提取每组3D点云数据所包括的各关键点的描述符，是通过Inception模型进行提取。
4.根据权利要求2所述的方法，其特征在于，所述提取每个簇的特征，包括提取每个簇的至少以下之一的特征：簇的几何特征，簇的描述符特征、簇的相似性特征。
5.根据权利要求4所述的方法，其特征在于：
6.根据权利要求2-5任一所述的方法，其特征在于，将每个簇的特征输入第一模型，输出每个簇中的源关键点对应的各候选目标关键点的修正值和各置信度，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据所述2D图像和所述完整的3D点云数据，对所述集装箱箱体进行检测，包括：
8.根据权利要求7所述的方法，其特征在于，所述对所提取的点云数据提取全局特征，包括：
9.一种对集装箱箱体的残损检测装置，其特征在于，包括：<...
【技术特征摘要】
1.一种对集装箱箱体的残损检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述每组3d点云数据配准到一统一的标准坐标系下，包括：
3.根据权利要求2所述的方法，其特征在于，所述提取每组3d点云数据所包括的各关键点的描述符，是通过inception模型进行提取。
4.根据权利要求2所述的方法，其特征在于，所述提取每个簇的特征，包括提取每个簇的至少以下之一的特征：簇的几何特征，簇的描述符特征、簇的相似性特征。
5.根据权利要求4所述的方法，其特征在于：...
【专利技术属性】
技术研发人员：张宁，蔡林雨，刘敏，申郁，吴怡，张思宇，陈雄，杨言鼎，
申请(专利权)人：中远海运集装箱运输有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。