包裹体积测量方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及物流管理领域，公开了一种包裹体积测量方法、装置、设备及存储介质。本方法包括：获取包裹堆放场景的图像并输入预置包裹识别模型，得到图像中包裹的第一区域范围；然后根据图像中包裹的第一区域范围，得到对应的包裹图像，并输入预置三维预测模型，得到图像中包裹的三维位置坐标信息；根据图像中包裹的三维位置坐标信息，得到图像中包裹的目标包围盒，并输出包裹的体积参数，计算包裹的体积。本发明专利技术通过训练得到的三维预测模型可以直接通过图片得到图片中包裹的三维位置坐标信息，基于该三维坐标信息来判断包裹体积，代替了原有的人工估计，从而提高了包裹体积测量的效率。

【技术实现步骤摘要】
包裹体积测量方法、装置、设备及存储介质
本专利技术涉及物流管理领域，尤其涉及一种包裹体积测量方法、装置、设备及存储介质。
技术介绍
随着互联网的普及使用，越来越多的人通过网络进行通讯和商品选购，为了应对越来越多的包裹运输安全，需要对包裹进行规划装车运输，而规划运输则需要对包裹进行体积和重量的估计，目前的包裹体积的测量大多是靠人的经验去近视估计，或者使用3d相机，生成3d点云图，3d相机成本较高，而通过3d相机的估计，需要安装多个摄像头，才能实现体积估量，这样实现方式成本过高。3d相机虽然可以实现通过图像确定包裹的目标包围盒并获取对应包裹的体积参数信息，但是其只是限制于通过二维图像的形式估计，二维图像与实际产品还是存在较大的差异，从而导致最后估计出来的体积与包裹的实际体积相差较大。
技术实现思路
本专利技术的主要目的在于解决现有技术中，通过二维图像估计出的包裹体积与实际包裹体积相差较大，其测量精度较低的技术问题。本专利技术第一方面提供了一种包裹体积测量方法，包括：获取实时抓拍的包裹堆放场景的第一现场图像；将所述第一现场图像输入预置包裹识别模型进行包裹识别，得到所述第一现场图像的包裹标注的第一识别图像，其中，所述包裹标注使用第一区域范围表示；根据所述第一识别图像中的第一区域范围，从所述第一识别图像中提取各包裹对应的第一包裹图像；将所述第一包裹图像输入预置三维预测模型进行三维预测处理，得到所述第一包裹图像对应的三维位置坐标信息，其中，所述三维预测处理包括包裹三维图像的构建和所述包裹三维图像位于所述第一现场图像中的三维坐标信息的计算；基于所述第一包裹图像中包裹的三维位置坐标信息，确定所述第一包裹图像中包裹的体积参数；基于所述第一现场图像中包裹的体积参数，计算所述第一现场图像中包裹的体积。可选的，在本专利技术第一方面的第一种实现方式中，在所述获取实时抓拍的包裹堆放场景的第一现场图像之前，还包括：获取货车装货场景的多张样本图像，并将所述样本图像作为第一训练样本图像；对所述第一训练样本图像中的包裹进行标注，得到各训练样本图像对应的第一标注信息，并保存为第一标注文件，其中，所述第一标注信息用于标识所述第一训练样本图像中已装载包裹的第二区域范围；将所述第一训练样本图像和对应的第一标注文件输入预置MASKR-CNN模型进行深度学习训练，得到包裹识别模型，其中，所述MASKR-CNN模型包括ResNet-101网络、RPN网络、ROIAlign层和分类网络。可选的，在本专利技术第一方面的第二种实现方式中，所述将所述第一现场图像输入预置包裹识别模型进行包裹识别，得到所述第一现场图像的包裹标注的第一识别图像包括：将所述第一现场图像输入预置包裹识别模型，并通过所述ResNet-101网络提取所述第一现场图像的图像特征，得到第一特征图；将所述第一特征图输入所述RPN网络，并通过预置选择性搜索算法对所述第一特征图进行预测框提取，得到所述第一特征图对应的预测框；将所述第一特征图和所述预测框输入所述ROIAlign层进行预测，得到包含所述预测框的第二特征图；将所述第二特征图输入所述全连接层进行分类处理，得到所述预测框包含包裹的预测概率；基于所述预测框包含包裹的预测概率，得到所述第一现场图像的包裹标注的第一识别图像。可选的，在本专利技术第一方面的第三种实现方式中，在所述获取实时抓拍的包裹堆放场景的第一现场图像之前，还包括：获取实时抓拍的包裹堆放场景的第二现场图像；将所述第二现场图像输入预置包裹识别模型进行识别，得到所述第二现场图像的包裹标注的第二识别图像，其中，所述包裹标注使用第三区域范围表示；根据所述第二识别图像中的第三区域范围，从所述第二识别图像中提取各包裹对应的第二包裹图像；对所述第二包裹图像进行点云标注，得到所述第二包裹图像对应的第二标注信息并保存为第二标注文件，其中，所述第二标注信息用于标识所述第二现场图像中包裹的目标包围盒；将所述第二现场图像作为第二训练样本图像，并基于三维预测网络对所述第二训练样本图像和对应第二标注文件进行训练，得到三维预测模型，其中，所述三维预测网络包括二维目标检测子网络、实例深度估计子网络、三维定位子网络和角点回归子网络。可选的，在本专利技术第一方面的第四种实现方式中，所述对所述第二包裹图像进行点云标注，得到所述第二包裹图像对应的第二标注信息并保存为第二标注文件包括：根据预设目标分割算法对所述第二包裹图像进行语义分割，得到语义分割结果；基于所述语义分割结果，确定所述第二包裹图像中的待检测包裹；根据所述多张第二包裹图像进行场景重建，得到重建后的场景重建图像；对所述场景重建图像进行点云分割，得到所述待检测包裹的点云数据；在所述场景重建图像中生成与所述待检测包裹对应的包围盒；将所述包围盒与所述待检测包裹的点云数据进行拟合，得到目标包围盒并输出所述目标包围盒的参数信息；基于所述目标包围盒的参数信息，确定各第二包裹图像对应的第二标注信息并保存为第二标注文件。可选的，在本专利技术第一方面的第五种实现方式中，所述将所述第一包裹图像输入预置三维预测模型进行三维预测处理，得到所述第一包裹图像对应的三维位置坐标信息包括：将所述第一包裹图像输入预置三维预测模型，并通过所述三维预测模型的实例深度估计网络对所述第一包裹图像进行特征图的提取处理，得到浅层特征图和深层特征图；将所述浅层特征图和所述深层特征图进行拼接，并通过深度预测输出多个不同尺度的视差图，得到所述第一包裹图像的深度图；将所述第一包裹图像输入二维目标检测子网络，并通过所述二维目标检测子网络对所述第一包裹图像进行目标检测，确定所述第一现场图像中包裹的几何类型与二维边界框的四个顶点坐标；将所述第一现场图像中包裹的二维边界框的四个顶点坐标输入所述三维定位子网络，得到所述第一现场图像中包裹的三维边界框在所述现场图像中投影点的横纵坐标；基于所述三维边界框在所述第一现场图像中投影点的横纵坐标，绘制所述第一现场图像中包裹的三维边界框，并根据所述三维边界框确定所述第一现场图像中包裹的目标包围盒；将所述第一包裹图像的深度图和所述第一现场图像中包裹的目标包围盒输入所述角点回归子网络，并通过所述角点回归子网络对所述第一包裹图像的深度图进行角点回归，得到所述第一现场图像中包裹的目标包围盒中心的深度；基于所述第一现场图像中包裹的目标包围盒中心的深度，确定所述第一现场图像中包裹的三维位置坐标信息。可选的，在本专利技术第一方面的第六种实现方式中，所述将所述包围盒与所述待检测包裹的点云数据进行拟合，得到目标包围盒并输出所述目标包围盒的参数信息包括：根据所述包围盒相对于竖直方向的倾斜角度及尺寸参数，建立所述包围盒与所述点云的目标函数，其中，所述目标函数指示了所述包围盒在将所述点云包裹在内后，所述包围盒的剩余空间；计算得到所述目标本文档来自技高网...

【技术保护点】
1.一种包裹体积测量方法，其特征在于，所述包裹体积测量方法包括：/n获取实时抓拍的包裹堆放场景的第一现场图像；/n将所述第一现场图像输入预置包裹识别模型进行包裹识别，得到所述第一现场图像的包裹标注的第一识别图像，其中，所述包裹标注使用第一区域范围表示；/n根据所述第一识别图像中的第一区域范围，从所述第一识别图像中提取各包裹对应的第一包裹图像；/n将所述第一包裹图像输入预置三维预测模型进行三维预测处理，得到所述第一包裹图像对应的三维位置坐标信息，其中，所述三维预测处理包括包裹三维图像的构建和所述包裹三维图像位于所述第一现场图像中的三维坐标信息的计算；/n基于所述第一包裹图像中包裹的三维位置坐标信息，确定所述第一包裹图像中包裹的体积参数；/n基于所述第一现场图像中包裹的体积参数，计算所述第一现场图像中包裹的体积。/n

【技术特征摘要】
1.一种包裹体积测量方法，其特征在于，所述包裹体积测量方法包括：
获取实时抓拍的包裹堆放场景的第一现场图像；
将所述第一现场图像输入预置包裹识别模型进行包裹识别，得到所述第一现场图像的包裹标注的第一识别图像，其中，所述包裹标注使用第一区域范围表示；
根据所述第一识别图像中的第一区域范围，从所述第一识别图像中提取各包裹对应的第一包裹图像；
将所述第一包裹图像输入预置三维预测模型进行三维预测处理，得到所述第一包裹图像对应的三维位置坐标信息，其中，所述三维预测处理包括包裹三维图像的构建和所述包裹三维图像位于所述第一现场图像中的三维坐标信息的计算；
基于所述第一包裹图像中包裹的三维位置坐标信息，确定所述第一包裹图像中包裹的体积参数；
基于所述第一现场图像中包裹的体积参数，计算所述第一现场图像中包裹的体积。


2.根据权利要求1所述的包裹体积测量方法，其特征在于，在所述获取实时抓拍的包裹堆放场景的第一现场图像之前，还包括：
获取货车装货场景的多张样本图像，并将所述样本图像作为第一训练样本图像；
对所述第一训练样本图像中的包裹进行标注，得到各训练样本图像对应的第一标注信息，并保存为第一标注文件，其中，所述第一标注信息用于标识所述第一训练样本图像中已装载包裹的第二区域范围；
将所述第一训练样本图像和对应的第一标注文件输入预置MASKR-CNN模型进行深度学习训练，得到包裹识别模型，其中，所述MASKR-CNN模型包括ResNet-101网络、RPN网络、ROIAlign层和分类网络。


3.根据权利要求2所述的包裹体积测量方法，其特征在于，所述将所述第一现场图像输入预置包裹识别模型进行包裹识别，得到所述第一现场图像的包裹标注的第一识别图像包括：
将所述第一现场图像输入预置包裹识别模型，并通过所述ResNet-101网络提取所述第一现场图像的图像特征，得到第一特征图；
将所述第一特征图输入所述RPN网络，并通过预置选择性搜索算法对所述第一特征图进行预测框提取，得到所述第一特征图对应的预测框；
将所述第一特征图和所述预测框输入所述ROIAlign层进行预测，得到包含所述预测框的第二特征图；
将所述第二特征图输入所述全连接层进行分类处理，得到所述预测框包含包裹的预测概率；
基于所述预测框包含包裹的预测概率，得到所述第一现场图像的包裹标注的第一识别图像。


4.根据权利要求1-3中任一项所述的包裹体积测量方法，其特征在于，在所述获取实时抓拍的包裹堆放场景的第一现场图像之前，还包括：
获取实时抓拍的包裹堆放场景的第二现场图像；
将所述第二现场图像输入预置包裹识别模型进行识别，得到所述第二现场图像的包裹标注的第二识别图像，其中，所述包裹标注使用第三区域范围表示；
根据所述第二识别图像中的第三区域范围，从所述第二识别图像中提取各包裹对应的第二包裹图像；
对所述第二包裹图像进行点云标注，得到所述第二包裹图像对应的第二标注信息并保存为第二标注文件，其中，所述第二标注信息用于标识所述第二现场图像中包裹的目标包围盒；
将所述第二现场图像作为第二训练样本图像，并基于三维预测网络对所述第二训练样本图像和对应第二标注文件进行训练，得到三维预测模型，其中，所述三维预测网络包括二维目标检测子网络、实例深度估计子网络、三维定位子网络和角点回归子网络。


5.根据权利要求4所述的包裹体积测量方法，其特征在于，所述对所述第二包裹图像进行点云标注，得到所述第二包裹图像对应的第二标注信息并保存为第二标注文件包括：
根据预设目标分割算法对所述第二包裹图像进行语义分割，得到语义分割结果；
基于所述语义分割结果，确定所述第二包裹图像中的待检测包裹；
根据所述多张第二包裹图像进行场景重建，得到重建后的场景重建图像；
对所述场景重建图像进行点云分割，得到所述待检测包裹的点云数据；
在所述场景重建图像中生成与所述待检测包裹对应的包围盒；
将所述包...

【专利技术属性】
技术研发人员：李斯，赵齐辉，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：上海;31