一种车辆建模方法、存储介质、设备及系统技术方案

一种基于相机和激光扫描仪的车辆建模方法、存储介质、设备及系统，其中方法包括如下步骤：检测测量场中是否存在车辆，当所述测量场中存在车辆时，通过所述激光扫描仪获取车辆点云数据，通过所述相机获取图像数据；根据保存的无车辆的点云背景数据进行对采集的所述车辆点云数据进行背景分割，去除背景保留车辆表面点云数据，利用图像物体检测算法识别货车信息，通过上述方案，相机和激光扫描仪能够通过通讯网络相互配合，借助线激光扫描仪获得货车与所在地面的空间点云，进而通过对获得的点云数据和图像数据进行数据融合，最终实现对大型货车的一个准确定位与精细化建模。货车的一个准确定位与精细化建模。货车的一个准确定位与精细化建模。

【技术实现步骤摘要】
一种车辆建模方法、存储介质、设备及系统


[0001]本专利技术涉及车辆测量建模
，特别是涉及一种基于相机和激光扫描仪融合的方法、存储介质、设备及系统。

技术介绍

[0002]货车货物的全自动流水线装载可以大幅度的企业产品转运效率、降低企业产品转运人力成本并且使得货物在装载过程中的安全事故率大幅降低。自动化程度是衡量一个企业智能化的一个重要标准，提高自动化程度就是提升企业的核心竞争力。
[0003]自动化生产的前提就是利用机器人技术和视觉测量技术对环境进行识别和感知，像人一样对环境物体进行判别和定位，用机器去代替人，实现无人化操作。在实现货车货物自动装载的过程中，首先需要对货物装卸区域是否出现目标车辆进行判别，如果存在待装载车辆，对货车进行定位与建模，计算出货车的尺寸信息和位置信息，将该信息发送至机器人装车系统，装卸货物的机器手臂根据货车的空间位姿与模型规划出货物装载的路径。实现货车装卸全自动化流程。
[0004]由于测量对象是货车这种大型物体，并且测量现场环境复杂，基于相机的测量方式对现场测量环境的光照、色彩要求更为严格，现场可能出现粉尘较多或天气阴暗，相机不能满足货车精细化测量和建模需求，但是相机能够实时感知环境变化，在监控方面具有优势；基于激光扫描的测量方式则具有测量速度快、感知范围大以及抗环境干扰能力好等特点，非常适合用于获取来往货车的空间点云数据，但是激光扫描缺乏自动感知环境物体的能力。
[0005]为了实现货车装载全自动化的流程，需要对环境进行监控感知和货车精细化测量与建模，常见的单一视觉测量技术并不能同时满足上述两个需求。

技术实现思路

[0006]因此，需要提供一种能够对测量场内的货车精细化测量与建模的问题的方案。
[0007]为实现上述目的，专利技术人提供了检测测量场中是否存在车辆，当所述测量场中存在车辆时，获取车辆点云数据，获取图像数据；根据保存的无车辆的点云背景数据进行对采集的所述车辆点云数据进行背景分割，去除背景保留车辆表面点云数据，利用图像物体检测算法识别第一车辆信息，利用识别到的第一车辆信息位置2D边界框和标定好的外部矩阵对所述车辆点云数据进行一次ROI分割，再一次去除点云数据中的背景噪声，得到去噪后的车辆表面点云数据；对所述去噪后的车辆表面点云数据和图像检测算法检测的到第一车辆信息进行数据融合，将所述第一车辆信息中的颜色信息融合到去噪后的车辆表面点云数据中，得到具有颜色的点云数据；根据所述第一车辆信息中的2D边界框判断相关车头方向，结合所述车头方向和所述颜色信息，利用点云聚类的方法分割出车厢表面点云数据和车头表面点云数据；对所述车厢表面点云数据进行点云数据聚类及平面拟合，得到车厢的各挡面的点云数据，将拟合得到的车厢的各挡面所在平面相互进行平面求交，根据得到的交线建
立车辆坐标系，并获得所述车辆坐标系相对于车辆点云信息的坐标系的相对位姿；根据所述车辆点云数据及所述车辆坐标系，计算得到车辆各部分的尺寸，根据点云信息和RGB信息对车厢内的异物进行识别、检测和计算尺寸。
[0008]本申请的一些实施例中，通过激光扫描仪获取车辆点云数据，通过相机获取图像数据，测量场为相机和激光扫描仪安装完成后形成的公共测量区域，还包括步骤，在所述测量场中放置棋盘格标定工具，相机对棋盘格多次成像在利用标定算法标定出内参参数，然后相机和激光扫描仪对棋盘格同时测量，捕获多帧棋盘格的点云图像数据，利用外参标定算法标定相机和激光扫描仪的外参矩阵。
[0009]本申请的一些实施例中，还包括步骤，通过所述相机获取测量场实时图像数据，如果检测到货车出现，等到货车停车处于静止状态，通过局域网向激光扫描仪发送使能信号，启动激光扫描仪，控制所述激光扫描仪进行扫描，获取货车点云数据。
[0010]本申请的一些实施例中，所述局域网中的通讯协议包括蓝牙、WiFi、HTTP、LoRa中的一种或多种。
[0011]本申请的一些实施例中，具体进行步骤：对所述图像数据利用视觉检测算法YOLOv5，检测得到图像中车辆的2D边界框、朝向和速度。
[0012]本申请的一些实施例中，所述车厢的各挡面包括车厢的左挡面、右挡面、前挡面、后挡面和底面。
[0013]本申请的一些实施例中，对所述的车辆坐标系是指利用车厢左档面所在平面、车厢前档面所在平面和车厢底面的交点为车辆坐标系原点，利用车厢左档面所在平面和车厢底面所在平面的交线为x轴，利用车厢前档面所在平面和车厢底面所在平面的交线为y轴，根据右手定则建立的车辆坐标系。
[0014]一种基于相机和激光扫描仪的车辆建模存储介质，存储有计算机程序，所述计算机程序在被处理器运行时执行包括如上所述的车辆建模方法。
[0015]一种基于相机和激光扫描仪的车辆建模设备，包括：处理器及存储介质，所述存储介质存储有计算机程序，所述计算机程序在被所述处理器运行时执行包括如上述的车辆建模方法。
[0016]一种基于相机和激光扫描仪的车辆建模系统，包括相机、激光扫描仪、及上述的车辆建模设备，所述设备与所述相机及所述激光扫描仪通讯连接，所述相机为彩色工业相机，所述激光扫描仪为线激光扫描仪。
[0017]通过上述方案，相机和激光扫描仪能够通过通讯网络相互配合，借助线激光扫描仪获得货车与所在地面的空间点云，进而通过对获得的点云数据和图像数据进行数据融合，最终实现对大型货车的一个准确定位与精细化建模，能够服务于实现全自动化装载流程的目的，并且要求的硬件成本低、抗外界环境干扰性强。
[0018]上述
技术实现思路
相关记载仅是本申请技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本申请的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本申请的上述目的及其它目的、特征和优点能够更易于理解，以下结合本申请的具体实施方式及附图进行说明。
“
外”“顺时针”“逆时针”“轴向”“径向”“周向”等，所指示的方位或位置关系是基于具体实施例或附图所示的方位或位置关系，仅是为了便于描述本申请的具体实施例或便于读者理解，而不是指示或暗示所指的装置或部件必须具有特定的位置、特定的方位、或以特定的方位构造或操作，因此不能理解为对本申请实施例的限制。
[0033]除非另有明确的规定或限定，在本申请实施例的描述中，所使用的“安装”“相连”“连接”“固定”“设置”等用语应做广义理解。例如，所述“连接”可以是固定连接，也可以是可拆卸连接，或成一体设置；其可以是机械连接，也可以是电连接，也可以是通信连接；其可以是直接相连，也可以通过中间媒介间接相连；其可以是两个元件内部的连通或两个元件的相互作用关系。对于本申请所属
的技术人员而言，可以根据具体情况理解上述用语在本申请实施例中的具体含义。
[0034]下面将介绍一种基于相机和激光扫描仪的车辆建模方法，包括如下步骤：
[0035]检测测量场中是否存在车辆，当所述测量场中存在车辆时，获取车辆点云数据，获取图像数据；根据保存的无车辆的点云背景数据进行对采集的所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆建模方法，其特征在于，包括如下步骤，检测测量场中是否存在车辆，当所述测量场中存在车辆时，获取车辆点云数据，获取图像数据；根据保存的无车辆的点云背景数据进行对采集的所述车辆点云数据进行背景分割，去除背景保留车辆表面点云数据，利用图像物体检测算法识别第一车辆信息，利用识别到的第一车辆信息位置2D边界框和标定好的外部矩阵对所述车辆点云数据进行一次ROI分割，再一次去除点云数据中的背景噪声，得到去噪后的车辆表面点云数据；对所述去噪后的车辆表面点云数据和图像检测算法检测的到第一车辆信息进行数据融合，将所述第一车辆信息中的颜色信息融合到去噪后的车辆表面点云数据中，得到具有颜色的点云数据；根据所述第一车辆信息中的2D边界框判断相关车头方向，结合所述车头方向和所述颜色信息，利用点云聚类的方法分割出车厢表面点云数据和车头表面点云数据；对所述车厢表面点云数据进行点云数据聚类及平面拟合，得到车厢的各挡面的点云数据，将拟合得到的车厢的各挡面所在平面相互进行平面求交，根据得到的交线建立车辆坐标系，并获得所述车辆坐标系相对于车辆点云信息的坐标系的相对位姿；根据所述车辆点云数据及所述车辆坐标系，计算得到车辆各部分的尺寸，根据点云信息和RGB信息对车厢内的异物进行识别、检测和计算尺寸。2.根据权利要求1所述的车辆建模方法，其特征在于，通过激光扫描仪获取车辆点云数据，通过相机获取图像数据，所述测量场为相机和激光扫描仪安装完成后形成的公共测量区域，还包括步骤，在所述测量场中放置棋盘格标定工具，相机对棋盘格多次成像在利用标定算法标定出内参参数，然后相机和激光扫描仪对棋盘格同时测量，捕获多帧棋盘格的点云图像数据，利用外参标定算法标定相机和激光扫描仪的外参矩阵。3.根据权利要求1...

【专利技术属性】
技术研发人员：韦溟，魏荣，
申请(专利权)人：众悦兴智能科技上海有限公司，
类型：发明
国别省市：