基于深度学习的电动汽车底盘划痕三维检测方法技术

本发明专利技术公开了基于深度学习的电动汽车底盘划痕三维检测方法，涉及电动汽车底盘检测技术领域，包括以下步骤：S1，采集图片并制作数据集；S2，利用深度学习方法，进行数据集训练，提取划痕特征，检测划痕区域；S3，根据得到的数据模型，检测汽车底盘图片，选定可能出现划痕的位置；S4，求得RGB图片到点云的矩阵，截取局部点云图，S5，对局部点云图处理，获取划痕的深度信息，从而对划痕进行定性判断。本发明专利技术先对平面图经行筛选，然后对删选后的区域精确检测，从而提升检测效率。从而提升检测效率。从而提升检测效率。

【技术实现步骤摘要】
基于深度学习的电动汽车底盘划痕三维检测方法


[0001]本专利技术涉及电动汽车底盘检测
，特别是涉及基于深度学习的电动汽车底盘划痕三维检测方法。

技术介绍

[0002]电动汽车底盘划痕检测至关重要，底盘划痕深度过大，会导致电池底盘总成内部结构受损，影响行车安全。
[0003]传统的汽车底盘检测方案采用线扫相机获取底盘2D图像，然后通过深度学习方法，如faster
‑
rcnn、mask
‑
rcnn等模型处理图片，获取划痕坐标；或者一些传统图像检测方法比如频域处理、blob分析、阈值分割、边缘检测等方法识别缺陷位置。此种方法广泛用于电动汽车底盘总成出厂前检测，但同时也容易受环境光、脏污、加工工艺参数的变化导致的表面特征变化从而产生的误判现象。在成品电动车使用过程中，进行底盘划痕或者裂缝检测，此种2D图像方案，也同样会受干扰，比如底盘黏附一些灰尘、脏污等，使得过检率和误检率居高不下，影响产品检测效果。
[0004]当采用3D解决方案时，目前常采用线结构光相机获取底盘3D点云，寻找关键点，分割出ROI，局部拟合平面，获取点到平面的距离，可判断局部点云缺陷的深度，从而点云中是否存在划痕。此种纯点云方案，可以排除脏污、工艺带来的表面差异的影响，但是在全局寻找划痕易受汽车底盘高低不平影响，且点云处理速度较慢，无法实时检测。
[0005]为了克服上述缺陷，本领域技术人员积极创新研究，以期创设出基于深度学习的电动汽车底盘划痕三维检测方法。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术提供了基于深度学习的电动汽车底盘划痕三维检测方法，采用RGB
‑
D相机拍摄底盘图片，利用RGB相机先对底盘上的划痕区域进行初步的筛选，然后对筛选后的区域进行三维的深度检测，降低深度检测的工作量，提高检测效率。
[0007]为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种基于深度学习的电动汽车底盘划痕三维检测方法，其特征在于：包括以下步骤：S1，采用RGB
‑
D相机，采集汽车底盘图片，利用数据集标注软件，标注划痕所在位置，将图片制作成数据集，采用数据增强手段扩充数据集；S2，利用深度学习方法，进行数据集训练，提取划痕特征，检测划痕区域；S3，根据得到的数据模型，检测汽车底盘图片，选定可能出现划痕的位置，形成局部点云图；S4，根据RGB
‑
D相机拍摄时的矩阵变化关系，将汽车底盘图片上的坐标变换到点云坐标系，截取S3步骤中选定的位置的局部点云图，对局部点云图进行降噪处理；S5，对局部点云图处理，获取划痕的深度信息，从而对划痕进行定性判断。
[0008]拍摄汽车底盘照片并制作成数据集后，通过对RGB相机拍摄的屏幕图进行深度学
习，提取平面图上的划痕信息，并去选取可能存在划痕的区域，处理软件只需要结合平面图上选取的区域，对局部点云图进行处理后得出划痕的深度信息，通过采用平面图结合点云图，处理软件不需要对整个点云图经行数据处理，提高了点云的处理速率，实现实时检测的目的。
[0009]进一步地说，所述RGB
‑
D相机包括壳体、左IR相机、右IR相机和RGB相机，所述RGB相机位于壳体的中央，所述左IR相机和所述右IR相机关于所述RGB相机对称，所述RGB相机的上方固定安装有MEMS微振镜投射器（MEMS光机），RGB
‑
D相机中包括了RGB相机和IR相机，在使用时，能够直接使用RGB相机拍摄的平面图，同时：三个相机分别拍摄不同位置棋盘格标定板的图片，通过张正友方法标定相机的内外参，然后计算左右相机的旋转变换关系，得出拍摄物体的三维点云图。
[0010]进一步地说，所述S5步骤还包括以下步骤，S501，对汽车底盘图片求Hessian矩阵，确定每条法线的方向；S502,按照得出的法线的方向做点云的剖面线，得出划痕剖面的最深点；S503，沿着划痕的方向不断重复S502，构成划痕底部连线；S504，拟合划痕所在局部点云平面，求得平面单位法向量后，将其旋转变换平行于XOY平面。然后求局部点云的重心坐标，将重心坐标平移变换到原始点云原点，根据划痕连线的Z坐标得出划痕深度，S505，通过划痕深度不同，对划痕的损伤程度进行定性判断；利用基于Hessian矩阵的条纹中心提取方法，获取划痕剖面的极值点，整合后得到划痕底部连线，然后利用矩阵变换，得出划痕的最深点，从而对划痕进行判断。
[0011]进一步地说，所述步骤502具体过程包括S50201，采用双边滤波去除噪点；S50202，利用随机采样一致性的方法迭代拟合高斯曲线，高斯曲线极值点为划痕剖面的最深点，在使用RGB
‑
D相机拍摄图片时，会存在噪点，去除噪点，有利于提高结果的准确性。
[0012]进一步地说，所述数据集标注软件为labelme软件或者labelimg软件，使用labelme或labelimg数据集标注软件，标注划痕所在位置，制作数据集。
[0013]进一步地说，所述数据增强手段包括随机裁剪、扭曲、扩增、镜像。
[0014]进一步地说，所述深度学习方法为RCNN系列网络、YOLO系列网络、SSD系列网络、MTCNN，通过深度学习方法，将带划痕的图片和划痕位置的标注信息载入目标检测网络进行训练，目标检测网络训练和预测阶段使用，训练阶段目的是训练预测用的权重参数，使得预测阶段结果更准确。
[0015]本专利技术的有益效果是：1.本专利技术采用自研相机，结合2D和3D的长处，通过深度学习方法检测平面图中划痕可能存在的区域，根据3D图制作点云图，然后根据截取的平面图在点云图上截取局部的点云图，在对局部点云图进行处理，获取划痕的深度信息从而对划痕进行定性判断；2. 本专利技术根据划痕法线方向呈高斯分布特征的特点，利用基于Hessian矩阵的条纹中心提取方法，对划痕深度图提取划痕中心线，求得深度图中划痕的法线方向，构造划痕剖面线。利用双边滤波，结合数据统计的方法，迭代去除噪点，拟合高斯曲线，获取极值点。将每个划痕剖面线极值点连接起来，从而在局部坐标系中划痕的点云坐标。
[0016]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。
附图说明
[0017]图1是本专利技术的RGB
‑
D相机的结构示意图；图2是本专利技术的深度学习软件检测划痕示意图；图3是本专利技术划痕所在的局部点云图；图4是本专利技术划痕法向示意图；图5是本专利技术划痕的剖面线图；图6是本专利技术划痕底部连线图；附图中各部分标记如下：1、IR相机；2、RGB相机； 4、壳体；5、可能出现划痕的区域；51、划痕；6、剖面线。
具体实施方式
[0018]以下通过特定的具体实施例说明本专利技术的具体实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的优点及功效。本专利技术也可以其它不同的方式予以实施，即，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的电动汽车底盘划痕三维检测方法，其特征在于，包括以下步骤：S1，采用RGB
‑
D相机，采集汽车底盘图片，利用数据集标注软件，标注划痕所在位置，将图片制作成数据集，采用数据增强手段扩充数据集；S2，利用深度学习方法，进行数据集训练，提取划痕特征，检测划痕区域；S3，根据得到的数据模型，检测汽车底盘图片，选定可能出现划痕的位置；S4，根据RGB
‑
D相机拍摄时的矩阵变化关系，将汽车底盘图片上的坐标变换到点云坐标系，截取S3步骤中选定的位置的局部点云图，对局部点云图进行降噪处理；S5，对局部点云图处理，获取划痕的深度信息，从而对划痕进行定性判断。2.根据权利要求1所述的基于深度学习的电动汽车底盘划痕三维检测方法，其特征在于：所述RGB
‑
D相机包括壳体、左IR相机、右IR相机和RGB相机，所述RGB相机位于壳体的中央，所述左IR相机和所述右IR相机关于所述RGB相机对称，所述RGB相机的上方固定安装有MEMS微振镜投射器。3.根据权利要求1所述的基于深度学习的电动汽车底盘划痕三维检测方法，其特征在于：所述S5步骤还包括以下步骤，S501，对汽车底盘图片求Hessian矩...

【专利技术属性】
技术研发人员：范方祝，邹魁，
申请(专利权)人：昆山斯沃普智能装备有限公司，
类型：发明
国别省市：