一种基于3D点云的轮胎气泡缺陷检测方法及系统技术方案

一种基于3D点云的轮胎气泡缺陷检测方法及系统，其中，方法包括以下步骤：对原始点云进行采样，使用不同的采样方法按一定比例采样，提取特征信息，得到特征提取后的点；将特征提取后的点进行排列，得到N个点的特征向量子集，并对N个点进行投票、分组；检测特征提取后的点中是否存在缺陷目标，若存在缺陷目标，则进行提案和细化。本申请对点云几何采样，以保留缺陷的边缘点；同时直接对原始点云操作，使点云的局部特征信息得以保存，间接增加其检测精度，相比于其他网络，对检测目标缺陷有着良好的效果。的效果。的效果。

【技术实现步骤摘要】
一种基于3D点云的轮胎气泡缺陷检测方法及系统


[0001]本申请涉及轮胎检测领域，具体涉及一种基于3D点云的轮胎气泡缺陷检测系统及方法。

技术介绍

[0002]近年来，3D点云技术成为计算机视觉领域中越来越重要的元素，被应用于诸多方向，尤其广泛应用于汽车自动驾驶场景以及目标检测方面，相对于2D技术，3D点云在表达目标物全貌方面有着天然的优势，且对光照变化不敏感，有较好的鲁棒性，其精度直接由点云感应器决定。
[0003]汽车轮胎结构复杂，在形成过程中受材料及生产工艺影响易产生气泡缺陷—本申请检测对象，其存在会严重危害汽车行驶安全，须将其及时排除。鉴于3D点云有如此优势，使用Kinect2.0作为传感器来获取目标的稠密点云。点云与图像相比不同之处在于点云具有不规则性，这导致传统卷积神经网络(CNN)无法直接处理点云，而点云处理方式无论是体素、体积、网格或是鸟瞰视图(BEV)均存在将局部点区域合成一个点的现象，借助于RPN对目标生成提案，具有实时性，但这种方法会损失局部信息，在某些空间变化细微的地方不明显，不利于较小目标检测。

技术实现思路

[0004]本申请公开了一种基于3D点云的轮胎气泡缺陷检测方法及系统：对原始点云进行采样，使用不同的采样方法按一定比例采样，提取特征信息，得到特征提取后的点；将特征提取后的点进行排列，得到N个点的特征向量子集，并对N个点进行投票、分组；检测特征提取后的点中是否存在缺陷目标，若存在缺陷目标，则进行提案和细化。
[0005]为实现上述目的，本申请提供了以下技术方案：
[0006]一种基于3D点云的轮胎气泡缺陷检测方法，包括以下步骤：
[0007]S1.对原始点云进行采样，使用不同的采样方法按预设比例采样，提取特征信息，得到特征提取后的点；
[0008]S2.将所述特征提取后的点进行排列，得到N个点的特征向量子集，并对所述特征向量子集中的点进行投票、分组；
[0009]S3.检测所述特征提取后的点中是否存在缺陷目标，若存在所述缺陷目标，则进行提案和细化。
[0010]优选的，所述采样方法包括：
[0011]借助Pointnet++中的SA层为骨干对原始点云采样，并获取特征信息，一个SA层包含特征点的采样、分组及局部特征提取(PointNet)，在SA的采样层中按照FPS采样和C
‑
FPS采样各采集预设比例的点，利用焦点损失函数来平衡点数量差距，并借助多层感知机完成对输入点云的特征提取。
[0012]优选的，所述FPS采样为最远点采样方法，所述C
‑
FPS采样为基于欧式空间中的提
取曲率特征的采样方法。
[0013]4.根据权利要求2所述一种基于3D点云的轮胎气泡缺陷检测方法，其特征在于，所述投票的方法包括：局部特征投票和全局特征投票。
[0014]优选的，所述局部特征投票包括：
[0015]保留经过所述FPS采样后的部分点和其特征，将通过最大池化层后的输出作为一个全局特征，并作为新的特征向量集合的第一个部分加入到所述特征向量子集中；
[0016]对于点的密度特征，利用其核密度估计密度特征，借助多层感知机和最大池化操作将密度特征和其他特征提取到所述特征向量子集中。
[0017]优选的，所述全局特征投票包括：
[0018]提取经过所述C
‑
FPS采样后的点作为局部特征，在多个SA层利用融合采样对原始点云处理后，得到一个经过所述C
‑
FPS采样方法处理后的子集及对应的特征，将所述子集作为初始中心点，初始中心点在损失函数的监督下，发生相对移动，生成最终中心点，输出为局部特征。
[0019]本申请还提供了一种基于3D点云的轮胎气泡缺陷检测系统，包括：融合采样模块、点投票模块和提案细化模块；
[0020]所述融合采样模块与所述点投票模块连接，所述融合采样模块用于对原始点云采样，并提取特征信息，得到特征提取后的点；
[0021]所述点投票模块还与所述提案细化模块连接，所述点投票模块用于对所述特征提取后的点进行排列，输出N个点的特征向量子集，并通过多层感知网络(MLP)对所述特征向量子集中的点进行投票、分组；
[0022]所述提案细化模块用于检测点云中是否存在缺陷目标，若存在所述缺陷目标，则进行提案和细化。
[0023]优选的，所述融合采样模块包括：FPS采样装置和C
‑
FPS采样装置。
[0024]优选的，所述点投票模块包括：局部特征投票装置和全局特征投票装置；
[0025]所述局部投票特征装置用于保留经过FPS采样后的部分点和其特征，将通过最大池化层后的输出作为一个全局特征，并作为新的特征向量集合的第一个部分加入到所述特征向量子集中；对于点的密度特征，利用其核密度估计密度特征，借助多层感知机和最大池化操作将密度特征和其他特征提取到所述特征向量子集中；
[0026]所述全局特征投票装置用于提取经过C
‑
FPS采样后的点作为局部特征，在多个SA层利用融合采样对原始点云处理后，得到一个经过C
‑
FPS采样处理后的子集及对应的特征，将所述子集作为初始中心点，初始中心点在损失函数的监督下，发生相对移动，生成最终中心点，输出为局部特征。
[0027]本申请的有益效果为：
[0028](1)对点云几何采样，以保留缺陷的边缘点；
[0029](2)直接对原始点云操作，使点云的局部特征信息得以保存，间接增加其检测精度，相比于其他网络，对检测目标缺陷有着良好的效果。
附图说明
[0030]为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单
地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本申请一种基于3D点云的轮胎气泡缺陷检测方法流程示意图；
[0032]图2为本申请实施例中正常与存在气泡缺陷时点的排列示意图；
[0033]图3为本申请实施例中改进的边界框编码方式示意图；
[0034]图4为本申请一种基于3D点云的轮胎气泡缺陷检测系统结构示意图；
[0035]图5为本申请实施例中损失函数在不同训练阶段变化趋势示意图。
具体实施方式
[0036]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0037]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
[0038]实施例一
[0039]在本实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于3D点云的轮胎气泡缺陷检测方法，其特征在于，包括以下步骤：S1.对原始点云进行采样，使用不同的采样方法按预设比例采样，提取特征信息，得到特征提取后的点；S2.将所述特征提取后的点进行排列，得到N个点的特征向量子集，并对所述特征向量子集中的点进行投票、分组；S3.检测所述特征提取后的点中是否存在缺陷目标，若存在所述缺陷目标，则进行提案和细化。2.根据权利要求1所述一种基于3D点云的轮胎气泡缺陷检测方法，其特征在于，所述采样方法包括：借助Pointnet++中的SA层为骨干对原始点云采样，并获取特征信息，一个SA层包含特征点的采样、分组及局部特征提取(PointNet)，在SA的采样层中按照FPS采样和C
‑
FPS采样各采集预设比例的点，利用焦点损失函数来平衡点数量差距，并借助多层感知机完成对输入点云的特征提取。3.根据权利要求2所述一种基于3D点云的轮胎气泡缺陷检测方法，其特征在于，所述FPS采样为最远点采样方法，所述C
‑
FPS采样为基于欧式空间中的提取曲率特征的采样方法。4.根据权利要求2所述一种基于3D点云的轮胎气泡缺陷检测方法，其特征在于，所述投票的方法包括：局部特征投票和全局特征投票。5.根据权利要求4所述一种基于3D点云的轮胎气泡缺陷检测方法，其特征在于，所述局部特征投票包括：保留经过所述FPS采样后的部分点和其特征，将通过最大池化层后的输出作为一个全局特征，并作为新的特征向量集合的第一个部分加入到所述特征向量子集中；对于点的密度特征，利用其核密度估计密度特征，借助多层感知机和最大池化操作将密度特征和其他特征提取到所述特征向量子集中。6.根据权利要求4所述一种基于3D点云的轮胎气泡缺陷检测方法，其特征在于，所述全局特征投票包括：提取经过所述C
‑
FPS采样后的点作为局部特征，在多个SA层利...

【专利技术属性】
技术研发人员：杨化林，邓芳，姜沅政，王政，焦冬梅，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：