基于部件点云配准检测的工业缺陷检测系统技术方案

本发明专利技术公开了一种基于部件三维点云模型的工业缺陷检测系统，本发明专利技术涉及工业缺陷检测技术领域。本发明专利技术提供的基于部件三维点云模型的工业缺陷检测系统在工业部件采集时，用结构光相机采集部件的三维点云模型，结构光相机作为一种特殊的采集装置，抗光照干扰能力强。采集的点云模型用于和模板点云进行点云配准，根据配准结果的差异点进行缺陷判定，同时根据系统设定，同时讲配准点云映射到二维图像中，在二维图像上检测缺陷，检测结果以固定的XML格式输出到指定目录。本发明专利技术在改进了采集装置及检测算法的同时，其检测效率满足工业实时检测的应用需求，对保障工业生产的安全运行有重要价值。价值。价值。

【技术实现步骤摘要】
基于部件点云配准检测的工业缺陷检测系统


[0001]本专利技术涉及一种工业部件缺陷检测方法，特别涉及到利用三维点云数据匹配进行缺陷检测的方法。

技术介绍

[0002]随着人工智能、机器视觉技术的高速发展，用机器视觉技术为传统工业赋能，工业制造流程智能化是未来工业制造的发展方向。工业生产中部件的缺陷检测是制造业的主要业务之一，在传统方法中制造业公司采用人工检测的方法，通过培训一批有掌握专业检测技能的人完成产品质检工作，这种方法需要支出大量的人力成本，并且检测效率受限于人的精力，人工检测无法24小时运转。随着机器视觉的发展，制造业开始使用基于机器视觉算法的智能缺陷检测系统来代替人工，机器视觉检测系统相比于人工检测可明显减少人力成本投入，而且不受限于人的精力，可连续工作，大大提升了检测效率，提升企业收益。但是随着机器视觉检测系统的广泛应用，主流的基于二维图像的机器视觉检测系统遇到了一些问题：
[0003]·
生成二维图像的RGB或黑白相机成像效果受光照影响大。在全封闭的检测环境中光源产生的光照较稳定，但在半开放或全开放的检测场景中，光照受周围环境影响大，对成像效果会造成较大影响。
[0004]·
成像信息量不足，二维的RGB或黑白相机仅有能力采集部件垂直相机的一面的信息，无法采集部件侧面的结构信息，检测性能受限。
[0005]·
部件的颜色信息会对结构信息造成干扰，当待检部件被环境影响导致其颜色信息出现变化时，例如轨道部件在运行过程中挂冰或挂泥沙时，缺陷检测系统会过于关注其挂冰或挂泥沙导致的颜色信息变化，而导致其结构质量信息关注不足。
[0006]基于以上考虑，本专利技术针对工业缺陷检测场景，提出了一种新型缺陷检测系统。该系统基于待检部件的三维点云模型，用立体视觉算法解决部件缺陷检测问题。本系统首先采用3D结构光相机采集待检部件的待测三维模型，输入为采集待检部件的测试点云及模板点云(即标准的无缺陷点云)，输出为包含缺陷检测框信息的XML文件，处理过程共包括数据采集转换、点云配准、点云缺陷分割、点云投影图像、图像检测框生成这几个数据处理模块。首先在准备好模板点云的情况下输入测试点云，根据命名规则在模板点云中选择与测试点云对应的模板，将模板
‑
测试对输入点云配准模块中，根据配准的结果可直接进行缺陷判定，同时根据系统设定，同时将配准点云映射到二维图像中，在二维图像上检测缺陷，检测结果以固定的XML格式输出到制定目录。同已有的系统相比，本专利技术可以有效地提高缺陷检测系统的抗光照干扰能力，尤其在半开放或开放场景下，可以明显改善采集的数据数据质量，提供高质量的检测效果。

技术实现思路

[0007]本申请提供一种基于部件点云配准检测的缺陷检测系统，提供自动化检测工业部
件缺陷的方法，提高检修效率，增加检修精度。
[0008]本申请第一方面实施例提供一种基于部件点云配准检测的缺陷检测方法，包括一下步骤：3D结构光相机采集装置扫描需要检修的工业部件，采集得到部件深度图像和RGB图像；将采集的部件深度图像和标准的部件深度图像输入至三维点云配准检测装置中，运行三维点云配准检测算法，得到检测为缺陷的三维点云坐标；将获得的缺陷三维点云坐标和采集的部件RGB图像输入至点云转换显示装置中，投影点云为图像，生成缺陷点云的矩形包围框，生成缺陷包围框的XML文件，并将矩形缺陷检测框显示在RGB图像上。
[0009]可选地，在本申请的第一个实施例中，所述将采集的部件深度图像和标准的部件深度图像输入至三维点云配准检测装置中，运行三维点云配准检测算法，得到检测为缺陷的三维点云坐标，包括：将采集的部件深度图像和标准的部件深度图像输入至三维点云配准检测装置；将深度图转换为三维点云模型；将采集点云和标准点云使用基于点云FPFH特征的RANSAC算法配准到同一位置；使用倒角距离判断采集点云中的异常点，输出异常点坐标。
[0010]可选地，在本申请的第一个实施例中，所述将获得的异常三维点云坐标和采集的部件RGB图像输入至点云转换显示装置中，投影点云为图像，生成缺陷点云的矩形包围框，生成缺陷包围框的XML文件，并将矩形缺陷检测框显示在RGB图像上，包括：将获得的异常缺陷三维点云坐标和采集的部件RGB图像输入至点云转换显示装置中；根据相机标定位置，投影异常三维点云至图像平面，生成缺陷点云投影图像；使用去噪算法处理异常点云投影图像，并生成缺陷点云的矩形包围框。根据缺陷点云的矩形包围框，生成缺陷包围框的XML文件；根据缺陷点云的矩形包围框，在RGB图像上绘制除检测缺陷的区域。
[0011]本申请第二方面实施例提供一种三维点云配准检测装置，可以接收集的部件深度图像和标准的部件深度图像，执行所编码的三维点云配准检测算法，包括：将深度图转换为三维点云模型；将采集点云和标准点云使用基于点云FPFH特征的RANSAC算法配准到同一位置；使用倒角距离判断采集点云中的异常点，输出异常点坐标。
[0012]本申请第三方面实施例提供一种点云转换显示装置，可以执行显示功能与人机交互功能，处理检测得到的缺陷点云坐标，并将缺陷点可视化为图像上的标准矩形检测框，包括：将检测获得的异常缺陷三维点云坐标，根据相机标定位置，投影异常三维点云至图像平面，生成缺陷点云投影图像；使用去噪算法处理异常点云投影图像，并生成缺陷点云的矩形包围框。根据缺陷点云的矩形包围框，生成缺陷包围框的XML文件；根据缺陷点云的矩形包围框，在RGB图像上绘制除检测缺陷的区域。
[0013]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0014]图1为本申请实施例所提供的一种基于部件点云配准检测的缺陷检测方法的流程示意图。
[0015]图2为本申请实施例所提供的一种三维点云配准检测装置结构图。
[0016]图3为本申请实施例所提供的一种部件缺陷转换显示装置结构图。
具体实施方式
[0017]下面详细描述本申请的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0018]具体而言，图1为本申请实施例所提供的一种基于部件点云配准检测的缺陷检测方法的流程示意图。
[0019]如图1所示，该基于图像与点云融合的多模态三维目标检测方法包括以下步骤：
[0020]在步骤S101中，使用3D结构光相机采集装置扫描需要检修的工业部件，采集得到部件深度图像和RGB图像。
[0021]在步骤S201中，将采集的部件深度图像和标准的部件深度图像输入至三维点云配准检测装置。
[0022]在步骤S202中，将深度图转换为三维点云模型；具体地，需要获知深度图所基于的相机平面的横向与纵向焦距，表示为f
x
，f
y
，则三维点云的坐标可以如下地计算:
[0023][0024]其中，u，v为深度图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于部件点云配准检测的工业缺陷检测系统，包括以下组成部分：3D结构光相机采集装置、三维点云配准检测装置、部件缺陷转换显示装置。2.根据权利要求1所属的系统，其特征在于，可以执行基于部件点云配准检测的工业缺陷检测方法，其特征在于，包括如下流程：步骤(1)3D结构光相机采集装置扫描需要检修的工业部件，采集得到部件深度图像和RGB图像。步骤(2)将步骤(1)采集的部件深度图像和标准的部件深度图像输入至三维点云配准检测装置中，运行三维点云配准检测算法，得到检测为缺陷的三维点云坐标。步骤(3)将步骤(2)获得的缺陷三维点云坐标和采集的部件RGB图像输入至点云转换显示装置中，投影点云为图像，生成缺陷点云的矩形包围框，生成缺陷包围框的XML文件，并将矩形缺陷检测框显示在RGB图像上。3.根据权利要求1所属的系统，其特征在于，3D结构光相机采集装置扫描需要检修的工业部件，采集得到部件深度图像和RGB图像，包括：使用3D结构光相机扫描需要检修的工业部件。4.根据权利要求1所属的系统，其特征在于，将采集的部件深度图像和标准的部件深度图像输入至三维点云配准检测装置中，运行三维点云配准检测算法，得到检测为缺陷的三维点云坐标，包括：将采集的部件深度图像和标准的部件深度图像输入至三维点云配准检测装置；将深度图转换为三维点云模型；将采集点云和标准点云使用基于点云FPFH特征的RANSAC算法配准到同一位置；使用倒角距离判断采集点云中的异常点，输出异常点坐标。5.根据权利要求1所属的系统...

【专利技术属性】
技术研发人员：吕燕，蒋风浪，叶思迪，周运贤，胡重阳，戴岳，张宇博，易大勇，
申请(专利权)人：跨境云横琴科技创新研究中心有限公司，
类型：发明
国别省市：