【技术实现步骤摘要】
本专利技术涉及图像处理的，具体而言，涉及基于三维相机与神经网络融合的缺陷量化方法及其应用。
技术介绍
1、航空航天发动机作为飞行器的动力关键装置，被誉为飞机、火箭的“心脏”，其自主研制对国家的国防建设、能源安全及环境的可持续发展具有十分重要的意义。其中，叶片作为航空航天发动机中引导气流、产生动力的核心零部件，针对其关键质量特性的检测直接影响了飞行器的服役安全可靠性。
2、在发动机的众多零部件中，叶片的数量众多，它的制造量约占整机制造量的三分之一。叶片具有数量众多、形状复杂、精度要求高、加工难度大、故障多发等特点，是发动机的关键部件，发动机需依靠众多叶片完成对气体压缩和膨胀产生强大的动力来推动飞机前进。因此，叶片的质量是影响发动机能量转化效率和工作性能的关键因素。
3、目前，对于叶片表面缺陷的检测手段主要以人工目视为主。从检测质量来看，检测结果受人为因素较大影响。从检测效率的角度来看，叶片外观复杂，检测项目众多，人工检测效率较低。从检测数据的角度来看，人工检测结果仅为定性判定，缺乏量化数据，结果难以数字化存储，不利于后期质量问题追溯。从检测数量的角度来看，目前现场仍缺乏批量叶片表面缺陷智能化检测能力，依靠人工目视检测的方式已达到产能瓶颈，难以满足生产、交付的需求。
技术实现思路
1、本专利技术的主要目的在于提供基于图像的发动机叶片缺陷自动检测方法以及发动机叶片缺陷检测系统，通过数字化、自动化、智能化地对叶片表面缺陷进行检测，实现质量稳定、效率高、追溯性高、检测
2、为了实现上述目的，本专利技术提供的基于图像的发动机叶片缺陷自动检测方法以及发动机叶片缺陷检测系统的技术方案如下：
3、基于图像的发动机叶片缺陷自动检测方法，包括采用机器人夹爪夹持叶片移动到检测位点以及采用二维相机、三维相机对检测位点处的叶片拍照，还包括以下步骤：
4、步骤(1)，通过二维相机对被机器人夹爪所夹取的叶片进行拍照，获得覆盖叶片表面的多个二维图像；
5、步骤(2)，使用目标检测神经网络模型对所述多个二维图像进行缺陷检测；
6、步骤(3)，针对检测到缺陷的二维图像，计算缺陷中心在机器人基座坐标系下的三维坐标，然后使夹爪将缺陷中心移动至三维相机的成像中心；
7、步骤(4)，通过三维相机采集缺陷的灰度图像和点云数据；
8、步骤(5)，采用基于三维相机与神经网络融合的缺陷量化方法对缺陷的灰度图像和点云数据进行处理，得到缺陷的几何信息。
9、发动机叶片缺陷检测系统，包括：料盘，用于存放叶片；所述料盘上设有叶片储槽；机器人，用于夹取和移动叶片；所述机器人具有夹爪和机械臂；二维相机，用于对夹爪夹持的叶片进行拍照；三维相机，用于对夹爪夹持的叶片进行拍照；补光光源，用于在二维相机和三维相机拍照时进行补光。
10、在上述的基于图像的发动机叶片缺陷自动检测方法中，步骤(3)和步骤(5)采用以下的二维图像中获取缺陷中心坐标的计算方法以及基于三维相机与神经网络融合的缺陷量化方法时，计算方法简单，计算效率和准确度高。
11、为此，本专利技术提供了从二维图像中获取缺陷中心坐标的计算方法以及基于三维相机与神经网络融合的缺陷量化方法，技术方案如下：
12、从二维图像中获取缺陷中心坐标的计算方法，用于使机器人的夹爪夹持住测试对象并且使其缺陷中心移动到三维相机的成像中心，计算方法包括以下步骤：
13、步骤100，将二维图像中缺陷的二维像素坐标矩阵与二维相机的内参矩阵相乘，计算得到缺陷在二维相机坐标系中的归一化平面坐标；
14、步骤200，根据归一化平面坐标以及测试对象与二维相机之间的距离，计算得到缺陷在二维相机坐标系中的实际三维相机坐标；
15、步骤300，利用二维相机坐标系到机器人基座坐标系的变换矩阵，将缺陷在二维相机坐标系中的实际三维坐标转换为在机器人基座坐标系下的三维坐标；
16、步骤400，利用机器人基座坐标系到机器人夹爪坐标系的变换矩阵，将缺陷在机器人基座坐标系下的三维坐标转换为在机器人夹爪坐标系下的三维坐标；
17、步骤500，将缺陷在机器人夹爪坐标系下的三维坐标与机器人夹爪坐标系原点作差，计算得到表示缺陷在机器人夹爪坐标系下的相对位置的向量；
18、步骤600，利用机器人夹爪坐标系到机器人基座坐标系的变换矩阵，将向量转换为缺陷在机器人基座坐标系下的三维坐标，进而得到缺陷中心在机器人基座坐标系下的三维坐标，机器人夹爪即可移动缺陷中心到三维相机的成像中心。
19、基于三维相机与神经网络融合的缺陷量化方法，包括以下步骤：
20、步骤a，将三维相机采集到的较大区域的灰度图像和点云数据裁剪为与缺陷相关的较小区域，得到较小区域的灰度图像和点云数据；
21、步骤b，对裁剪后的较小区域的点云数据进行曲面拟合，得到光滑曲面模型；
22、步骤c，使用实例分割神经网络模型处理较小区域的灰度图像，得到相应的掩码图；
23、步骤d，根据掩码图上的缺陷边缘，从较小区域的点云数据中提取得到缺陷边缘的子点云数据；
24、步骤e，将子点云数据与光滑曲面模型进行差异计算，即可获得缺陷的几何信息。
25、上述的二维图像中获取缺陷中心坐标的计算方法以及基于三维相机与神经网络融合的缺陷量化方法的作用对象可以不限于发动机叶片及其缺陷，也可以是其它测试对象的目标区域，目标区域不一定为缺陷，也可以是特意加工而成的功能性结构，缺陷也不一定是凹坑，也可以是裂缝、凸点等缺陷。
26、下面结合附图和具体实施方式对本专利技术做进一步的说明。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.基于三维相机与神经网络融合的缺陷量化方法，其特征在于：包括以下步骤：
2.如权利要求1所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：步骤A中：根据三维相机成像中心以及由二维图像计算出的缺陷大小进行裁剪；所述三维相机采用单目结构光相机。
3.如权利要求2所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：所述缺陷大小由目标检测神经网络模型处理二维图像所输出的缺陷的矩形坐标框的四个角点坐标在机器人基座坐标系下的四个三维坐标计算得到。
4.如权利要求1所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：步骤B包括以下步骤：
5.如权利要求4所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：筛选出有效点云数据的计算表达式为：
6.如权利要求5所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：拟合误差的目标函数f(c)的表达式为：
7.如权利要求6所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：使用最优拟合参数计算拟合曲面的深度z的计算表达式为：
...【技术特征摘要】
1.基于三维相机与神经网络融合的缺陷量化方法，其特征在于：包括以下步骤：
2.如权利要求1所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：步骤a中：根据三维相机成像中心以及由二维图像计算出的缺陷大小进行裁剪；所述三维相机采用单目结构光相机。
3.如权利要求2所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：所述缺陷大小由目标检测神经网络模型处理二维图像所输出的缺陷的矩形坐标框的四个角点坐标在机器人基座坐标系下的四个三维坐标计算得到。
4.如权利要求1所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：步骤b包括以下步骤：
5.如权利要求4所述的基于三维相机与神经网络融合的缺陷量化方法，其特征在于：筛选出有效点云数据的计算表达式为：
6.如权利要求5所述的基于三维相机与神经...
【专利技术属性】
技术研发人员：周由，刘建宏，左汀玉，陈亮，刘宁，邱嵩，颜焰，
申请(专利权)人：成都美奢锐新材料有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。