本发明专利技术属于复材加工技术领域，公开了一种基于三维点云语义分割的复材工件要素自动提取方法，包括：获取复材工件要素的二维图像和三维点云；分别对复材工件要素的二维图像和三维点云进行数据预处理，得到三维点的集合和二维图像组成的共配图像集；基于卷积神经网络对二维图像中的复材工件要素进行提取，并且得到二维特征映射集；利用一种基于深度学习的多视图聚合模型，确立复材工件要素的二维图像与三维点云的对应关系；对三维点云进行语义分割，得到不同复材工件要素的对应点云集。本发明专利技术能够实现将激光扫描出的点云文件导入算法后，自动对点云文件进行去噪分割提取，并针对复材的特点进行工件要素的分割，将所属的要素标记存入每个点的所属信息中，方便提取调用。方便提取调用。方便提取调用。
【技术实现步骤摘要】
一种基于三维点云语义分割的复材工件要素自动提取方法
[0001]本专利技术属于复材加工
，具体涉及一种如何针对复材工件的特点，对扫描得到的工件点云进行语义分割并提取出从属于同一要素的点云的方法。
技术介绍
[0002]机械工件指的是在机械加工中的加工对象，要素指的是构成机械工件几何体的点、线、面。在加工过程中，需要对机械工件的诸如平面度、圆柱度、垂直度、对称度等形位公差加以限制，这就需要对机械工件的对应特征面进行提取；在装配、检验的过程中，也要对配合面、待检测面进行分别的识别和提取。
[0003]复合材料指的是由两种或多种不同类型、不同性能、不同形态、不同相性的材料，通过适当的复合方法，将其组合成的一种结构和性能更为优异的材料。对于树脂基复合材料和陶瓷基复合材料而言，其增强材料多为石英纤维或碳纤维及其编织物。以石英纤维增强二氧化硅复合材料和石英纤维增强酚醛树脂材料举例，与传统的材料不同，由此类材料构成的工件其表面都会存在明显的编织纹理，或是由于相性结构导致的整块脱落形成的较为明显的表面缺陷，这使得工件的表面呈现凹凸不平的现象。故复材的这些特征为工件要素的提取带来了困难。
[0004]目前针对复材工件特征的提取方法是先使用激光扫描仪对复材工件进行扫描得到三维点云，之后手动分割出所需的要素点云区域。但是，这种方式存在一些弊端：首先无法实现自动化的产线搭建，同时对于复材工件的要素提取效率和提取精度而言也会有很大影响，进而导致对后续的生产加工精度的影响。还有一种直接针对三维点云的语义分割方法，但其目前技术尚未成熟且本身精度较低，再加上复材工件不同于普通材料工件，其表面本身就呈现凹凸不平的状况，这对于要素的提取会是一种严重的干扰。
技术实现思路
[0005]本专利技术旨在解决复材工件要素提取的相关技术问题，提供了一种基于三维点云语义分割的复材工件要素自动提取方法，最终实现将激光扫描出的点云文件导入算法后，自动对点云文件进行去噪分割提取，并针对复材的特点进行工件要素的分割，将所属的要素标记存入每个点的所属信息中，方便提取调用。
[0006]为了达到上述专利技术目的，本专利技术通过以下的技术方案予以实现：
[0007]本专利技术提供了一种基于三维点云语义分割的复材工件要素自动提取方法，该方法包括如下步骤：
[0008](1)获取复材工件要素的二维图像和三维点云；
[0009](2)分别对复材工件要素的二维图像和三维点云进行数据预处理，得到三维点的集合设为P，得到二维图像组成的共配图像集设为I；
[0010](3)基于卷积神经网络对二维图像中的复材工件要素进行提取，并且得到二维特征映射集，表示为
[0011](4)利用一种基于深度学习的多视图聚合模型，确立复材工件要素的二维图像与三维点云的对应关系；
[0012](5)对三维点云进行语义分割，得到不同复材工件要素的对应点云集。
[0013]进一步地，步骤(2)中，对于二维图像的数据预处理包括图片归一化与标准化。
[0014]进一步地，步骤(2)中，对于三维点云的数据预处理包括将采集到的点云数据进行数据清洗和数据降采样。
[0015]进一步地，步骤(3)中，所述卷积神经网络结构包括卷积层、池化层、激活函数、全连接层；所述二维特征映射集由所述卷积层得到。
[0016]进一步地，步骤(4)中，所述的一种基于深度学习的多视图聚合模型包括如下流程：
[0017]流程1.通过遮挡检测模型检测三维点是否在二维图像中，并得到单个点像映射关系pix(p，i)；
[0018]流程2.由单个点像映射关系pix(p，i)和二维特征映射集得到要素映射集
[0019]流程3.根据可见性条件计算得到要素块k的视图质量，并缩放成注意力分数
[0020]流程4：设置门控函数，用于在图像集v(p)的整体质量过低时，阻止要素块k的传输；
[0021]流程5：由要素映射集注意力分数和门控函数得到组合点像要素集P(f
2D
，p)，最终实现复材工件要素的二维图像与三维点云的对应关系。
[0022]进一步地，流程1中，所述遮挡检测模型用于表示点p在像i中是否可见，点p表示P中的一个点，i表示I中的一个像；如果点p在像i中可见，同时点p在像i的视锥体中且不被遮挡，则表示为点像对(p，i)∈P
×
I，定义pix(p，i)为像i的单个像素对点p的映射，v(p)表示点p的可见图集。
[0023]进一步地，流程2中，所述要素映射集
[0024][0025]其中，是使用多层感知器MLP得到的关联函数；由步骤三获得的二维特征映射集表示为其与共配图像集I相关，且宽度为C；
[0026]得到要素映射集后，再将其分割为[C/K]个连续的模块，K为要素的个数，每个模块称为要素块k：
[0027][0028]进一步地，流程3中，分别对每个要素块k分别进行可见性条件的求解，得到由8维向量组成的向量组用于量化表示每个要素块k的可见性条件；对于每个要素块k中的每个点像对(p,i)进行可见性条件的求解后，进一步得到每个要素块k的视图质量视
图质量由下面公式求得：
[0029][0030]其中，φ1,φ2,φ3分别是三种不同的多层感知机MLP得到的关联函数；i∈v(p)的所有图像用于学习预测每个要素块k的视图质量
[0031]其中，所述可见性条件是对于可见性的量化表示模型，用8维向量进行描述每一对相关联的点像对(p,i)，所述8维向量包括归一化深度、局部线度描述、局部平面度描述、局部散射度描述、视角法线、像素行、局部密度、遮挡率；
[0032]将视图质量依照注意力缩放到[0,1]中得到注意力分数用于表示像i的要素块k与点p的相对相关性；注意力分数的公式如下：
[0033][0034]其中，v(p)表示点p的可见图集。
[0035]进一步地，流程4中，所述门控参数的公式表示如下：
[0036][0037]其中，α
k
，β
k
均为可训练参数；为每个要素块k的视图质量。
[0038]进一步地，流程5中，对于在一个或多个像i中看到的每个点p，从每个点像对(p，i)中合并要素映射集对于每个要素块k，计算视图中要素的总和，并用注意力分数加权，并乘以门控参数进而定义与点p相关的组合点像要素集P(f
2D
，p)：
[0039][0040]其中，f
2D
表示二维图像中的要素集合，p表示三维点云中对应的点，最终通过组合点像要素集P(f
2D
，p)来反映二维图像对三维点云的映射。
[0041]本专利技术的有益效果是：
[0042]本专利技术利用图像中3D点的观看条件来选择和合并最相关的2D特征和3D信息。结合卷积神经网络和多视图聚合模型，对于扫描获得的复材工件2D图像和3D点云进行处理，最终识别并提取出包含形位信息和纹理细节的复材本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于三维点云语义分割的复材工件要素自动提取方法，其特征在于，该方法包括如下步骤：(1)获取复材工件要素的二维图像和三维点云；(2)分别对复材工件要素的二维图像和三维点云进行数据预处理，得到三维点的集合设为P，得到二维图像组成的共配图像集设为I；(3)基于卷积神经网络对二维图像中的复材工件要素进行提取，并且得到二维特征映射集，表示为(4)利用一种基于深度学习的多视图聚合模型，确立复材工件要素的二维图像与三维点云的对应关系；(5)对三维点云进行语义分割，得到不同复材工件要素的对应点云集。2.根据权利要求1所述的一种基于三维点云语义分割的复材工件要素自动提取方法，其特征在于，步骤(2)中，对于二维图像的数据预处理包括图片归一化与标准化。3.根据权利要求1所述的一种基于三维点云语义分割的复材工件要素自动提取方法，其特征在于，步骤(2)中，对于三维点云的数据预处理包括将采集到的点云数据进行数据清洗和数据降采样。4.根据权利要求1所述的一种基于三维点云语义分割的复材工件要素自动提取方法，其特征在于，步骤(3)中，所述卷积神经网络结构包括卷积层、池化层、激活函数、全连接层；所述二维特征映射集由所述卷积层得到。5.根据权利要求1所述的一种基于三维点云语义分割的复材工件要素自动提取方法，其特征在于，步骤(4)中，所述的一种基于深度学习的多视图聚合模型包括如下流程：流程1.通过遮挡检测模型检测三维点是否在二维图像中，并得到单个点像映射关系pix(p，i)；流程2.由单个点像映射关系pix(p，i)和二维特征映射集得到要素映射集流程3.根据可见性条件计算得到要素块k的视图质量，并缩放成注意力分数流程4：设置门控函数，用于在图像集v(p)的整体质量过低时，阻止要素块k的传输；流程5：由要素映射集注意力分数和门控函数得到组合点像要素集P(f
2D
，p)，最终实现复材工件要素的二维图像与三维点云的对应关系。6.根据权利要求5所述的一种基于三维点云语义分割的复材工件要素自动提取方法，其特征在于，流程1中，所述遮挡检测模型用于表示点p在像i中是否可见，点p表示P中的一个点，i表示I中的一个像；如果点p在像i中可见，同时点p在像i的视锥体中且不被遮挡，则表示为点像对(p，i)∈P
×
I，定义pix(p，i)为像i的单个像素对点p的映射...
【专利技术属性】
技术研发人员：王杨，闫帅，林彬，李鸿宇，任欣宇，刁权威，陈本帅，邹鸿博，袁联洁，史晓龙，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。