基于点云和图像融合的特高压零件分拣方法和系统技术方案

本发明专利技术提供了一种基于点云和图像融合的特高压零件分拣方法和系统，包括：步骤A，训练基于点云和图像融合的检测器；步骤B，获取零件的点云数据和图像数据；步骤C，利用训练的检测器对点云数据和图像数据进行处理，从而识别零件；以及步骤D，根据识别结果自动分拣零件。本发明专利技术的方法和系统可应用于复杂零件的分拣作业，有利于提高识别精度，提高特高压零件仓库管理中形态各异的、不规则的复杂零件的分拣速度和分拣准确率，从而提高管理水平。从而提高管理水平。从而提高管理水平。

【技术实现步骤摘要】
基于点云和图像融合的特高压零件分拣方法和系统


[0001]本专利技术涉及自动分拣应用领域，特别是涉及基于点云和图像融合的特高压零件分拣方法和系统。

技术介绍

[0002]目前，在特高压零件仓库管理的过程中，零件的分拣作业基本上采用的是人工分拣方式和基于图像识别技术的分拣方式。传统的人工分拣方式存在人工成本高、效率低且无法保证长时间工作后的分拣效率和准确率等问题；传统的基于机器视觉的零件分拣主要依赖于人工设计的特征，利用特征点、最小外接矩形和模板匹配等方法来识别零件。由于一部分特高压零件姿态各异、形状较复杂，应用上述分拣方式进行分拣时往往无法达到令人满意的效果。随着特高压输变电工程的建设，仓库管理效率有必要进一步提高，因此针对特高压零件的分拣作业必然需要进入自动化操作阶段。
[0003]在零件的自动分拣过程中，零件的识别与精确定位是自动分拣流程是否能够完成的首要条件。由于特高压零件的特殊性，零件识别与精确定位面临着以下问题：1)零件种类繁多、大小不一、外形多样；2)部分零件形状较复杂、差别细微，一般的识别算法难以区分；3)零件摆放位置不确定。传统的机器视觉技术通常采集的是平面纹理特征，在单一特征下，上述问题难以得到解决，通常无法做到高精度识别。
[0004]本
技术介绍
所公开的上述信息仅仅用于增加对本申请
技术介绍
的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。

技术实现思路

[0005]本专利技术的一个目的是要克服现有技术中的至少一个技术缺陷，提供一种基于点云和图像融合的特高压零件分拣方法和系统。
[0006]本专利技术的一个进一步的目的是要同时利用点云三维特征和图像纹理特征进行特高压零件的分拣作业，针对特高压零件仓库管理中形态各异的、不规则的复杂零件，提高分拣速度和分拣准确率，从而提高管理水平。
[0007]特别地，根据本专利技术的一方面，提供了一种基于点云和图像融合的三维目标检测的特高压零件分拣方法，包括：步骤A，训练基于点云和图像融合的检测器；步骤B，获取零件的点云数据和图像数据；步骤C，利用训练的检测器对所述点云数据和所述图像数据进行处理，从而识别所述零件；以及步骤D，根据识别结果自动分拣所述零件。
[0008]可选地，在步骤A中，得到基于PointNet改进的三维目标检测框架模型，且步骤A包括：对样本数据进行采集和扩充；
对样本数据进行标注：使用标注软件对所述样本数据进行标注，框选出各图中的零件并标记各零件的名称，形成训练样本库；基于PointNet改进三维目标检测框架模型，作为训练的检测器。
[0009]可选地，基于PointNet改进三维目标检测框架模型的步骤包括：获取各个样本的点云数据和RGB图像，利用所述点云数据生成鸟瞰图；将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架，获得候选框；利用PointNet提取点云池化特征；提取所述候选框方位特征，融合所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征，获得多模态融合特征；将所述多模态融合特征输入检测器中计算所述候选框和真实框之间的差距，得到最终的检测结果。
[0010]可选地，将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架，获得候选框的步骤包括：利用特征金字塔网络提取所述鸟瞰图的图像特征和所述RGB图像的图像特征；利用锚框映射得到相应的区域特征；使用1
ꢀ×ꢀ
1卷积，得到区域融合特征；将所述区域融合特征输入分类器和回归器，得到所述候选框。
[0011]可选地，融合所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征，获得多模态融合特征的步骤包括：将所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征输入到自适应融合网络中计算它们参加候选框修正任务的权重，再通过加权求和操作进行融合，得到新的特征；基于上述新的特征，进一步融入所述候选框的方位特征，得到所述多模态融合特征。
[0012]可选地，利用训练的检测器对所述点云数据和所述图像数据进行处理，从而识别所述零件的步骤中，识别结果包括：零件种类、零件坐标和零件个数。
[0013]可选地，根据识别结果自动分拣所述零件的步骤包括：根据所述零件坐标求取所述点云数据中各个点云的重心坐标；将所述重心坐标转换为世界坐标系下的世界坐标；以及根据所述世界坐标和所述零件个数抓取所述零件，并根据所述零件种类自动对抓取的零件归类。
[0014]可选地，在根据所述零件坐标求取所述点云数据中各个点云的重心坐标的步骤中，使用求取XYZ点云均值的方式获取所述重心坐标：
式中，表示点云的重心坐标，表示各个点云的坐标，n表示点云的个数。
[0015]可选地，在将所述重心坐标转换为世界坐标系下的世界坐标的步骤中，采用如下方式进行转换：其中，表示点云的重心坐标，表示点云的世界坐标，R为旋转正交变换矩阵，T为平移变化矩阵。
[0016]根据本专利技术的另一方面，还提供了一种基于点云和图像融合的三维目标检测的特高压零件分拣系统，包括：处理器以及存储器，所述存储器内存储有机器可执行程序，所述机器可执行程序被所述处理器执行时，用于实现根据以上任一项所述的方法。
[0017]本专利技术的基于点云和图像融合的特高压零件分拣方法和系统，通过训练基于点云和图像融合的检测器，然后利用训练的检测器对零件的点云数据和图像数据进行处理，从而识别零件并根据识别结果自动分拣零件。采用上述方法，由于同时利用点云三维特征和图像纹理特征进行特高压零件的分拣作业，因此，本专利技术的方法和系统可应用于复杂零件的分拣作业，有利于提高识别精度，提高特高压零件仓库管理中形态各异的、不规则的复杂零件的分拣速度和分拣准确率，从而提高管理水平。
[0018]进一步地，本专利技术的基于点云和图像融合的三维目标检测的特高压零件分拣方法和系统，基于PointNet改进的三维目标检测框架模型，对所获取的零件的点云数据和图像数据进行处理，从而识别零件，由于改进的三维目标检测框架模型具备较高的检测精度，能够同时反映多个零件的种类和位置以及相同零件的个数，因此，利用本专利技术所训练的检测器可以快速地全方面地识别零件，效果显著。
[0019]与现有技术相比，本专利技术具有以下有益效果：(1)基于点云和图像特征，零件识别准确率更高，识别速度更快；(2)通过模型智能预测，可以得到零件的精确坐标位置；(3)通过点云计算零件的重心，使零件的抓取更加准确。
[0020]根据下文结合附图对本专利技术具体实施例的详细描述，本领域技术人员将会更加明了本专利技术的上述以及其他目的、优点和特征。
附图说明
[0021]后文将参照附图以示例性而非限制性的方式详细描述本专利技术的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：图1是根据本专利技术一个实施例的基于点云和图像融合的特高压零件分拣方法的示意性流程图；图2是根据本专利技术一个实施例的基于点云和图像融合的特高压零件分拣方法的示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于点云和图像融合的特高压零件分拣方法，包括：步骤A，训练基于点云和图像融合的检测器；步骤B，获取零件的点云数据和图像数据；步骤C，利用训练的检测器对所述点云数据和所述图像数据进行处理，从而识别所述零件；以及步骤D，根据识别结果自动分拣所述零件。2.根据权利要求1所述的基于点云和图像融合的特高压零件分拣方法，其中，在步骤A中，得到基于PointNet改进的三维目标检测框架模型，且步骤A包括：对样本数据进行采集和扩充；对样本数据进行标注：使用标注软件对所述样本数据进行标注，框选出各图中的零件并标记各零件的名称，形成训练样本库；基于PointNet改进三维目标检测框架模型，作为训练的检测器。3.根据权利要求2所述的基于点云和图像融合的特高压零件分拣方法，其中，基于PointNet改进三维目标检测框架模型的步骤包括：获取各个样本的点云数据和RGB图像，利用所述点云数据生成鸟瞰图；将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架，获得候选框；利用PointNet提取点云池化特征；提取所述候选框方位特征，融合所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征，获得多模态融合特征；将所述多模态融合特征输入检测器中计算所述候选框和真实框之间的差距，得到最终的检测结果。4.根据权利要求3所述的基于点云和图像融合的特高压零件分拣方法，其中，将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架，获得候选框的步骤包括：利用特征金字塔网络提取所述鸟瞰图的图像特征和所述RGB图像的图像特征；利用锚框映射得到相应的区域特征；使用1
ꢀ×ꢀ
1卷积，得到区域融合特征；将所述区域融合特征输入分类器和回归器，得到所述候选框。5.根据权利要求3所述的基于点云和图像融合的特高压零件分拣方法，其中，融合所...

【专利技术属性】
技术研发人员：刘新，黄纯豪，戚国辉，刘青，张灿，闫立财，余蔚青，李璇，
申请(专利权)人：北京江河惠远科技有限公司，
类型：发明
国别省市：