一种基于3D视觉的在线实时物体识别定位方法技术

本发明专利技术涉及一种基于3D视觉的物体识别定位方法，具备适应性强、速度快、正确率高、精度高的优点。步骤包括：用多个虚拟相机拍摄模型(目标物体)，获取单侧视图集；对离线单侧视图点云集和在线场景点云分别基于局部点云分布特点提取特征；匹配特征并进行霍夫投票实现粗匹配；ICP细匹配；校验结果。该方法通过将模型提取单侧视图集提高了识别正确率，避免使用不稳定的颜色信息扩大了应用范围，能够实现对工业领域金属工件的识别定位。

An Online Real-time Object Recognition and Location Method Based on 3D Vision

The invention relates to an object recognition and positioning method based on 3D vision, which has the advantages of strong adaptability, fast speed, high accuracy and so on. The steps include: shooting models (target objects) with multiple virtual cameras to obtain one-sided view sets; extracting features from off-line one-sided view point clusters and on-line scene point clouds based on local feature cloud distribution characteristics; matching features and Hough voting to achieve rough matching; ICP fine matching; and verifying results. This method improves the recognition accuracy by extracting one-sided view set from the model, avoids the use of unstable color information and enlarges the application scope, and can realize the recognition and location of metal workpieces in industrial field.

【技术实现步骤摘要】
一种基于3D视觉的在线实时物体识别定位方法
本专利技术涉及一种基于3D视觉的在线实时物体识别定位方法，属于机器视觉领域。
技术介绍
随着机器人技术的发展和RGB-D图像采集设备的普及，为机器人安装眼睛使其能根据不同的应用环境智能进行自主操作，比如完成物品分拣、加工等任务，具有广泛的应用需求。为实现这一目标，首先需要突破的关键技术是基于RGB-D图像的物体识别与定位技术，需要克服的难点包括噪声、低精度、遮挡和杂乱等。基于RGB-D图像的物体识别与定位方法可以分为两类，即基于全局特征和局部特征的方法，基于局部特征的方法可以有效克服遮挡，我们的方法属于这类方法。这类方法的通常的步骤是：(1)在目标物体模型上提取一些局部特征，构建模型特征库；(2)用在线采集的场景图像上提取的局部特征匹配模型特征库；(3)根据对应的局部的位置和姿态信息，利用霍夫投票获得模型在场景中的位置姿态假设；(4)对假设进行验证从而获得最终结果。在线采集的场景图像中往往包含自遮挡、噪声、变形和颜色变化，尤其是自遮挡现象，使得位于场景图像中的模型局部表面相对于原始的模型发生了根本性的变化。传统的方法通过改进特征描述方法来克服这种差异，比如ROPS方法通过间隔一定角度绕三轴旋转局部表面并结合统计原理来构建特征描述。当这些方法面临形状复杂自遮挡较多的模型时，识别和定位准确率大幅下降。局部特征的描述方法对识别的效果有很大影响，传统的方法为获得高正确率使用复杂的特征提取方法，导致在线应用时速度慢。在一些工业领域的应用场景下，面临颜色信息的缺失，导致一些依赖于颜色的传统的识别定位方法失效。
技术实现思路
针对上述技术不足，本专利技术的目的提供一种基于3D视觉的在线实时物体识别定位方法。该方法可以克服噪声、变形、自遮挡和颜色缺失，实现准确率高、速度快、精度高的物体识别定位。本专利技术解决其技术问题所采用的技术方案是：一种基于3D视觉的在线实时物体识别定位方法，包括以下步骤：1)采用多个虚拟相机拍摄模型，生成单侧视图集；2)对离线生成的单侧视图集和在线采集的场景点云分别进行预处理后提取特征，然后进行物体识别定位。所述采用多个虚拟相机拍摄模型，生成单侧视图集包括以下步骤：以物体模型的重心为中心，距离中心设定距离，生成设定数量的虚拟相机，所述虚拟相机朝向中心并均匀分布在球表面；将模型点云投影到二维平面，根据深度信息滤除不可见面，每个虚拟相机获取模型点云的一副单侧视图，构成单侧视图集。所述单侧视图为RGB-D图像或点云。所述提取特征包括如下步骤：对于一幅单侧视图或者场景点云，以参考点P为中心取半径R邻域内的点云作为支撑点，对支撑点求取局部参考坐标系，针对关键点将支撑点位置和法线变换到参考坐标系下求取特征。所述对支撑点求取局部参考坐标系包括以下步骤：以参考点P点为坐标原点，基于PCA求取的最小特征值对应的特征向量为Z轴，并将Z轴的正方向转换到与相机拍摄视角一致，以所有支撑点的平均法线为AN轴，以Z轴与AN轴的叉乘为X轴，以Z轴与X轴的叉乘获得的方向为Y轴。所述关键点通过以下步骤得到：由PCA求取的特征值由大到小排列为a1>a2>a3，当a1与a2的比值小于固定阈值t时，该P点为非关键点；否则，为关键点。将支撑点位置和法线变换到参考坐标系下求取特征包括以下步骤：将转换后的支撑点向局部参考坐标系的XOY平面上投影，在XOY平面上画k*k的格子，统计落入每个格子内的点的平均法线方向，连接成(k-2)*(k-2)*3的特征向量。所述进行物体识别定位包括以下步骤：为每个场景特征找到最近的模型特征，用对应的点和位置求出物体一个可能姿态，根据场景特征集获得的所有可能姿态在六维空间中进行投票，由投票空间中的汇聚点确定出物体位姿的多个假设，最后验证去除错误假设，完成物体的识别定位。本专利技术具有以下有益效果及优点：1.本专利技术方法提出了一种基于3D立体视觉的物体识别定位方法，准确率高、速度快、精度高、适应性强。可以应用于工业领域，为机器人操作提供立体视觉反馈，实现对工件的加工、分拣等操作。2.本专利技术方法通过对模型提取单侧视图，而后进行识别定位，大幅提高了正确率。3.本专利技术方法提出的局部参考坐标系的提取方法具备很强的稳定性，提高了正确率。4.本专利技术方法提出的局部特征描述方法运算复杂度低，速度快。附图说明图1是离线建立模型特征库流程图；图2是在线识别定位流程图；图3是粗匹配流程图；图4是计算特征流程图；图5a是多视角模型点云立体图；图5b是多视角模型点云侧视图；图5c是多视角模型点云正视图；图5d是多视角模型点云俯视图；图6a是多视角单侧点云立体图；图6b是多视角单侧点云侧视图；图6c是多视角单侧点云正视图；图6d是多视角单侧点云俯视图；图7是支撑域示意图；图8a是多视角支撑点云立体图；图8b是多视角支撑点云侧视图；图8c是多视角支撑点云正视图；图8d是多视角支撑点云俯视图；图9是计算局部参考坐标系示意图；图10a是多视角局部参考坐标系下的支撑点云立体图；图10b是多视角局部参考坐标系下的支撑点云侧视图；图10c是多视角局部参考坐标系下的支撑点云正视图；图10d是多视角局部参考坐标系下的支撑点云俯视图；图11是计算高维特征向量示意图；图12a是多视角场景点云立体图；图12b是多视角场景点云侧视图；图12c是多视角场景点云正视图；图12d是多视角场景点云俯视图；图13a是多视角带标识的场景点云立体图；图13b是多视角带标识的场景点云侧视图；图13c是多视角带标识的场景点云正视图；图13d是多视角带标识的场景点云俯视图。具体实施方式下面结合实施例对本专利技术做进一步的详细说明。一种基于3D视觉的在线实时物体识别定位方法，包括以下步骤：(a)模拟用3D相机采集场景图像的过程，用多个虚拟相机从不同方向拍摄模型，生成单侧视图集。(b)对离线生成的单侧视图集和在线采集的场景点云分别进行预处理后提取特征，再进行物体识别或姿态估计。在(a)步骤中，3D相机可以为能获取空间点云的任意设备，例如双目立体视觉系统、kinect、激光扫描系统、结构光扫描等。在(a)步骤中，用多个虚拟相机从不同方向拍摄模型，生成单侧视图集是指根据计算机图形学原理，用仿真的方式，从不同视角，可能为确定的距离或不同的距离获取到单侧视图集。单侧视图可以是RGB-D图像，也可以是点云。在(b)步骤中，物体识别或定位：为每个场景特征找到最近的模型特征，用对应的点和位置求出物体一个可能姿态，根据场景特征集获得的所有可能姿态在六维空间中进行投票，由投票空间中的汇聚点确定出物体位姿的多个假设，通过最后的验证阶段去除错误假设，完成定位。对于所要解决的问题可以进行如下描述：对于给定的模型点云，如图5a～图5d所示，需要在场景点云(如图12a～图12d中所示)识别定位到该模型，输出位置与姿态。其中模型点云来自于高精度的扫描设备，场景点云由RGB-D相机实时在线采集，为便于观察点云，提供了多视角下的点云图像，图5a～图5d、图12a～图12d和图13a～图13d，其中图13a～图13d中标注出了模型在场景中的真实位置以便于观察。基于3D视角的在线实时物体识别定位方法分为离线阶段和在线阶段。为了获得高的在线识别定位速度，所有不依赖于实本文档来自技高网...

【技术保护点】
1.一种基于3D视觉的在线实时物体识别定位方法，其特征在于包括以下步骤：1)采用多个虚拟相机拍摄模型，生成单侧视图集；2)对离线生成的单侧视图集和在线采集的场景点云分别进行预处理后提取特征，然后进行物体识别定位。

【技术特征摘要】
1.一种基于3D视觉的在线实时物体识别定位方法，其特征在于包括以下步骤：1)采用多个虚拟相机拍摄模型，生成单侧视图集；2)对离线生成的单侧视图集和在线采集的场景点云分别进行预处理后提取特征，然后进行物体识别定位。2.根据权利要求1所述的一种基于3D视觉的在线实时物体识别定位方法，其特征在于所述采用多个虚拟相机拍摄模型，生成单侧视图集包括以下步骤：以物体模型的重心为中心，距离中心设定距离，生成设定数量的虚拟相机，所述虚拟相机朝向中心并均匀分布在球表面；将模型点云投影到二维平面，根据深度信息滤除不可见面，每个虚拟相机获取模型点云的一副单侧视图，构成单侧视图集。3.根据权利要求2所述的一种基于3D视觉的在线实时物体识别定位方法，其特征在于所述单侧视图为RGB-D图像或点云。4.根据权利要求1所述的一种基于3D视觉的在线实时物体识别定位方法，其特征在于所述提取特征包括如下步骤：对于一幅单侧视图或者场景点云，以参考点P为中心取半径R邻域内的点云作为支撑点，对支撑点求取局部参考坐标系，针对关键点将支撑点位置和法线变换到参考坐标系下求取特征。5.根据权利要求4所述的一种基于3D视觉的在线实时物体识别定位方法，其特征在于所述对支撑点求取局部参考坐标系包括以下步骤：以参考点P点为...

【专利技术属性】
技术研发人员：丛杨，田冬英，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：辽宁,21