用于增强现实辅助维修系统的三维对象识别定位方法技术方案

本发明专利技术涉及一种用于增强现实辅助维修系统的三维对象识别定位方法，该方法包括：建立三维对象的信息数据库、三维对象的分割与特征的提取、对象类别的识别和对象的定位。本发明专利技术是一种全局边缘直方图与角点引导的局部边缘直方图相组合的三维对象特征描述方法，通过该描述方法对各个三维对象不同视角的二维图像进行特征提取，并采用Gentle AdaBoost多类分类器对提取的特征向量进行训练，可以较高的检测率实现对三维对象的类别识别。本发明专利技术还将机器学习与模板匹配方法相结合，通过搜索小范围局部数据库进行匹配定位，提高了定位效率。

【技术实现步骤摘要】

本专利技术涉及一种机器视觉技术，具体地说是一种用于增强现实辅助维修系统的三维对象识别定位方法。
技术介绍
增强现实辅助维修环境下开展检测、修理、拆装、组配、维护、保养等维修活动的主体是操作使用人员，而整机、部组件、零部件等维修对象则是维修活动的客体。如果要将增强现实辅助维修系统应用于实际维修活动，首先要解决的就是维修场景中维修对象的识别定位问题，它是摄像机姿态估计、跟踪注册和虚实结合的前提和基础。因此针对增强现实维修环境进行三维对象识别定位研究具有重要的意义。自然特征识别方法实际上解决的是多视角下维修对象的识别定位问题。利用点特征、外观或轮廓特征和仿射不变特征是最常见的多视角识别特征描述方法。如将多视角2D图像SIFT特征点映射到3D模型的表面进行3D对象识别、利用视角不变轮廓关系和外观信息通过机器学习算法进行训练，得到3D对象的识别模型、提取仿射不变子空间特征实现仿射变化下图像目标的匹配识别，以及轮廓特征与仿射不变特征点相结合进行识别定位等，但仿射不变特征点往往要求视角变化范围不能太大。
技术实现思路
本专利技术的目的就是提供一种用于增强现实辅助维修系统的三维对象识别定位方法，以解决现有定位方式对三维对象的类别识别的检测率不高的问题。本专利技术的目的是这样实现的：一种用于增强现实辅助维修系统的三维对象识别定位方法，包括以下步骤：a、建立三维对象的信息数据库：a-1、将与增强现实辅助维修过程具有信息关联的设备零部件作为三维对象，并对应标记为O1,O2,…,Ok；建立各三维对象的两种视角变化密度不同的wt×ht二维图像模板，其中一种为视角变化间隔为10°的模板，记做TA，另一种为视角变化间隔为2.5°的模板，记做TB；将各三维对象的所有模板TA和模板TB关联到其二维图像模板所对应的视角中，并按视角类别保存到模板数据库中；a-2、分别提取各三维对象的模板TA和模板TB的边缘图像TEA、TEB，提取各三维对象的模板TA和模板TB的复合边缘直方图的特征向量FA、FB，关联到各自对应的模板TA和模板TB中，并保存到信息数据库中；a-3、将标记为O1—Ok的三维对象的各自对应的复合边缘直方图特征向量FA及其对应的类别标签送入分类器进行训练，获得全部三维对象的类别识别模型Ma，并进行存储；分别去除每一个三维对象的复合边缘直方图的特征向量FA后，再次送入分类器进行训练，得到不包括所删除三维对象的识别模型Mi≠1,Mi≠2,…,Mi≠k，并进行存储；a-4、将所有三维对象的复合边缘直方图的特征向量FB按类别建立检索K-D树KB1,KB2,…,KBk。步骤a-3中所述分类器为采用基于决策树桩的Gentle AdaBoost多类分类器，其中弱分类器的个数最大取值为100。b、三维对象的分割与特征的提取：b-1、获取来自图像传感器的一帧图像I，对图像进行滤波并提取其二值边缘图像E；计算关于二值边缘图像E的积分图像IIE；计算关于二值边缘图像E的积分复合边缘直方图IHE；b-2、创建宽度为w、高度为h的滑动窗口W1，创建宽度为(w+2)、宽度为(h+2)的滑动窗口W2；滑动窗口W1居中嵌套在滑动窗口W2中，并与滑动窗口W2同时对二值边缘图像E进行扫描，利用积分图像IIE计算滑动窗口W1与滑动窗口W2的像素之和；当滑动窗口W1与滑动窗口W2的像素之和大于0且像素和之差为0时，得到未被遮挡的目标区域图像EW1，并转到步骤b-3；如果整幅图像的扫描结果均不能满足上述条件，则w值加2，h值加2，并重复执行本步骤；当w≥图像I的宽度值且h≥图像I的高度值时，转到步骤b-1；b-3、利用IHE获取区域滑动窗口W1的复合边缘直方图HW，然后执行步骤c。c、对象类别的识别：读取识别模型Ma，将复合边缘直方图HW作为输入向量送入读取识别模型Ma，得到识别结果——复合边缘直方图HW所代表的类别标签n。d、对象的定位：d-1、以复合边缘直方图HW与检索K-D树KBn中特征向量的巴氏距离D1取值最小为依据，在检索K-D树KBn中检索得到与复合边缘直方图HW最接近的特征向量位置p；d-2、当巴氏距离D1≥阈值τ1时，直接转入步骤d-3，否则将滑动窗口W1的二值边缘图像EW1规格化至宽度为wt、高度为ht的尺度，并根据特征向量位置k取模板图像TBn,p，将滑动窗口W1的二值边缘图像EW1和模板图像TBn,p做Chamfer距离匹配，得到匹配结果D2；当D2<阈值τ2时，输出模板图像TBn,p对应的视角和滑动窗口W1的二值边缘图像EW1的规格化系数ε，完成全部定位过程并退出，否则转到步骤d-3；d-3、读取识别模型Mi≠n，将HW作为输入向量送入Mi≠n，得到识别结果——新的类别标签n，并根据类别标签n取检索K-D树KBn，转至步骤d-1；当识别模型Mi≠1,Mi≠2,…,Mi≠k被遍历一次后，宣告定位失败，转至步骤d-2。本专利技术中的复合边缘直方图的提取方法为：对于任意一幅图像I，其任意像素I(x,y)的水平梯度和垂直梯度的计算公式为： G x ( x , y ) = mask x ⊗ I ( x , y ) G y ( x , y ) = mask y ⊗ I ( x , y ) 本文档来自技高网...

【技术保护点】
一种用于增强现实辅助维修系统的三维对象识别定位方法，其特征是，包括以下步骤：a、建立三维对象的信息数据库：a‑1、将与增强现实辅助维修过程具有信息关联的设备零部件作为三维对象，并对应标记为O1,O2,…,Ok；建立各三维对象的两种视角变化密度不同的wt×ht二维图像模板，其中一种为视角变化间隔为10°的模板，记做TA，另一种为视角变化间隔为2.5°的模板，记做TB；将各三维对象的所有模板TA和模板TB关联到其二维图像模板所对应的视角中，并按视角类别保存到模板数据库中；a‑2、分别提取各三维对象的模板TA和模板TB的边缘图像TEA、TEB，提取各三维对象的模板TA和模板TB的复合边缘直方图的特征向量FA、FB，关联到各自对应的模板TA和模板TB中，并保存到信息数据库中；a‑3、将标记为O1—Ok的三维对象的各自对应的复合边缘直方图特征向量FA及其对应的类别标签送入分类器进行训练，获得全部三维对象的类别识别模型Ma，并进行存储；分别去除每一个三维对象的复合边缘直方图的特征向量FA后，再次送入分类器进行训练，得到不包括所删除三维对象的识别模型Mi≠1,Mi≠2,…,Mi≠k，并进行存储；a‑4、将所有三维对象的复合边缘直方图的特征向量FB按类别建立检索K‑D树KB1,KB2,…,KBk；b、三维对象的分割与特征的提取：b‑1、获取来自图像传感器的一帧图像I，对图像进行滤波并提取其二值边缘图像E；计算关于二值边缘图像E的积分图像IIE；计算关于二值边缘图像E的积分复合边缘直方图IHE；b‑2、创建宽度为w、高度为h的滑动窗口W1，创建宽度为(w+2)、宽度为(h+2)的滑动窗口W2；滑动窗口W1居中嵌套在滑动窗口W2中，并与滑动窗口W2同时对二值边缘图像E进行扫描，利用积分图像IIE计算滑动窗口W1与滑动窗口W2的像素之和；当滑动窗口W1与滑动窗口W2的像素之和大于0且像素和之差为0时，得到未被遮挡的目标区域图像EW1，并转到步骤b‑3；如果整幅图像的扫描结果均不能满足上述条件，则w值加2，h值加2，并重复执行本步骤；当w≥图像I的宽度值且h≥图像I的高度值时，转到步骤b‑1；b‑3、利用IHE获取区域滑动窗口W1的复合边缘直方图HW，然后执行步骤c；c、对象类别的识别：读取识别模型Ma，将复合边缘直方图HW作为输入向量送入读取识别模型Ma，得到识别结果——复合边缘直方图HW所代表的类别标签n；d、对象的定位：d‑1、以复合边缘直方图HW与检索K‑D树KBn中特征向量的巴氏距离D1取值最小为依据，在检索K‑D树KBn中检索得到与复合边缘直方图HW最接近的特征向量位置p；d‑2、当巴氏距离D1≥阈值τ1时，直接转入步骤d‑3，否则将滑动窗口W1的二值边缘图像EW1规格化至宽度为wt、高度为ht的尺度，并根据特征向量位置k取模板图像TBn,p，将滑动窗口W1的二值边缘图像EW1和模板图像TBn,p做Chamfer距离匹配，得到匹配结果D2；当D2<阈值τ2时，输出模板图像TBn,p对应的视角和滑动窗口W1的二值边缘图像EW1的规格化系数ε，完成全部定位过程并退出，否则转到步骤d‑3；d‑3、读取识别模型Mi≠n，将HW作为输入向量送入Mi≠n，得到识别结果——新的类别标签n，并根据类别标签n取检索K‑D树KBn，转至步骤d‑1；当识别模型Mi≠1,Mi≠2,…,Mi≠k被遍历一次后，宣告定位失败，转至步骤d‑2。...

【技术特征摘要】
1.一种用于增强现实辅助维修系统的三维对象识别定位方法，其特征是，包括以下步骤：a、建立三维对象的信息数据库：a-1、将与增强现实辅助维修过程具有信息关联的设备零部件作为三维对象，并对应标记为O1,O2,…,Ok；建立各三维对象的两种视角变化密度不同的wt×ht二维图像模板，其中一种为视角变化间隔为10°的模板，记做TA，另一种为视角变化间隔为2.5°的模板，记做TB；将各三维对象的所有模板TA和模板TB关联到其二维图像模板所对应的视角中，并按视角类别保存到模板数据库中；a-2、分别提取各三维对象的模板TA和模板TB的边缘图像TEA、TEB，提取各三维对象的模板TA和模板TB的复合边缘直方图的特征向量FA、FB，关联到各自对应的模板TA和模板TB中，并保存到信息数据库中；a-3、将标记为O1—Ok的三维对象的各自对应的复合边缘直方图特征向量FA及其对应的类别标签送入分类器进行训练，获得全部三维对象的类别识别模型Ma，并进行存储；分别去除每一个三维对象的复合边缘直方图的特征向量FA后，再次送入分类器进行训练，得到不包括所删除三维对象的识别模型Mi≠1,Mi≠2,…,Mi≠k，并进行存储；a-4、将所有三维对象的复合边缘直方图的特征向量FB按类别建立检索K-D树KB1,KB2,…,KBk；b、三维对象的分割与特征的提取：b-1、获取来自图像传感器的一帧图像I，对图像进行滤波并提取其二值边缘图像E；计算关于二值边缘图像E的积分图像IIE；计算关于二值边缘图像E的积分复合边缘直方图IHE；b-2、创建宽度为w、高度为h的滑动窗口W1，创建宽度为(w+2)、宽度为(h+2)的滑动窗口W2；滑动窗口W1居中嵌套在滑动窗口W2中，并与滑动窗口W2同时对二值边缘图像E进行扫描，利用积分图像IIE计算滑动窗口W1与滑动窗口W2的像素之和；当滑动窗口W1与滑动窗口W2的像素之和大于0且像素和之差为0时，得到未被遮挡的目标区域图像EW1，并转到步骤b-3；如果整幅图像的扫描结果均不能满足上述条件，则w值加2，h值加2，并重复执行本步骤；当w≥图像I的宽度值且h≥图像I的高度值时，转到步骤b-1；b-3、利用IHE获取区域滑动窗口W1的复合边缘直方图HW，然后执行步骤c；c、对象类别的识别：读取识别模型Ma，将复合边缘直方图HW作为输入向量送入读取识别模型Ma，得到识别结果——复合边缘直方图HW所代表的类别标签n；d、对象的定位：d-1、以复合边缘直方图HW与检索K-D树KBn中特征向量的巴氏距离D1取值最小为依据，在检索K-D树KBn中检索得到与复合边缘直方图HW最接近的特征向量位置p；d-2、当巴氏距离D1≥阈值τ1时，直接转入步骤d-3，否则将滑动窗口W1的二值边缘图像EW1规格化至宽度为wt、高度为ht的尺度，并根据特征向量位置k取模板图像TBn,p，将滑动窗口W1的二值边缘图像EW1和模板图像TBn,p做Chamfer距离匹配，得到匹配结果D2；当D2<阈值τ2时，输出模板图像TBn,p对应的视角和滑动窗口W1的二值边缘图像EW1的规格化系数ε，完成全部定位过程并退出，否则转到步骤d-3；d-3、读取识别模型Mi≠n，将HW作为输入向量送入Mi≠n，得到识别结果——新的类别标签n，并根据类别标签n取检索K-D树KBn，转至步骤d-1；当识别模型Mi≠1,Mi≠2,…,Mi≠k被遍历一次后，宣告定位失败，转至步骤d-2。2.根据权利要求1所述的用于增强现实辅助维修系统的三维对象识别定位方法，其特征是，所述的复合边缘直方图的提取方法为：对于任意一幅图像I，其任意像素I(x,y)的水平梯度和垂直梯度的计算公式为： G x ( x , y ) = mask x ⊗ I ( x , y ) G y ( x , y ) = mask y ⊗ I ( x , y ) ...

【专利技术属性】
技术研发人员：张勇，王伟明，赵守伟，李欣，
申请(专利权)人：中国人民解放军六三九零八部队，
类型：发明
国别省市：河北;13