一种面向增强现实辅助装配的零件拾取感知方法技术

一种面向增强现实辅助装配的零件拾取感知方法，包括图像离线训练模块、感兴趣区域获取模块、拾取状态识别模块、装配信息推送模块。图像离线训练模块对手势区域与装配零件的图像进行目标检测训练，并将手势对装配零件的交互状态图像进行分类训练；感兴趣区域获取模块检测现场采集图像，获取装配零件的位置、类别信息，以及手势与零件交互的感兴趣区域；拾取状态识别模块对装配现场环境采集到的视频流进行逐帧识别并进行连续帧分析；装配信息推送模块将当前的拾取状态，推送当前工序的装配辅助信息。本发明专利技术实现了装配零件以及装配工人手势区域的获取，对工人与装配零件的交互状态进行了跟踪，从而对装配信息进行智能推送，提高装配效率。装配效率。装配效率。

【技术实现步骤摘要】
一种面向增强现实辅助装配的零件拾取感知方法


[0001]本专利技术属于增强现实辅助装配领域，具体涉及一种面向增强现实辅助装配的零件拾取感知方法，用于判断装配工人与装配零件的交互状态。

技术介绍

[0002]增强现实技术以其可以生动直观地将虚拟物体融合在真实环境以及可以实现与虚拟物体的交互等优点，被应用于医疗、教育等领域。在工业领域，增强现实技术可以实现对装配的辅助引导，工人可以通过佩戴增强现实眼镜，在观察真实装配环境的同时，眼镜中还可实时呈现出当前装配工序所需的物料信息、工艺文件以及装配流程动画等。现代工业领域的装配环境零件往往多而复杂，工人不仅需要花费大量的时间对工艺文件进行阅读，对工人的熟练度也有着一定的要求，需要花费大量时间对工人进行培训，大大加长了装配的时间。通过增强现实辅助技术，可以极大地减少培训时间，提高工人的装配效率，减少对工人装配熟练度的要求。
[0003]当前的增强现实辅助装配引导系统大多只包含装配动画和装配工艺文件等，在人机交互方面往往采用的是语音交互和手势交互，在装配工人完成当前装配工序时，需要手动或者语音进行交互，告知系统已完成，执行下一步任务。这种交互方式还不够智能，需要工人手动进行交互，影响装配进程等问题，需要设计一种智能感知当前装配进程的方法。

技术实现思路

[0004]本专利技术的目的是针对当前增强现实辅助装配引导系统中场景感知的内容不足，提供了一种面向增强现实辅助装配的零件拾取感知方法，能够实现对零件拾取的智能感知。
[0005]为实现上述目的，本专利技术提供了一种面向增强现实辅助装配的零件拾取感知方法包括以下步骤：
[0006]一种面向增强现实辅助装配的零件拾取感知方法，包括图像离线训练模块、感兴趣区域获取模块、拾取状态识别模块、装配信息推送模块，还包括以下步骤：步骤1，通过图像离线训练模块对图像采集进行离线目标检测训练和分类训练，以增强现实获取的实时视频流，用于后续对零件与手的识别以及手势与零件交互状态的分类；步骤2，增强现实眼镜采集装配现场RGB视频流，基于感兴趣区域获取模块对获取的视频流进行在线目标检测，以获取装配零件的位置、类别信息，并得到手势与零件交互的感兴趣区域；步骤3，基于拾取状态识别模块对装配现场RGB视频流进行连续帧分析，基于感兴趣区域通过分类预测判断当前人手与零件的交互状态，以减少单帧判断错误的噪声影响；步骤4，当交互状态判断为拾取状态时，基于装配信息推送模块将当前的拾取状态传输到增强现实眼镜，推送当前工序的装配辅助信息。
[0007]作为优选，步骤1图像离线训练模块利用工业相机采集手势区域与装配零件的RGB图像作为数据集进行离线目标检测训练；并采集手势对装配零件的拾取以及遮挡状态的RGB图像，并对该图像进行离线分类训练。
[0008]作为优选，步骤1具体为：步骤1.1，工业相机采集一系列的手势和装配零件的RGB图像作为数据集；步骤1.2，在图像上标注手势以及装配零件的位置以及类别信息；步骤1.3，按比例将数据集划分为训练集和测试集；步骤1.4，基于Yolov5训练手势区域以及零件模型对训练集进行离线目标检测训练，并通过测试集进行测试判断；基于极限学习机训练零件交互状态模型对训练集进行分类训练，并通过测试集进行测试判断。
[0009]作为优选，离线目标检测训练包括以下步骤：步骤1.411，基于Yolov5目标检测算法对训练集进行离线训练，生成得到手势以及零件的检测模型；步骤1.412，使用测试集对得到手势以及零件的检测模型进行测试，判断是否符合要求，当IoU阈值为0.5时，mAP大于0.85时，为符合要求，否则返回步骤1.411，直到测试结果符合要求；步骤1.413，输出符合要求的目标检测模型。
[0010]作为优选，分类训练包括以下步骤：步骤1.421，输入手势遮挡以及拾取零件的样本图像和对应的输出值；步骤1.422，对样本图像进行初始化训练；步骤1.423，对输入层与隐含层的连接权值w和隐含层神经元的阈值b随机赋值；步骤1.424，选择sigmoid函数作为隐含层神经元的激活函数，从而计算隐含层输出矩阵H；步骤1.425，根据公式计算出输出层权值其中H为隐含层输出矩阵，T为期望输出，I为单位矩阵，C为常数；步骤1.426，输出训练好的手势拾取遮挡极限学习机分类器。
[0011]作为优选，步骤2为：采集当前装配场景的视频流传输到服务器上，将视频流转化为连续帧图像；通过Yolov5目标检测网络识别出当前场景所包含的物体信息；当检测到手势区域时，判断区域内部是否存在其他零件，若只存在一个零件则将手势区域与该零件区域并集部分的最小矩形框判定为感兴趣区域；若存在多个零件，则逐个比较每个零件区域与手势区域的交集部分面积占该零件区域总面积的比值，选取最大比值，设定阈值，当该最大比值大于阈值时，判定为感兴趣区域。
[0012]作为优选，步骤2获取感兴趣区域具体包括如下步骤：步骤2.1，基于当前装配场景的视频流，通过目标检测算法识别出当前装配场景的零件信息以及手势区域，假设一共含有n种零件，手势为第0类物体，因此能够从图像中读取出n+1种目标信息，将当前第f帧图像中目标j的信息设为H
(f,j)
，其中j表示物体类别，表示物体位置区域最小横坐标和纵坐标，表示物体位置区域最小横坐标和纵坐标，表示物体位置区域最大横坐标和纵坐标；步骤2.2，若当前场景中含有手势区域，则根据式(1)进行重叠系数k
(f,j)
计算，其中j为所有识别到的零件类别，k
(f,j)
＝1表示f帧图像中j零件和手部有重叠区域，k
(f,j)
＝0表示f帧图像中j零件和手部无重叠区域；
[0013][0014]式中式中步骤2.3，根据重叠系数k
(f,j)
选取所有和手部区域有重叠的H
(f,j)
，并根据式(2)分别计算当前图像中所有重叠区域的面积占该零件面积的比例S
(f,i)
；
[0015][0016]步骤2.4，当采集到的装配场景中手势与多个零件存在重叠区域时，对实际所拾取的零件进行判断，若手势区域内存在多个零件，则逐个比较每个零件的S
(f,i)
，选取最大比值，并判断是否大于设定的阈值0.3，采用式：
[0017]R
(f,i)
＝(i,X
MIN
,Y
MIN
,X
MAX
,Y
MAX
),i＝argmax(S
(f,j)
)&max(S
(f,j)
)＞0.3
[0018]求得当前图像唯一的感兴趣区域信息R
(f,i)
，其中R
(f,i)
表示该感兴趣区域位置信息和感兴趣零件类别信息，i表示所有重合零件中S
(f,j)
最大的零件类别，表示感兴趣区域最小横坐标，表示感兴趣区域最小纵坐标，表示感兴趣区域最大横坐标，表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向增强现实辅助装配的零件拾取感知方法，其特征在于，包括图像离线训练模块、感兴趣区域获取模块、拾取状态识别模块、装配信息推送模块，还包括以下步骤：步骤1，通过图像离线训练模块对图像采集进行离线目标检测训练和分类训练，以增强现实获取的实时视频流，用于后续对零件与手的识别以及手势与零件交互状态的分类；步骤2，增强现实眼镜采集装配现场RGB视频流，基于感兴趣区域获取模块对获取的视频流进行在线目标检测，以获取装配零件的位置、类别信息，并得到手势与零件交互的感兴趣区域；步骤3，基于拾取状态识别模块对装配现场RGB视频流进行连续帧分析，基于感兴趣区域通过分类预测判断当前人手与零件的交互状态，以减少单帧判断错误的噪声影响；步骤4，当交互状态判断为拾取状态时，基于装配信息推送模块将当前的拾取状态传输到增强现实眼镜，推送当前工序的装配辅助信息。2.如权利要求1所述的一种面向增强现实辅助装配的零件拾取感知方法，其特征在于，所述步骤1图像离线训练模块利用工业相机采集手势区域与装配零件的RGB图像作为数据集进行离线目标检测训练；并采集手势对装配零件的拾取以及遮挡状态的RGB图像，并对该图像进行离线分类训练。3.如权利要求2所述的一种面向增强现实辅助装配的零件拾取感知方法，其特征在于，所述步骤1具体为：步骤1.1，工业相机采集一系列的手势和装配零件的RGB图像作为数据集；步骤1.2，在图像上标注手势以及装配零件的位置以及类别信息；步骤1.3，按比例将数据集划分为训练集和测试集；步骤1.4，基于Yolov5训练手势区域以及零件模型对训练集进行离线目标检测训练，并通过测试集进行测试判断；基于极限学习机训练零件交互状态模型对训练集进行分类训练，并通过测试集进行测试判断。4.如权利要求3所述的一种面向增强现实辅助装配的零件拾取感知方法，其特征在于，离线目标检测训练包括以下步骤：步骤1.411，基于Yolov5目标检测算法对训练集进行离线训练，生成得到手势以及零件的检测模型；步骤1.412，使用测试集对得到手势以及零件的检测模型进行测试，判断是否符合要求，否则返回步骤1.411，直到测试结果符合要求；步骤1.413，输出符合要求的目标检测模型。5.如权利要求3或4所述的一种面向增强现实辅助装配的零件拾取感知方法，其特征在于，所述分类训练包括以下步骤：步骤1.421，输入手势遮挡以及拾取零件的样本图像和对应的输出值；步骤1.422，对样本图像进行初始化训练；步骤1.423，对输入层与隐含层的连接权值w和隐含层神经元的阈值b随机赋值；步骤1.424，选择sigmoid函数作为隐含层神经元的激活函数，从而计算隐含层输出矩阵H；步骤1.425，根据公式计算出输出层权值其中H为隐含层输出
矩阵，T为期望输出，I为单位矩阵，C为常数；步骤1.426，输出训练好的手势拾取遮挡极限学习机分类器。6.如权利要求5所述的一种面向增强现实辅助装配的零件拾取感知方法，其特征在于，所述步骤2为：采集当前装配场景的视频流传输到服务器上，将视频流转化为连续帧图像；通过Yolov5目标检测网络识别出当前场景所包含的物体信息；当检测到手势区域时，判断区域内部是否存在其他零件，若只存在一个零件则将手势区域与该零件区域并集部分的最小矩形框判定为感兴趣区域；若存在多个零件，则逐个比较每个零件区域与手势区域的交集部分面积占该零件区域总面积的比值，选取最大比值，设定阈值，当该最大比值大于阈值时，判定为感兴趣区域。7.如权利要求6所述的一种面向增强现实辅助装配的零件拾...

【专利技术属性】
技术研发人员：郭宇，郑亮亮，钱伟伟，汤鹏洲，魏禛，郑冠冠，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：