基于增强现实和人机综合检测的产品质量检查方法及其装置制造方法及图纸

本发明专利技术提供了一种基于增强现实和人机综合检测的智能训练模型的产品质量检查方法，包括S1.样品集收集；S2.人工检测行为记录与AR视觉的检测，S3.机器视觉采集图像：利用机器视觉装置得到第二结果；S4.智能训练模型的建立：利用AR视觉的检测的图像和机器视觉采集图像以及所述第一第二结果得到智能训练模型；S5.建立评价模型；S6.待测样品检测。将人的目测行为记录到佩戴AR眼镜的机器人的行为模块中，从而替代人的检测成本，同时并考虑机器视觉，机器人AR视觉以及人的检测结果进行训练，并结合机器视觉的检测结果得到综合体现人和机器的检测贡献的模型，使得机器检测产品由原先的机器化中掺入人的因素，但又优于人的检测双重特点，能够适用于各种场景检测。能够适用于各种场景检测。能够适用于各种场景检测。

【技术实现步骤摘要】
基于增强现实和人机综合检测的产品质量检查方法及其装置


[0001]本专利技术涉及一种基于增强现实和人工检测的智能的产品质量检查方法,尤其涉及一种基于增强现实和人工检测的智能训练模型的产品质量检查方法及其装置,属于工业智能质检领域。

技术介绍

[0002]工业上对于产品质量检查一般分为人工检查以及机器视觉检测，前者一般被诟病为检查效率低不适应长时间、高质量、高分辨的检查需求，后者通过信息交互以及图像处理手段，将现场拍摄的被测物图像通过与事先保存于数据库的标准图像做对比，从而实现快速高效的检测。但是,标准图像往往和现实拍摄图像在产生质量问题的部位或参数有着区别，因而机器视觉技术中现有技术常见地需要人为设置阈值或容许范围，以将这些差别进行量化而输出满意的结果。
[0003]而基于机器训练的智能技术提供了很好的解决方法，利用大量的图像识别训练产生模型，其本质是赋予机器类似人的目测经验，从而能够智能地准确地识别出质量问题。
[0004]然而，随着客户对产品的质量要求的提升，不同的质量问题具有不同的阈值参数，因而在同一种产品上会产生图像处理的需要，以区域分割处理。但事实上仅仅从图像上给予标注各问题区域以及质量参数的报表或函数。难以将现实物理位置和报表或函数进行指示关联。从而不能更直观地、精准地指导质检人员对问题产品易发问题部位，不同种类问题在产品上的空间分布和批次分布、以及问题产生的根源进行溯源，改善生产质量。
[0005]现实增强技术（AR）似乎能够解决这一问题。现有AR技术主要具备三项功能。一是获取其他模块的信息，在现实世界中进行叠加显示,例如US20200342669A1通过目标物坐标与图像的分析从而及时物件经过移动，也能在AR装置上标注出物理位置上准确指示到相应物件的物件信息。CN112330753A则通过将需要叠加的虚拟物体通过目标网络检测将其投放到真实物理空间上。而过去一些年，哥伦比亚大学团队使用穿戴式AR装置制造了一套激光打印机维修系统，将操作流程和操作对象模拟目标融合，准确地指导维修人员在物理现场进行相应部位的维修操作。
[0006]二是根据AR装置，尤其穿戴式的AR眼镜上的传感器，主动监测用户的注视点或注视方向，传给用户意图理解模块，从而进一步在现实世界中找到所需要的的控制的目标。CN110442232A使用脑机接口模块采集获得穿戴了AR设备的人员脑电信息；将所述眼动图像信息和4脑电信号联合输入到深度神经网络模型中，预测人员控制意图，生成机器人控制指令，控制所述机器人。也就是说将人的意图转化为机器人的行为。
[0007]第三种是用于产品的质检，CN111102920A正是利用了上述第一项功能，将通过图像处理和算法分析以及网络训练模型的计算得到裂纹的几何参数投放到AR眼镜，标注对应裂纹位置和标记。CN207408313U利用AR上的视觉传感器形成信息通过与眼镜上配制的相机采集的图像以及标准库中图像比对得到检测结果。其核心本质是一种行走的机器视觉技术，通过人员的走动灵活观察。CN106530403A是将图形在虚拟环境下显示检测结果。
[0008]由于对人工检测历来的技术偏见，以及机器视觉的过分依赖，使得人们忽略了人的经验，纯粹依靠机器的模型作为人工的代替。AR技术虽然能够在空间灵活度上优于机器视觉，但检测结果也是局限于机器模型，最多利用AR叠加技术将检测结果投放到物理空间上对应的位置。并且现有技术AR眼镜都是让人来佩戴，而实际检测中人成为了检测装置的移动工具的角色，完全忽视了人的目测检测经验。因此，亟需一种能够结合人工目测、机器视觉、以及AR技术的优点，对产品实现更加完善的检测。

技术实现思路

[0009]为了克服现有技术对机器的过分依赖，本专利技术考虑了一种基于增强现实和人机综合检测的智能的产品质量检查方法,将人的目测行为记录到佩戴AR眼镜的机器人的行为模块中，并考虑机器视觉，机器人AR视觉以及人的检测结果进行训练，并结合机器视觉的检测结果得到综合体现人和机器的检测贡献的模型，使得机器检测产品由原先的机器化中掺入人的因素，但又优于人的检测双重特点。本专利技术的机器人包括任何具有受控制产生相应行为动作的机械结构或者智能运动装置，包括且不限于本领域定义的机器人。
[0010]为此，本专利技术提供了一种基于增强现实和人机综合检测的智能训练模型的产品质量检查方法，其特征在于，S1.样品集收集：收集机器视觉检测出的不合格产品以及人工目测不合格的产品，并将所有所述不合格的产品随机分为训练集以及验证集，将训练集随机抽取通过生产线传输；S2.人工检测行为记录与AR视觉的检测：p个质检人员进入各自检测工位，其中至少一部分检测工位布置与机器视觉拍摄装置空间分布至少一部分一致，利用AR设备按照各自规定路线和路线上离散的m个点，在每一点进行眼球移动观察每一个传输过来的训练集产品，其中所述p个质检人员记录每一个训练样品检测的第一结果，S3.机器视觉采集图像：利用机器视觉装置得到第二结果；S4.智能训练模型的建立：利用AR视觉的检测的图像和机器视觉采集图像以及所述第一第二结果得到智能训练模型；S5.建立评价模型：根据智能训练模型得到评价模型；S6.待测样品检测：p个第一机器人利用AR设备按照步骤S1中的所述各自规定路线，所述在m个点中的每一个点根据机器人行为模块控制机器人扫描待测产品，得到第一结果，与机器视觉装置得到的第二结果代入步骤S5中的评价模型得到检测结果。
[0011]进一步地，步骤S1中所述的机器视觉检测出的不合格样品以及人工目测不合格的产品的两者数量具有预设的比例，所述比例为10:1
‑
1:10，优选地为5:1
‑
1:5，更优选地的3:1
‑
1:3，最优选为2:1。用户可以根据产品的特点以及技术需求而调整比例，以期望获得人和机器的经验贡献比例。为满足质检人员观察需要时长，生产线要求在产品到达预定检测位置时停留，待记录完毕时继续传输,一般停留时间为10
‑
30s。熟练的质检人员能够在停留时长范围内观察到每一方向上的产品问题并完成记录。而正式检测待测产品时停留时间可以为0
‑
3s。
[0012]进一步地，所述步骤S2中所述的在每一点进行眼球移动观察每一个传输过来的训练集产品，其中所述p个质检人员记录每一个训练样品检测的第一结果,具体包括：S2
‑
1.其中一个质检人员通过AR设备形成意图控制命令，控制第一机器人做与眼
球移动相应的扫描动作，将所述扫描动作记录在所述第一机器人的行为模块中；同时所述p个质检人员进行AR装置视觉信息采集，随眼动方向而改变面朝方位姿态，获得p组第二图像，且每组包括与所有方向上对应的一共n个第二图像；其中每个质检员在每个点上对应到相应组的n个图像按照眼动顺序排列成第二图像矩阵，并记录到一个相应的第一结果矩阵；S2
‑
2.将所述第一结果矩阵发送到AR装置中存储；其中，所述眼球移动方式是可以任意定义，一个实施例是从正视方向开始往正上方移动，接着本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于增强现实和人机综合检测的智能训练模型的产品质量检查方法，其特征在于如下步骤，S1.样品集收集：收集机器视觉检测出的不合格样品以及人工目测不合格的产品，并将所有所述不合格的产品随机分为训练集以及验证集，将训练集随机抽取通过生产线传输；S2.人工检测行为记录与AR视觉的检测：p个质检人员进入各自检测工位，其中至少一部分检测工位布置与机器视觉拍摄装置空间分布至少一部分一致，利用AR设备按照各自规定路线和路线上离散的m个点，在每一点进行眼球移动n个方向观察每一个传输过来的训练集产品，其中所述p个质检人员记录每一个训练样品检测的第一结果；S3.机器视觉采集图像：利用机器视觉装置得到第二结果；S4.智能训练模型的建立：利用AR视觉的检测的图像和机器视觉采集图像以及所述第一第二结果得到智能训练模型；S5.建立评价模型：根据智能训练模型得到评价模型；S6.待测样品检测：p个第一机器人利用AR设备按照步骤S1中的所述各自规定路线，所述在m个点中的每一个点根据机器人行为模块控制机器人扫描待测产品，得到第一结果，与机器视觉装置得到的第二结果代入步骤S5中的评价模型得到检测结果。2.根据权利要求1的产品质量检查方法，其特征在于，所述步骤S1中所述的机器视觉检测出的不合格样品以及人工目测不合格的产品的两者数量具有预设的比例，所述比例为10:1
‑
1:10，5:1
‑
1:5， 3:1
‑
1:3，或2:1中的任意一种范围，且生产线在产品到达预定检测位置时停留,所述停留时间为10
‑
30s,过停留时间后继续传输。3.根据权利要求2的产品质量检查方法，其特征在于，所述步骤S2中所述的在每一点进行眼球移动观察每一个传输过来的训练集产品，其中所述p个质检人员记录每一个训练样品检测的第一结果,具体包括：S2
‑
1.其中一个质检人员通过AR设备形成意图控制命令，控制第一机器人做与眼球移动相应的扫描动作，将所述扫描动作记录在所述第一机器人的行为模块中；同时所述p个质检人员进行AR装置视觉信息采集，随眼动方向而改变面朝方位姿态，获得p组第二图像，且每组包括与所有方向上对应的一共n个第二图像；其中每个质检员在每个点上对应到相应组的n个图像按照眼动顺序排列成第二图像矩阵，并记录到一个相应的第一结果矩阵；S2
‑
2.将所述第一结果矩阵发送到AR装置中存储；其中,对应于眼球移动，在所述记录之前，AR装置能够产生用户意图信息，并将该信息传送给p个第一机器人，在行为模块形成行为集，此时AR装置检测到眼球归位后，关闭用户意图信息产生功能，完成行为录入；用户能够将所述行为集和所述的各自规定路线组成行为库存储在AR装置中，在录入前，质检人员根据AR装置虚拟现实界面提示眼移动到相应选项并眨眼进行选择，根据扫描需要而选择行为库中行为集中的一种行为程序文件夹，从而完成第一机器人在每一个点处的扫描运动录入存储，在正式进行待测产品检测时，在每个方向上，第一机器人都进行拍摄一张图片；其中，所述记录的方式是将记录内容在移动终端上完成，具体地，在行为录入完毕后，记录每个方向上发现的问题类型，并在每一个点观察完毕时记录第一结果，并通过所述移动终端发送给AR装置；所述步骤S3中利用机器视觉装置得到第二结果包括：形成q组每组n个第三图像，其中
每组的n个图像，按照机器视觉拍摄时间顺序也排列成第三图像矩阵，同样得到一个相应的第二结果矩阵，并将所述q组每组n个第三图像矩阵和所述第二结果矩阵传输给AR设备，其中，每一个组的第二和第三图像矩阵排列规则一致，先行再列，而每一行从左往右排或反之。4.根据权利要求3所述的产品质量检查方法，其特征在于， 所述眼球移动方式是从正视方向开始往正上方移动，接着顺时针往正右、正下、正左方向移动，最后归位到正视方向，或者逆时针往正左、正下、正右方向移动，最后归位到正视方向其中，再或者从正视方向开始往正下或正左方或正右方中的一种方向移动，接着按照顺时或逆时针往相应的方向运动，最后归位到正视方向，所述移动终端包括智能手机、iPAD，笔记本电脑，以及所述的第一结果和第二结果包括问题类型d、问题的概率prop和得分s中任一项或其组合。5.根据权利要求4所述的产品质量检查方法，其特征在于，问题类型为缺陷类型，且当缺陷类型为高维维缺陷时，采用第一模型，为低维缺陷时，采用第二模型；所述第一模型包括卷积神经网络（CNN）、径向基神经网络（RBF）；所述第二模型包括深度神经网络(DNN)、循环神经网络(RNN)，其中，所述高维维缺陷包括体缺陷、面缺陷，集中分布缺陷，所述低维缺陷包括线缺陷、点缺陷；其中集中分布缺陷是指在产品某一缺陷发生部位具有至少一种高维维缺陷和/或低维缺陷集...

【专利技术属性】
技术研发人员：刘俊伟，
申请(专利权)人：泰瑞数创科技北京有限公司，
类型：发明
国别省市：