一种部件装配的检测方法、装置、系统及介质制造方法及图纸

本发明专利技术公开了一种部件装配的检测方法、装置、系统及介质。该方法包括：获取部件装配图像；对所述部件装配图像进行目标对象检测，确定至少一类目标对象的检测结果；其中，所述目标对象包括部件和/或手部；根据至少一类目标对象的检测结果，确定至少一类目标对象图像；确定各目标对象图像的至少一个检测结果；根据至少一个检测结果，确定部件装配的检测结果。本技术方案解决了部件装配的检测效率低下的问题，可以在提高部件装配的检测效率的同时，保证检测的全面性和准确性。保证检测的全面性和准确性。保证检测的全面性和准确性。

【技术实现步骤摘要】
一种部件装配的检测方法、装置、系统及介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种部件装配的检测方法、装置、系统及介质。

技术介绍

[0002]飞机装配制造领域不同于一般的机械加工领域，部件构造精密，装配复杂，不仅具有严格的空气动力学形状要求，而且内部结构复杂，空间紧凑，系统布局密集，组件数量众多。
[0003]飞机装配制造对安全性的要求极高，必须有相应的质量控制保障。然而，依赖人工完成的关键部件装配过程，需要投入额外人力对部件装配是否正确、装配操作是否规范等进行检测，存在人力成本高，监控效果难以保证的问题。

技术实现思路

[0004]本专利技术提供了一种部件装配的检测方法、装置、系统及介质，以解决部件装配的检测效率低下的问题，可以在提高部件装配的检测效率的同时，保证检测的全面性和准确性。
[0005]根据本专利技术的一方面，提供了一种部件装配的检测方法，所述方法包括：
[0006]获取部件装配图像；
[0007]对所述部件装配图像进行目标对象检测，确定至少一类目标对象的检测结果；其中，所述目标对象包括部件和/或手部；
[0008]根据至少一类目标对象的检测结果，确定至少一类目标对象图像；
[0009]确定各目标对象图像的至少一个检测结果；
[0010]根据至少一个检测结果，确定部件装配的检测结果。
[0011]根据本专利技术的另一方面，提供了一种部件装配的检测装置，该装置包括：
[0012]装配图像获取模块，用于获取部件装配图像；
[0013]目标对象检测模块，用于对所述部件装配图像进行目标对象检测，确定至少一类目标对象的检测结果；其中，所述目标对象包括部件和/或手部；
[0014]目标对象图像确定模块，用于根据至少一类目标对象的检测结果，确定至少一类目标对象图像；
[0015]图像检测结果确定模块，用于确定各目标对象图像的至少一个检测结果；
[0016]装配检测结果确定模块，用于根据至少一个检测结果，确定部件装配的检测结果。
[0017]根据本专利技术的另一方面，提供了一种部件装配检测系统，所述系统包括：
[0018]至少一个处理器；以及
[0019]与所述至少一个处理器通信连接的存储器；其中，
[0020]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的部件装配的检测方法。
[0021]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的部件装配的检测方法。
[0022]本专利技术实施例的技术方案，通过对获取的部件装配图像进行目标对象检测，确定至少一类目标对象的检测结果；然后根据至少一类目标对象的检测结果，确定至少一类目标对象图像；再确定各目标对象图像的至少一个检测结果，并根据至少一个检测结果，确定部件装配的检测结果。该方案解决了部件装配的检测效率低下的问题，可以在提高部件装配的检测效率的同时，保证检测的全面性和准确性。
[0023]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0024]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是根据本专利技术实施例一提供的一种部件装配的检测方法的流程图；
[0026]图2是根据本专利技术实施例二提供的一种部件装配的检测方法的流程图；
[0027]图3是根据本专利技术实施例三提供的一种部件装配的检测方法的流程图；
[0028]图4是根据本专利技术实施例四提供的一种部件装配的检测装置的结构示意图；
[0029]图5是实现本专利技术实施例的部件装配的检测方法的部件装配检测系统的结构示意图。
具体实施方式
[0030]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0031]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、设备、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0032]实施例一
[0033]图1为本专利技术实施例一提供了一种部件装配的检测方法的流程图，本实施例可适
用于飞机装配制造过程中的部件装配检测场景，该方法可以由部件装配的检测装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于部件装配检测系统中。如图1所示，该方法包括：
[0034]S110、获取部件装配图像。
[0035]本方案可以由部件装配检测系统执行，所述部件装配检测系统可以在飞机、车辆等设备组装过程的部件装配进行检测。部件装配检测系统可以配置有视觉传感器，用于采集部件装配过程中的图像。其中，所述部件装配图像可以包括部件、装配机械以及装配人员等对象，可以包括部件装配过程中的一张或多张图像。部件装配检测系统还可以配置有虚拟现实设备，例如虚拟现实眼镜，由装配人员佩戴，从装配人员视角采集部件装配图像。
[0036]在一个优选的方案中，所述获取部件装配图像，包括：
[0037]获取虚拟现实设备采集的部件装配图像；其中，所述虚拟现实设备由装配人员佩戴。
[0038]该方案可以在通过装配人员视角采集部件装配图像的同时，保护装配人员眼睛，有利于获取近距离的装配细节图像，进而保证部件装配检测的准确性和可靠性。
[0039]S120、对所述部件装配图像进行目标对象检测，确定至少一类目标对象的检测结果；其中，所述目标对象包括部件和/或手部。
[0040]部件装配检测系统可以基于预先训练的目标检测模型，对部件装配图像进行一个或多个目标对象检测。其中，所述目标对象可以包括部件、人体的手部以及机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种部件装配的检测方法，其特征在于，所述方法包括：获取部件装配图像；对所述部件装配图像进行目标对象检测，确定至少一类目标对象的检测结果；其中，所述目标对象包括部件和/或手部；根据至少一类目标对象的检测结果，确定至少一类目标对象图像；确定各目标对象图像的至少一个检测结果；根据至少一个检测结果，确定部件装配的检测结果。2.根据权利要求1所述的方法，其特征在于，所述确定各目标对象图像的至少一个检测结果，包括：根据部件图像，确定部件类型识别结果；基于预先训练的卷积神经网络，确定所述部件图像的第一特征，并根据所述部件类型识别结果，确定与所述部件图像匹配的第二特征；根据所述第一特征和第二特征，确定部件姿态检测结果；其中，所述部件姿态检测结果包括部件空间坐标和部件旋转信息。3.根据权利要求2所述的方法，其特征在于，所述第一特征为二维特征，所述第二特征为三维特征；所述根据所述部件类型识别结果，确定与所述部件图像匹配的第二特征，包括：根据所述部件类型识别结果，在预先获取的三维点云数据集合中确定目标点云数据；基于点云分割模型，对所述目标点云数据进行处理，确定与所述部件图像匹配的三维特征。4.根据权利要求2所述的方法，其特征在于，所述确定各目标对象图像的至少一个检测结果，包括：根据手部图像，确定关节点检测结果；根据所述关节点检测结果，确定装配手势检测结果。5.根据权利要求4所述的方法，其特征在于，所述关节点检测结果包括关节点位置数据；所述根据手部图像，确定关节点检测结果，包括：基于关节点检测模型，对手部图像进行处理，确定关节点位置数据；所述根据所述关节点检测结果，确定装配手势检测结果，包括：基于手势分类模型，对所述关节点位置数据进行处理，确定装配手势检测结果。6.根据权...

【专利技术属性】
技术研发人员：陈智超，陈冉，庞微，陆峰，查文陆，徐鹏，杨耀坤，
申请(专利权)人：上海飞机制造有限公司，
类型：发明
国别省市：