一种基于目标检测的装配诱导信息生成及显示方法技术

本发明专利技术涉及一种基于目标检测的装配诱导信息生成及显示方法，包括以下步骤：定义装配诱导信息，确定各零部件与装配体装配进程之间的关系，并定义装配进程与诱导信息之间的关联关系；实时采集当前装配体的图像，通过零部件检测模型识别当前装配体上的所有已装配的零部件，并读取每个已装配的零部件的位置信息；根据已装配的零部件确认装配进程，并基于装配进程与诱导信息之间的关联关系查询对应的诱导信息；根据每个已装配的零部件的位置信息确认显示设备的显示画面中的空白区域，在空白区域中显示对应的诱导信息。域中显示对应的诱导信息。域中显示对应的诱导信息。

【技术实现步骤摘要】
一种基于目标检测的装配诱导信息生成及显示方法


[0001]本专利技术涉及一种基于目标检测的装配诱导信息生成及显示方法，属于计算机辅助智能制造领域，尤其属于装配维修诱导和增强现实应用


技术介绍

[0002]装配和维修是影响装配性能和质量的关键。在飞机、航天器等复杂产品的装配维修多以手工作业、离散装配为主，具有装配操作多、装配过程复杂、装配零件与环节多、装配周期长等特点。另外，大批量个性化定制生产是家电等产品制造的发展趋势，在大批量个性化定制装配中，同一产线上同时生产不同型号的产品，装配人员需要依据产品型号频繁改变装配工艺。因此，在复杂产品的装配维修和大批量个性化定制产品的装配中，操作人员的装配难度增加、需要的装配知识增加，装配维修中时有差错发生。纸质和电子手册广泛应用于产品装配维修指导，但使用纸质和电子手册时装配操作者需边操作设备、边手动查看手册，操作难度大、效率低；并且注意力和手需要在手册和设备之间频繁切换，易受周围环境影响，会造成装配差错等问题。
[0003]增强现实技术能够将计算机产生的虚拟信息直接叠加在物理场景上显示，但是在基于AR的装配维修中，如何提高人机交互性，如何根据操作者和产品的装配进程，生成操作者急需的可视化诱导信息，并将信息自然高效的推送、显示给操作者是急需解决的问题；另外一方面，在进行AR显示时，如果诱导信息叠加(遮挡)在有用的物理场景上(如装配体上、工具上等)，将会阻碍装配，无法发挥信息诱导的作用。

技术实现思路

[0004]为了解决上述现有技术中存在的问题，本专利技术提出了一种基于目标检测的装配诱导信息生成及显示方法，通过检测装配体上的零部件获取装配进程，生成对应的诱导信息，选择显示画面中的空白区域，将诱导信息叠加在空白区域中进行显示。
[0005]本专利技术的技术方案如下：
[0006]一种基于目标检测的装配诱导信息生成及显示方法，包括以下步骤：
[0007]定义装配诱导信息，确定各零部件与装配体装配进程之间的关系，并定义装配进程与诱导信息之间的关联关系；
[0008]实时采集当前装配体的图像，通过零部件检测模型识别当前装配体上的所有已装配的零部件，并读取每个已装配的零部件的位置信息；
[0009]根据已装配的零部件确认装配进程，并基于装配进程与诱导信息之间的关联关系查询对应的诱导信息；
[0010]根据每个已装配的零部件的位置信息确认显示设备的显示画面中的空白区域，在空白区域中显示对应的诱导信息。
[0011]作为优选实施方式，所述确定各零部件与装配体装配进程之间的关系的步骤具体为：
[0012]确定装配体的所有装配步骤；
[0013]定义每一装配步骤中装配体上所有需要装配的零部件的名称集合。
[0014]作为优选实施方式，所述定义装配进程与诱导信息之间的关联关系的步骤具体为：
[0015]定义每个装配步骤完成后需要产生的诱导信息；
[0016]所述诱导信息包括文字信息、图片信息、视频信息中的一种或两种以上的组合。
[0017]作为优选实施方式，所述零部件检测模型经过预训练生成，所述预训练的步骤具体如下：
[0018]对应装配体装配的每一装配步骤，拍摄若干不同视角的装配体图像；
[0019]对每一装配体图像中的每一零部件进行标注，将标注好的图像放入训练集中；
[0020]通过训练集对基于神经网络的目标检测模型进行训练，得到所述零部件检测模型。
[0021]作为优选实施方式，在读取每个已装配的零部件的位置信息步骤中，所述位置信息具体为每个已装配的零部件的经零部件检测模型输出的锚框顶点在显示画面中的坐标。
[0022]作为优选实施方式，所述根据每个已装配的零部件的位置信息确认显示设备的显示画面中的空白区域的步骤具体为：
[0023]将显示画面进行网格化，并对每个网格添加网格属性，所述网格属性包括网格编号、网格尺寸、网格中心点坐标以及占用指数，设定指数阈值，比较占用指数以及指数阈值的大小判断网格是否被锚框占用；
[0024]计算每一网格的占用指数，根据每一网格的网格尺寸和网格中心点坐标计算网格各个顶点的坐标；根据各锚框顶点在显示画面中的坐标以及网格各个顶点的坐标计算网格的各顶点是否处于任一锚框内，根据处于锚框内顶点确定该网格的占用指数；
[0025]计算显示画面中未被占用的区域，遍历显示画面中所有未被占用的网格，计算显示画面中面积最大的未被占用网格的连通区域，将该连通区域作为空白区域。
[0026]作为优选实施方式，以AR增强现实的方式将所述诱导信息叠加在空白区域中进行显示。
[0027]另一方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本专利技术任一实施例所述的基于目标检测的装配诱导信息生成及显示方法。
[0028]再一方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本专利技术任一实施例所述的基于目标检测的装配诱导信息生成及显示方法。
[0029]本专利技术具有如下有益效果：
[0030]1、本专利技术一种基于目标检测的装配诱导信息生成及显示方法，通过检测装配体上的零部件获取装配进程，生成对应的诱导信息，选择显示画面中的空白区域，将诱导信息叠加在空白区域中进行显示，解决现有技术中诱导信息会遮挡画面中的有效场景的缺陷。
[0031]2、本专利技术一种基于目标检测的装配诱导信息生成及显示方法，根据识别到的零部件确定装配步骤，并定义每一装配步骤对应的诱导信息，能够高效的将诱导信息推送、显示给操作者。
[0032]3、本专利技术一种基于目标检测的装配诱导信息生成及显示方法，根据锚框的位置信息计算所有未被占用的网格，并选取面积最大的未被占用的网格的连通区域作为空白区域，能够动态调整空白区域，具有跟随性，提高诱导信息的显示效果。
附图说明
[0033]图1为本专利技术实施例一的方法流程图；
[0034]图2为本专利技术实施例中显示画面网格化以及画面中零部件锚框的示例图；
[0035]图3为本专利技术实施例中网格被锚框占用的示例图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
[0038]应当理解，在本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的装配诱导信息生成及显示方法，其特征在于，包括以下步骤：定义装配诱导信息，确定各零部件与装配体装配进程之间的关系，并定义装配进程与诱导信息之间的关联关系；实时采集当前装配体的图像，通过零部件检测模型识别当前装配体上的所有已装配的零部件，并读取每个已装配的零部件的位置信息；根据已装配的零部件确认装配进程，并基于装配进程与诱导信息之间的关联关系查询对应的诱导信息；根据每个已装配的零部件的位置信息确认显示设备的显示画面中的空白区域，在空白区域中显示对应的诱导信息。2.根据权利要求1所述的一种基于目标检测的装配诱导信息生成及显示方法，其特征在于，所述确定各零部件与装配体装配进程之间的关系的步骤具体为：确定装配体的所有装配步骤；定义每一装配步骤中装配体上所有需要装配的零部件的名称集合。3.根据权利要求2所述的一种基于目标检测的装配诱导信息生成及显示方法，其特征在于，所述定义装配进程与诱导信息之间的关联关系的步骤具体为：定义每个装配步骤完成后需要产生的诱导信息；所述诱导信息包括文字信息、图片信息、视频信息中的一种或两种以上的组合。4.根据权利要求1所述的一种基于目标检测的装配诱导信息生成及显示方法，其特征在于，所述零部件检测模型经过预训练生成，所述预训练的步骤具体如下：对应装配体装配的每一装配步骤，拍摄若干不同视角的装配体图像；对每一装配体图像中的每一零部件进行标注，将标注好的图像放入训练集中；通过训练集对基于神经网络的目标检测模型进行训练，得到所述零部件检测模型。5.根据权利要求4所述的一种基于目标检测的装配诱导信息生成及显示方法...

【专利技术属性】
技术研发人员：陈成军，武殿梁，方维，郑帅，官源林，李东年，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：