一种基于桌面投影的增强现实辅助装配系统及方法技术方案

本发明专利技术公开了一种基于桌面投影的增强现实辅助装配系统及方法，所述系统包括增强现实功能实现模块、装配信息管理与可视化模块、人机交互模块。本发明专利技术通过投影显示的增强现实技术将原本装配过程中复杂的装配操作呈现在操作者眼前，降低了对装配人员的研读工艺的认知水平和经验判断能力的要求，从而降低了装配难度和装配错误率，提高了装配的人工装配效率。本发明专利技术引入冯氏光照模型，使渲染出的图像更具真实感；本发明专利技术中人头识别功能的引入，使投影模型的角度和位置可根据操作人员位置改变，进行自适应变换，实现了现场装配信息的更新以及观测模型视角合理性和直观性，使增强现实效果更加显著。更加显著。更加显著。

【技术实现步骤摘要】
一种基于桌面投影的增强现实辅助装配系统及方法


[0001]本专利技术涉及增强现实技术，特别是一种基于桌面投影的增强现实辅助装配系统及方法。

技术介绍

[0002]增强现实技术是一种将虚拟信息和真实世界“无缝”融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
[0003]传统制造业逐步向智能化方向发展，增强现实技术在制造业的发展中将占有一席之地，在设计、制造装配、装配检验等方面都具有良好应用前景。随着现代机械产品设备越来越复杂化、综合化、自动化，装配人员的专业知识、认知水平及操作熟练度直接影响着装配的效率；装配指导书以及装配工艺卡片可以给装配人员提供装配流程及注意事项等但由于直观性差，导致装配效率降低。虚拟现实和增强现实技术在人工辅助装配领域的应用，大大提高了装配工艺信息可视化水平，在真实的装配场景中融合叠加虚拟的数字图像形式的引导信息，使工人能够及时获取装配操作过程中所需的信息，如当前操作步骤、所需装配的零件、装配技巧、注意事项和是否装配正确等在装配过程中制约效率的问题，这对于降低装配操作难度，提高装配效率和产品质量具有重要意义。
[0004]与本专利技术最接近的现有技术是公开号为CN113220121A的中国专利技术专利《公开了一种基于投影显示的AR紧固件辅助装配系统及方法》，该申请包括工艺数据库建立、AR智能引导以及装配过程的检测，将抽象的装配指导工艺以AR可视化的方式投影在装配操作现场，并对装配结果予以实时检测反馈。但这种辅助装配系统基本适用于固定位置装配，在实际装配过程中，若装配人员位置或工件位置发生改变，投影图像无法根据人员位置和工件位置进行自适应位置变换，因此在实际装配中，其适用的广泛性受到极大限制。

技术实现思路

[0005]专利技术目的：本专利技术的目的是提供一种基于桌面投影的增强现实辅助装配系统及方法，从而将原本装配过程中复杂的装配操作呈现在操作者眼前，降低了对装配操作人员的研读装配工艺的水平，提高了装配效率。
[0006]技术方案：本专利技术所述的一种基于桌面投影的增强现实辅助装配系统，包括以下模块：
[0007]增强现实功能实现模块：用于进行图像采集与处理、相机投影仪联合标定，以及图像特征的识别与匹配；
[0008]装配信息管理与可视化模块：用于为装配现场的可视化元素提供数据支持，并有效地组织和管理传统装配过程中涉及的数据源；
[0009]人机交互模块：用于使装配人员与操作平台的便利地进行交互，包含了人头识别
检测子模块和手势识别检测子模块。
[0010]一种基于桌面投影的增强现实辅助装配方法，包括以下步骤：步骤1、建立增强现实辅助装配系统的增强现实功能实现模块、装配信息管理与可视化模块、人机交互模块三大模块间的架构。
[0011]步骤2、搭建实体辅助装配操作平台；所述实体辅助装配操作平台包含一台投影仪、两台工业数字相机、触摸式操作台、装配工作台和标定板；投影仪和两台工业相机通过固定支架安装在装配操作台上方，通过线缆与触摸式操作台相连，触摸式操作台管理着整个实体辅助装配操作平台的启动与关闭，并对增强现实功能实现模块、装配信息管理与可视化模块、人机交互模块三大模块进行控制与管理，从而快速进行人机交互。
[0012]步骤2中所述的实体辅助装配操作平台包含一台投影仪、两台工业数字相机、触摸式操作台、装配工作台和标定板；投影仪和两台工业相机通过固定支架安装在装配操作台上方，通过线缆与触摸式操作台相连，触摸式操作台管理着整个实体辅助装配操作平台的启动与关闭，并对增强现实功能实现模块、装配信息管理与可视化模块、人机交互模块三大模块进行控制与管理，从而快速进行人机交互；装配人员在工作过程中，相机采集装配现场实时照片，传入触摸式操作台中进行人头识别，得出符合操作人员视角的模型，并通过投影仪反馈到装配工作台；如果要进行安装步骤的切换，则需要在实体辅助装配操作平台上的指定区域做出对应手势，相机将采集到的手势图像传入触摸式操作台，触摸式操作台对手势图像进行分析，将反馈的装配信息通过投影仪投射到装配工作台上。
[0013]步骤3、搭建虚拟操作软件平台；虚拟操作软件平台主要由硬件设置模块、参数标定模块、编码调试模块、工作模式模块和选择项目模块五个模块构成；硬件设置模块提供多相机设备选项；参数标定模块控制相机标定和肤色数据采集；编码调试模块控制整个系统的调整和测试；工作模式模块提供投影仪多种投影模式选项；项目选择模块则控制装配项目和步骤信息的载入，并在软件界面上建立装配规划和辅助信息显示区域。
[0014]步骤4、相机与投影仪进行联合标定并对桌面装配实时场景进行位姿注册，得到实时桌面装配现场和投影仪之间的相对位姿；所述步骤4具体步骤如下：
[0015]步骤4.1、相机标定。
[0016]步骤4.1.1、采集图像并获取特征点的坐标。
[0017]步骤4.1.2、利用编码将图像坐标与世界坐标相对应，得出相机参数，即内外参数以及畸变参数，随之得到相机成像平面与标定板之间的投影映射，称为单应性矩阵H，单应矩阵H用于校正原始采集的标定板图像，以生成对应标定板的正面视图。
[0018]步骤4.1.3、运用数字图像相关法测量模板图形相较于正面视图圆心坐标的偏移距离，获得精确度更高的控制点坐标，再次使用张氏标定法对相机标定，从而获得精度更高标定结果。
[0019]步骤4.2、投影仪标定。
[0020]步骤4.2.1、利用标定后的相机采集投影图形，求解投影图像的世界坐标，从而得到特征点的世界坐标。
[0021]步骤4.2.2、通过投影仪投影出与相机标定图案类似的标定板图案至空白标定板，用于获取相机相对于空白标定板的位姿。
[0022]步骤4.2.3、获得相机和投影仪两者之间的相对旋转矩阵R
r
和相对平移向量T
r
，通
过以下公式求得：
[0023][0024]T
r
＝t
c
‑
Rt
pro
(2)
[0025]式中，R
c
和t
c
为相机的外部参数，与投影仪的外部参数R
pro
和t
pro
相结合，即可求得相机与投影仪之间的相对位姿。
[0026]步骤4.3、进行相机与装配场景之间的位姿注册。
[0027]步骤4.3.1、相机采集实时装配零件的场景图像，利用加速稳健特征算法对关键点进行检测，利用提前设置好的阈值对特征点进行初匹配，并将符合条件的匹配结果进行储存。
[0028]步骤4.3.2、对匹配结果中误差较大的特征点用随机抽样一致算法筛选剔除。
[0029]步骤4.3.3、计算参考图像与现场图像的单应性矩阵，完成相机与装配场景之间的位姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于桌面投影的增强现实辅助装配系统，其特征在于，包括以下模块：增强现实功能实现模块：用于进行图像采集与处理、相机投影仪联合标定，以及图像特征的识别与匹配；装配信息管理与可视化模块：用于为装配现场的可视化元素提供数据支持，并有效地组织和管理传统装配过程中涉及的数据源；人机交互模块：用于使装配人员与操作平台的便利地进行交互，包含了人头识别检测子模块和手势识别检测子模块。2.一种基于桌面投影的增强现实辅助装配方法，其特征在于，包括以下步骤：步骤1、建立增强现实辅助装配系统的增强现实功能实现模块、装配信息管理与可视化模块、人机交互模块三大模块间的架构；步骤2、搭建实体辅助装配操作平台；所述实体辅助装配操作平台包含一台投影仪、两台工业数字相机、触摸式操作台、装配工作台和标定板；投影仪和两台工业相机通过固定支架安装在装配操作台上方，通过线缆与触摸式操作台相连，触摸式操作台管理着整个实体辅助装配操作平台的启动与关闭，并对增强现实功能实现模块、装配信息管理与可视化模块、人机交互模块三大模块进行控制与管理，从而快速进行人机交互；步骤3、搭建虚拟操作软件平台；虚拟操作软件平台主要由硬件设置模块、参数标定模块、编码调试模块、工作模式模块和选择项目模块五个模块构成；硬件设置模块提供多相机设备选项；参数标定模块控制相机标定和肤色数据采集；编码调试模块控制整个系统的调整和测试；工作模式模块提供投影仪多种投影模式选项；项目选择模块则控制装配项目和步骤信息的载入，并在软件界面上建立装配规划和辅助信息显示区域；步骤4、相机与投影仪进行联合标定并对桌面装配实时场景进行位姿注册，得到实时桌面装配现场和投影仪之间的相对位姿；步骤5、建立包含零件树和装配引导步骤的投影信息管理模型，将图片、模型、步骤信息、装配指导动画以结构化形式载入投影信息管理模型；实体辅助装配操作平台采用此模型作为增强现实辅助装配系统的数据输入，并且增强现实辅助装配系统能够一次读取多个文件实现引导案例的切换；步骤6、使用冯氏光照模型对环境光照进行模拟，将所模拟光照的信息和数模材质信息结合模具上各点在世界坐标系下的坐标信息及法向信息进行综合计算；步骤7、建立人头识别检测子模块，进行装配人员视角计算；步骤8、建立手势识别检测子模块：根据涉及到的主要手势建立相关存储路径；调用相机依次采集各手势图像并进行保存；对保存后的手势图像进行预处理，建立手势识别相关模型，在测试过程中，调用相机获取现场手势信息，并利用KNN算法匹配获得最佳手势信息，输出结果；步骤9、检测装配工作台周边环境图像和手势图像数据集，相机采集现场图像与离线图像模板进行匹配，进行人头识别，在装配场景中，引导图形信息通过投影仪投射到零部件的指定位置，对待装配部位进行高亮显示，实体辅助装配操作平台的引导图形的形状为四边形，其位置由选定的四个限定点世界坐标确定；根据步骤5的投影信息管理模型，对装配辅助信息的显示位置进行布局，将其投射在装配现场的固定位置区域，通过手势识别进行装配步骤的切换，直至检测完成；步骤10、建立装配过程人员检测系统，包括建立离线装配图像数据集和相机实时拍摄，
通过相机对当前步骤的操作人员装配位置进行拍摄，并与离线图像模板进行匹配分析，及时对人员操作进行建议、评价和警报。3.根据权利要求2所述的一种基于桌面投影的增强现实辅助装配系统，其特征在于，步骤2中所述的实体辅助装配操作平台包含一台投影仪、两台工业数字相机、触摸式操作台、装配工作台和标定板；投影仪和两台工业相机通过固定支架安装在装配操作台上方，通过线缆与触摸式操作台相连，触摸式操作台管理着整个实体辅助装配操作平台的启动与关闭，并对增强现实功能实现模块、装配信息管理与可视化模块、人机交互模块三大模块进行控制与管理，从而快速进行人机交互；装配人员在工作过程中，相机采集装配现场实时照片，传入触摸式操作台中进行人头识别，得出符合操作人员视角的模型，并通过投影仪反馈到装配工作台；如果要进行安装步骤的切换，则需要在实体辅助装配操作平台上的指定区域做出对应手势，相机将采集到的手势图像传入触摸式操作台，触摸式操作台对手势图像进行分析，将反馈的装配信息通过投影仪投射到装配工作台上。4.根据权利要求2所述的一种基于桌面投影的增强现实辅助装配系统，其特征在于，所述步骤4具体步骤如下：步骤4.1、相机标定；步骤4.1.1、采集图像并获取特征点的坐标；步骤4.1.2、利用编码将图像坐标与世界坐标相对应，得出相机参数，即内外参数以及畸变参数，随之得到相机成像平面与标定板之间的投影映射，称为单应性矩阵H，单应矩阵H用于校正原始采集的标定板图像，以生成对应标定板的正面视图；步骤4.1.3、运用数字图像相关法测量模板图形相较于正面视图圆心坐标的偏移距离，获得精确度更高的控制点坐标，再次使用张氏标定法对相机标定，从而获得精度更高标定结果；步骤4.2、投影仪标定；步骤4.2.1、利用标定后的相机采集投影图形，求解投影图像的世界坐标，从而得到特征点的世界坐标；步骤4.2.2、通过投影仪投影出与相机标定图案类似的标定板图案至空白标定板，用于获取相机相对于空白标定板的位姿；步骤4.2.3、获得相机和投影仪两者之间的相对旋转矩...

【专利技术属性】
技术研发人员：张辉，车伟民，陈瑶，官震，林尉，章鸿基，朱成顺，朱鹏程，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：