基于混合现实技术的3D打印辅助方法、系统及应用技术方案

本发明专利技术属于3D打印相关技术领域，其公开了一种基于混合现实技术的3D打印辅助方法、系统及应用，该方法包括：生成待打印件的虚拟模型；采用相机获取现场深度图像数据；利用深度图像数据生成点云，根据点云匹配算法对待打印件实现三维重建；将三维重建构型与虚拟模型进行实时比对，获取操作辅助信息；将虚拟模型、操作辅助信息导入混合现实场景中并可视化叠加显示虚拟模型以及三维重建构型，操作人员根据操作辅助信息更改加工参数直至三维重建构型与虚拟模型的误差值在预设范围。本申请可以远距离直观看到当前现场的打印状态，及时发现打印误差，使得打印产品更加精准，尤其适用于恶劣环境下打印状态的远距离监测和打印策略的调整。境下打印状态的远距离监测和打印策略的调整。境下打印状态的远距离监测和打印策略的调整。

【技术实现步骤摘要】
基于混合现实技术的3D打印辅助方法、系统及应用


[0001]本专利技术属于3D打印相关
，更具体地，涉及一种基于混合现实技术的3D打印辅助方法、系统及应用。

技术介绍

[0002]混凝土3D打印是一种以数据模型为基础融合多种学科的建造方法，由于混凝土本身所具有的流动性，导致对打印件精度的控制十分困难，所以目前混凝土3D打印工艺始终存在成形质量问题，而且在实际加工过程中，操作人员无法近距离观察打印件形变情况，难以及时做出工艺性调整，是当前提高工艺质量的主要障碍。在目前的混凝土3D打印工作流程中，部分作业流程需要依赖操作人员的经验对操作人员的专业水平要求很高，制备的精度完全移开操作人员，制备精度不稳定，并且制备效率低。

技术实现思路

[0003]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于混合现实技术的3D打印辅助方法、系统及应用，可以远距离直观看到当前现场的打印状态，及时发现打印误差及时纠正，使得打印产品更加精准，提高打印效率，尤其适用于恶劣环境下打印状态的远距离监测和打印策略的调整。
[0004]为实现上述目的，按照本专利技术的一个方面，提供了一种基于混合现实技术的3D打印辅助方法，所述方法包括：S1：根据待打印件的二维或三维图形生成待打印件的虚拟模型；S2：在待打印件进行3D打印的过程中采用相机获取现场二维图像数据和深度图像数据；S3：利用深度图像数据生成点云，根据随机一致性四点集和全局搜索策略的点云匹配算法实现点云的匹配并设定阈值筛除无效匹配点，以对于待打印件实现三维重建，生成三维重建构型；S4：将所述三维重建构型与所述虚拟模型进行实时比对，获取操作辅助信息，所述操作辅助信息包括当前加工中打印件的加工参数、加工进度、几何误差；S5：将所述虚拟模型、操作辅助信息导入混合现实场景中并可视化叠加显示虚拟模型以及三维重建构型，操作人员根据所述操作辅助信息更改加工参数直至所述三维重建构型与所述虚拟模型的误差值在预设范围。
[0005]优选地，步骤S1中当采用待打印件的二维图形生成待打印件的虚拟模型时包括：将所述二维图形转化为STL中性文件，获取文件中所有的面、顶点和边界信息，使用分类算法对所述信息进行简化处理，而后将顶点信息进行坐标转换、对面进行延展和修剪、并进行着色和渲染生成所述虚拟模型。
[0006]优选地，所述几何误差包括几何重合度，采用如下方式获得所述几何重合度：
[0007]将所述虚拟模型与三维重建构型的底面对齐，并将三维重建构型分割成体积为ΔS的微小体积，则所述几何重合度Q
G
为：
[0008][0009]其中，n为所述虚拟模型内部包含的微小体积数，d
k
为三维重建构型表面所占网格距离虚拟模型表面的垂直距离，v1为构件三维重构模型的体积，v2为虚拟模型的体积。
[0010]优选地，所述几何误差还包括线轮廓、表面轮廓、直线度、圆度、圆柱度、平整度、倾斜度、垂直度以及平行度。
[0011]优选地，步骤S5中采用图像自然特征识别跟踪注册算法实现所述虚拟模型的精确定位。
[0012]优选地，采用如下方式实现所述虚拟模型的精确定位：对相机进行标定获得相机的内参和外参、以及二维图像的坐标系至三维世界坐标系的投影矩阵；采用图像自然特征点检测算法对所述二维图像数据进行快速特征检测，对快速特征检测获取得到的特征应用描述算子进行特征描述获得自然特征；将所述自然特征中的特征点与混合现实单元中的特征点进行匹配；利用所述投影矩阵获取所述自然特征中的特征点的三维世界坐标；通过混合现实技术的虚实叠加算法对所述三维世界坐标进行解算并将解算结果作为虚拟模型的基准，所述虚拟模型基于所述基准实现快速定位。
[0013]按照本专利技术的另一个方面，提供了一种基于混合现实技术的3D打印辅助系统，所述系统包括：模型生成单元，用于根据待打印件的二维或三维图形生成待打印件的虚拟模型；图像采集单元，用于在待打印件进行3D打印的过程中采用相机获取现场二维图像数据和深度图像数据；模型重构单元，用于利用深度图像数据生成点云，根据随机一致性四点集和全局搜索策略的点云匹配算法对待打印件实现三维重建，生成三维重建构型；比对单元，用于将所述三维重建构型与所述虚拟模型进行实时比对，获取操作辅助信息，所述操作辅助信息包括当前加工参数、加工进度、几何误差；显示和处理单元，将所述虚拟模型、操作辅助信息导入混合现实场景中并可视化叠加显示虚拟模型以及三维重建构型，操作人员根据所述操作辅助信息更改加工参数直至所述三维重建构型与所述虚拟模型的误差值在预设范围。
[0014]按照本申请的再一方面，提供了一种基于混合现实技术的3D打印辅助方法的应用，所述方法应用于混凝土的3D打印过程中。
[0015]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，本专利技术提供的基于混合现实技术的3D打印辅助方法、系统及应用具有如下有益效果：
[0016]1.本申请通过模型重构与比对可以实现打印过程中打印误差的及时发现和处理并能直观看到处理后重构模型和虚拟模型的重合情况，进而可以直观的评判是否还需要进行参数修正。
[0017]2.本申请通过混合现实技术实现将数据和模型直观的呈现在操作人员视野中，可以实现远距离观测，尤其适用于恶劣环境下的远距离打印状态监测，避免恶劣环境对操作人员的安全威胁。
[0018]3.本申请基于分类算法通过坐标转换、延展和修剪可以实现非三维模型的三维构建，尤其是可以实现二维工程蓝图的三维重构具有重要的工程应用价值。
附图说明
[0019]图1是本申请的基于混合现实技术的3D打印辅助方法的步骤图；
[0020]图2是本申请的基于混合现实技术的3D打印辅助系统的框图；
[0021]图3是本申请实施例的基于混合现实技术的3D打印辅助方法的应用场景图。
具体实施方式
[0022]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0023]请参阅图1，本专利技术提供了一种基于混合现实技术的3D打印辅助方法，所述方法包括S1～S5。
[0024]S1：根据待打印件的二维或三维图形生成待打印件的虚拟模型；
[0025]执行打印操作前，将待打印件的二维或三维图形进行处理，转化为STL中性文件，例如将待打印件的CAD工程图纸进行处理转化成STL中性文件，在文件中读取图纸中所有的面、顶点和边界信息，使用分类算法进行简化和处理，将顶点几何信息进行坐标转换，对所有的面进行延展和修剪，执行着色和渲染指令，从而生成虚拟模型。
[0026]S2：在待打印件进行3D打印的过程中采用相机获取现场二维图像数据和深度图像数据；
[0027]例如，可以采用工业相机获得现场包括待打印件打印现状的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合现实技术的3D打印辅助方法，其特征在于，所述方法包括：S1：根据待打印件的二维或三维图形生成待打印件的虚拟模型；S2：在待打印件进行3D打印的过程中采用相机获取现场二维图像数据和深度图像数据；S3：利用深度图像数据生成点云，根据随机一致性四点集和全局搜索策略的点云匹配算法实现点云的匹配并设定阈值筛除无效匹配点，以对于待打印件实现三维重建，生成三维重建构型；S4：将所述三维重建构型与所述虚拟模型进行实时比对，获取操作辅助信息，所述操作辅助信息包括当前加工中打印件的加工参数、加工进度、几何误差；S5：将所述虚拟模型、操作辅助信息导入混合现实场景中并可视化叠加显示虚拟模型以及三维重建构型，操作人员根据所述操作辅助信息更改加工参数直至所述三维重建构型与所述虚拟模型的误差值在预设范围。2.根据权利要求1所述的方法，其特征在于，步骤S1中当采用待打印件的二维图形生成待打印件的虚拟模型时包括：将所述二维图形转化为STL中性文件，获取文件中所有的面、顶点和边界信息，使用分类算法对所述信息进行简化处理，而后将顶点信息进行坐标转换、对面进行延展和修剪、并进行着色和渲染生成所述虚拟模型。3.根据权利要求1所述的方法，其特征在于，所述几何误差包括几何重合度，采用如下方式获得所述几何重合度：将所述虚拟模型与三维重建模型的底面对齐，并将三维重建构型分割成体积为ΔS的微小体积，则所述几何重合度Q
G
为：其中，n为所述虚拟模型内部包含的微小体积数，d
k
为三维重建构型表面所占网格距离虚拟模型表面的垂直距离，v1为构件三维重构模型的体积，v2为虚拟模型的体积。4.根据权利要求3所述的方法，其特征在于，所述几何误差还包括线轮廓、表面轮廓、直线度、圆度、圆柱度、平整度、倾斜...

【专利技术属性】
技术研发人员：刘世平，马梓焱，骆汉宾，安文博，黄元境，夏文杰，曹俊峰，熊世树，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：