投影贴图的方法及装置制造方法及图纸

本申请提供一种投影贴图的方法及装置。投影贴图的方法，应用于投影贴图的控制系统中的控制设备，控制系统还包括相机和投影仪；该方法包括：获取光栅图像；光栅图像为相机采集的包含投影仪在待投影物体上投射的光栅图案的图像；基于光栅图像，获得投影仪的视差图像；获取离散彩色图像；离散彩色图像为对光栅图像进行变换后的图像，离散彩色图像中包括孔洞区域；基于视差图像，对孔洞区域进行修复，获得第一修复图像；基于第一修复图像和视差图像，生成投影图像；控制投影仪将所述投影图像投射在待投影物体上。该方法用以简化投影贴图的操作流程，提高实用性。

【技术实现步骤摘要】
投影贴图的方法及装置
本申请涉及三维重建
，具体而言，涉及一种投影贴图的方法及装置。
技术介绍
现有的相机-投影仪三维重建技术中，基本都需要对相机和投影仪姿态做严格标定。传统的三角测量原理中，每次标定完毕后相对姿态不能变化，一旦相对位置发生变化，需要重新进行姿态标定。近来的相位-高度映射理论，通过向参考平面和检测面分别投射多张具有一定相位差的光栅图像，然后再结合相位-高度映射关系式，得到检测面至参考面的相对深度信息，较传统方式有所改进，操作流程得到简化，但是对于无参考平面的使用场景，无法求得准确的相位差，进而难以得到深度信息。并且，虽然操作流程有一定的简化，但是流程仍然较为复杂。因此，现有的相机-投影仪三维重建技术，操作流程复杂，且实用性较差。
技术实现思路
本申请实施例的目的在于提供一种投影贴图的方法及装置，用以简化投影贴图的操作流程，提高实用性。第一方面，本申请实施例提供一种投影贴图的方法，应用于投影贴图的控制系统中的控制设备，所述控制系统还包括相机和投影仪；所述方法包括：获取光栅图像；所述光栅图像为相机采集的包含所述投影仪在待投影物体上投射的光栅图案的图像；基于所述光栅图像，获得所述投影仪的视差图像；获取离散彩色图像；所述离散彩色图像为对所述光栅图像进行变换后的图像，所述离散彩色图像中包括孔洞区域；基于所述视差图像，对所述孔洞区域进行修复，获得第一修复图像；基于所述第一修复图像和所述视差图像，生成投影图像；控制所述投影仪将所述投影图像投射在所述待投影物体上。r>在本申请实施例中，与现有技术相比，一方面，通过投影仪投射光栅图案，相机采集包含该光栅图案的光栅图像，控制设备基于该光栅图像执行后续的图像处理流程即可。每次在使用时相机和投影仪可灵活组装，相对姿态变换后，无需重新进行姿态标定，使用便利，一定程度上简化了操作流程。另一方面，基于光栅图像，确定投影仪的视差图像，投影仪的视差可以反映场景深度渐变情况(即深度信息)；基于该视差图像，能够实现基于深度信息的投影贴图，完成三维重建，实用性提高。作为一种可能的实现方式，所述基于所述光栅图像，获得所述投影仪的视差图像，包括：解码所述光栅图像中的光栅信息，获得第一坐标映射表；所述第一坐标映射表中包括相机像素坐标与投影仪像素坐标的对应关系；对所述第一坐标映射表中的外点进行剔除，获得第二坐标映射表；基于所述第二坐标映射表，获取第三坐标映射表；所述第三坐标映射表中的坐标为整数，且一个相机像素坐标对应一个投影仪像素坐标；基于所述第二坐标映射表，获取相机-投影仪的局部透视变换矩阵；基于所述局部透视变换矩阵，将所述第二坐标映射表中的投影仪像素坐标透视变换到相机视野，获得第四坐标映射表；将所述第四坐标映射表中的匹配坐标对在预设方向上进行做差，获得第一差值图像；对所述第一差值图像进行差值正向归一化处理，获得第二差值图像；基于所述第三坐标映射表，将所述第二差值图像反向映射到投影仪视野，获得第三差值图像；对所述第三差值图像中的孔洞区域进行修复，获得所述投影仪的视差图像。在本申请实施例，基于光栅图像进行一系列的变换和计算，能够准确地求取到投影仪的视差图像，在求取视差图像的过程中，视差值的渐变过程与实际的深度信息趋势接近。作为一种可能的实现方式，所述对所述第一坐标映射表中的外点进行剔除，获得第二坐标映射表，包括：基于RANSAC算法，计算相机与所述投影仪之间的基础矩阵；基于所述基础矩阵，对所述第一坐标映射表中的外点进行剔除，获得所述第二坐标映射表。在本申请实施例中，通过RANSAC算法，计算基础矩阵，基于该基础矩阵，能够较好地完成第一坐标映射表中外点的剔除。作为一种可能的实现方式，所述基于所述第二坐标映射表，获取第三坐标映射表，包括：将所述第二坐标映射表中的所述投影仪像素坐标中的浮点型坐标进行归整操作；归整操作后的部分像素坐标对应多个像素坐标；从所述多个像素坐标中提取出最优坐标，并将所述最优坐标确定为相应的像素坐标对应的像素坐标。在本申请实施例中，将归整操作与最优坐标提取进行结合，在保证坐标归整的基础上，能够维持坐标的一一对应关系。作为一种可能的实现方式，所述基于所述第二坐标映射表，获取相机-投影仪的局部透视变换矩阵，包括：通过预设的矩形区域在所述光栅图像上滑动取多个像素坐标；基于所述多个像素坐标，采用RANSAC算法求取相机-投影仪的局部透视变换矩阵。在本申请中，通过预设的矩形区域滑动取多个像素坐标，并基于RANSAC算法，能够实现局部透视变换矩阵的快速求取。作为一种可能的实现方式，在所述对所述第三差值图像中的孔洞区域进行修复，获得所述投影仪的视差图像之前，所述方法还包括：对所述第三差值图像进行加权中值滤波，获得剔除噪声的第三差值图像；对所述剔除噪声的第三差值图像进行归一化，获得归一化的第三差值图像；对所述归一化的第三差值图像进行平滑滤波，获得平滑处理后的第三差值图像；对应的，所述对所述第三差值图像中的孔洞区域进行修复，获得所述投影仪的视差图像，包括：对所述平滑处理后的第三差值图像中的孔洞区域进行修复，获得所述投影仪的视差图像。在本申请实施例中，基于第三差值图像，通过一系列的图像处理，得到更为精确的差值图像，基于该更精确的差值图像所确定的视差图像也更为准确。作为一种可能的实现方式，所述获取离散彩色图像，包括：将所述第三坐标映射表中，相机像素坐标对应位置的RGB值填充至相应的所述投影仪像素坐标对应位置，获得离散彩色图像。在本申请实施例中，通过RGB值的填充，实现快速且准确地获取彩色图像。作为一种可能的实现方式，所述基于所述视差图像，对所述孔洞区域进行修复，获得第一修复图像，包括：基于所述第三坐标映射表，确定所述离散彩色图像对应的孔洞图像；所述孔洞图像中，孔洞区域的像素值为255；确定所述孔洞图像对应的阴影区域图像；所述阴影区域图像中的孔洞由阴影造成；基于所述阴影区域图像和所述视差图像，对所述离散彩色图像中的孔洞区域进行填充，获得第一修复图像。在本申请实施例中，通过对由阴影造成的孔洞区域进行修复，有助于使得最终基于该修复图像生成的投影图像的投影效果更佳。作为一种可能的实现方式，在所述基于所述第一修复图像和所述视差图像，生成投影图像之前，所述方法还包括：利用navier-stokes方程对所述第一修复图像进行二次修复，得到二次修复的第一修复图像；对应的，所述基于所述第一修复图像和所述视差图像，生成投影图像，包括：基于所述二次修复的第一修复图像和所述视差图像，生成投影图像。在本申请实施例中，通过navier-stokes方程对修复过的第一修复图像进行二次修复，使最终生成的投影图像的投影效果更佳。第二方面，本申请实施例提供一种投影贴图的装置，应用于投影贴图的控制系统中的控制设备，所述控制系统还包括相机和投影仪；所述装置包括用于实现第一方面以及第一方面的任意一种可能的实现方式中所述的方法的功能模块。第三方面，本申请实施例提供一种电子设备，包括：至本文档来自技高网...

【技术保护点】
1.一种投影贴图的方法，其特征在于，应用于投影贴图的控制系统中的控制设备，所述控制系统还包括相机和投影仪；所述方法包括：/n获取光栅图像；所述光栅图像为所述相机采集的包含所述投影仪在待投影物体上投射的光栅图案的图像；/n基于所述光栅图像，获得所述投影仪的视差图像；/n获取离散彩色图像；所述离散彩色图像为对所述光栅图像进行变换后的图像，所述离散彩色图像中包括孔洞区域；/n基于所述视差图像，对所述孔洞区域进行修复，获得第一修复图像；/n基于所述第一修复图像和所述视差图像，生成投影图像；/n控制所述投影仪将所述投影图像投射在所述待投影物体上。/n

【技术特征摘要】
1.一种投影贴图的方法，其特征在于，应用于投影贴图的控制系统中的控制设备，所述控制系统还包括相机和投影仪；所述方法包括：
获取光栅图像；所述光栅图像为所述相机采集的包含所述投影仪在待投影物体上投射的光栅图案的图像；
基于所述光栅图像，获得所述投影仪的视差图像；
获取离散彩色图像；所述离散彩色图像为对所述光栅图像进行变换后的图像，所述离散彩色图像中包括孔洞区域；
基于所述视差图像，对所述孔洞区域进行修复，获得第一修复图像；
基于所述第一修复图像和所述视差图像，生成投影图像；
控制所述投影仪将所述投影图像投射在所述待投影物体上。


2.根据权利要求1所述的方法，其特征在于，所述基于所述光栅图像，获得所述投影仪的视差图像，包括：
解码所述光栅图像中的光栅信息，获得第一坐标映射表；所述第一坐标映射表中包括相机像素坐标与投影仪像素坐标的对应关系；
对所述第一坐标映射表中的外点进行剔除，获得第二坐标映射表；
基于所述第二坐标映射表，获取第三坐标映射表；所述第三坐标映射表中的坐标为整数，且一个相机像素坐标对应一个投影仪像素坐标；
基于所述第二坐标映射表，获取相机-投影仪的局部透视变换矩阵；
基于所述局部透视变换矩阵，将所述第二坐标映射表中的投影仪像素坐标透视变换到相机视野，获得第四坐标映射表；
将所述第四坐标映射表中的匹配坐标对在预设方向上进行做差，获得第一差值图像；
对所述第一差值图像进行差值正向归一化处理，获得第二差值图像；
基于所述第三坐标映射表，将所述第二差值图像反向映射到投影仪视野，获得第三差值图像；
对所述第三差值图像中的孔洞区域进行修复，获得所述投影仪的视差图像。


3.根据权利要求2所述的方法，其特征在于，所述对所述第一坐标映射表中的外点进行剔除，获得第二坐标映射表，包括：
基于RANSAC算法，计算所述相机与所述投影仪之间的基础矩阵；
基于所述基础矩阵，对所述第一坐标映射表中的外点进行剔除，获得所述第二坐标映射表。


4.根据权利要求2所述的方法，其特征在于，所述基于所述第二坐标映射表，获取第三坐标映射表，包括：
将所述第二坐标映射表中的所述投影仪像素坐标中的浮点型坐标进行归整操作；归整操作后的部分像素坐标对应多个像素坐标；
从所述多个像素坐标中提取出最优坐标，并将所述最优坐标确定为相应的像素坐标对应的像素坐标。


5.根据权利要求2所述的方法，其特征在于，所述基于所述第二坐标映射表，获取相机-投影仪的局部透视变换矩阵，包括：
通过预设的矩形区域在所述光栅图像上滑动取多个像素坐标；
基于所述多个像素坐...

【专利技术属性】
技术研发人员：程星凯，
申请(专利权)人：北京淳中科技股份有限公司，
类型：发明
国别省市：北京;11