基于单帧复合模板的物体深度信息获取方法技术

本发明专利技术公开了一种基于单帧复合模板的物体深度信息获取方法，解决了现有时间编码方式耗时长的缺点。其实现步骤为：1)设计单帧复合模板P；2)利用单帧复合模板得到变形图像I；3)从变形图像I中解调得到两帧周期互质的方波模板I1'和I'2；4)用Gabor滤波器计算这两帧方波模板中各个像素点的截断相位和5)通过截断相位和求解截断相位展开值Φ；6)由Φ求解变形图像I中像素点(x',y')在单帧复合模板P中的匹配点(x,y)；7)根据像素点和匹配点的几何关系，求解待测物体的深度信息值。本发明专利技术提高了物体深度信息获取的速度和精度，可用于工业监控、医学科学、人机交互及3D打印场景。

【技术实现步骤摘要】
基于单帧复合模板的物体深度信息获取方法
本专利技术属于计算机视觉
，主要涉及一种获取物体的深度信息的方法，可以用于工业监控、医学科学、人机交互及3D打印场景。
技术介绍
传统的图像成像仪器采集到的信号只是空间域上的二维信息，三维场景中的深度信息没有被采集到。随着当今科学技术的发展和人们生活水平的提高，传统的二维信息已经不能满足人们实际生活的需求。如何能够从场景中快速、高效的获取三维场景中的深度信息已经成为当前研究的热点。从实际场景的三维信息中获取场景深度信息的过程叫做深度获取。根据深度获取过程中是否需要对被测物体进行接触式测量，可以把深度获取方法分为接触式测量和非接触式测量两大类。接触式测量通过接触物体表面来得到深度信息，如坐标测量机。虽然接触式测量方法可以获得高精度的三维数据，但它对硬件要求高、速度慢。多数接触式测量仪器体积大，不便于使用，且直接接触物体表面会对物体产生一定的损害。非接触式测量不需要与目标物体接触就能获取目标物体的深度信息，如激光雷达、光学成像测量等方法。由于非接触式测量具有测量速度快，采样点分辨率高等优点，该方法现已成为获取深度信息的一个重要方法。根据测量过程中是否需要投射出探测信号，非接触式测量方法又可分为被动式测量方法和主动式测量方法两大类。被动式测量方法是不需要投射探测信号，通过测量目标物体表面反射的辐射波，如激光、可见光来进行深度测量。常见的被动式测量方法有立体视觉法、阴影测量法、聚焦法、离焦法等。其中应用最为广泛的立体视觉法是通过模拟生物的视觉方式，在多个角度采用多个摄像机获得被测物体多张数字图像。然后根据特定采样点在多张图像中像素点的匹配及采样摄像机的空间位置关系，依据三角测量几何原理，计算出该特定采样点的深度数值。虽然被动式测量方法操作简便，容易实现，不需要额外光源，但是该方法却很难达到在多张数字图像中特定采样点的精确匹配。对于不存在明显特征的图像，该方法计算量大，匹配精度低，继而难以获得高精确的深度测量结果。主动式测量方法需要投射额外的探测波到目标物体上，通过检测目标物体反射回波，计算探测物体的深度信息。常见的可投射的探测波有可见光、高能量光束、超声波和X射线等。主动式测量方法主要有激光扫描法、飞行时间法和结构光法等。激光扫描法采用激光扫描仪，通过对物体进行逐点扫描，得到深度信息。虽然精度较高，但是为得到高分辨率的深度数值，耗时较长；飞行时间法即timeofflight，是新兴的三维成像技术之一，虽然它的测量速度快，但采集到的深度图像分辨率较低，精度也不高。结构光法可以利用简单的设备，实现高精度、高可靠性的深度信息获取。其原理是，首先利用光学投射设备将特定的具有编码规律的结构光模板投射到被测物体表面，然后利用图像采集设备采集经过目标物体表面调制后的图像。通过比较投射模板和采集到的图像，得到图像像素点的匹配关系，结合三角测距几何原理计算出物体表面的深度信息。结构光法通过利用可控光源形成具有明显纹理特征的信息，能降低深度测量中诸如目标物体缺乏纹理、表面光滑等情况下进行匹配的难度。正是因为结构光法具有实现简单、测量速度快、精度高等特点，该方法目前已得到广泛应用。根据结构光模板的编码方式，结构光法可分为空间编码方式和时间编码方式。空间编码方式，仅需投射单帧编码图像。将采集到的图像进行解码后，通过和编码模板进行比对，得到两幅图样的匹配关系，结合三角测距原理，计算被测物体的深度信息。空间编码方式投射的图案数目较少，适合动态场景的测量。但是图像采集设备采集的图像容易受空间域内特征点的影响，解码困难，测量误差较大。同时，空间编码方式存在分辨率较低、易受物体表面反射率不一致及表面颜色不一致等问题的影响。时间编码方式需要向测量物体投射多帧不同的编码模板，图像采集设备相应地采集经过物体调制后的多帧编码图像。时间编码方式通过对获得的编码图像序列进行解码，结合三角测距原理，计算得到被测物体的深度信息。这种方式虽然具有易于实现、测量精度高、空间分辨率高等优点，但却需要投射多帧模板，耗时较长，不适宜动态物体深度数据的测量。
技术实现思路
本专利技术的目的在于针对上述时间编码技术的不足，提出一种基于单帧复合模板的物体深度信息获取方法，减小耗时，提高物体深度信息的获取速度和精度。实现本专利技术的技术方案是：将时间编码方式中需要的多帧模板，经过调制后得到单帧复合模板。在不增加投影模板数量的情况下，仅投射单帧复合模板实现物体深度信息的获取。通过解调图像采集设备采集得到的变形图像，恢复得到多帧时间编码图像。计算得到多帧时间编码图像和相应的时间编码模板的匹配结果，根据三角测距几何原理，最终计算得到被测物体的深度信息。具体步骤包括如下：(1)设计单帧复合模板P：(1a)设计两帧周期互质的方波模板I1和I2；(1b)将两帧周期互质的方波模板I1和I2调制成单帧复合模板P，计算该单帧复合模板P中各个像素点(x,y)的强度值：P(x,y)＝A(x,y)+I1*B1(x,y)cos(2πfc1y)+I2*B2(x,y)cos(2πfc2y)其中，A(x,y)为各个像素点的直流分量，B1(x,y)为调制第一方波模板I1的余弦条纹波在各个像素点上的幅值，fc1为调制第一方波模板I1的余弦条纹波的载波频率，B2(x,y)为调制第二方波模板I2的余弦条纹波在各个像素点上的幅值，fc2为调制第二方波模板I2的余弦条纹波的载波频率；(2)将投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将所述的单帧复合模板P投射到目标物体O上；(3)通过摄像机V拍摄单帧复合模板P经过目标物体O调制后的变形图像I，并传回至计算机C；(4)计算机C对摄像机V拍摄到的变形图像I进行解调，得到编码在变形图像I中的两帧周期互质的方波模板I1'(x',y')和I'2(x',y')，用Gabor滤波器分别计算这两帧方波模板中像素点(x',y')处的截断相位和(5)根据这两帧方波模板中像素点(x',y')处的截断相位和利用互质定理，求解变形图像I中像素点(x',y')的截断相位展开值Φ(x',y')；(6)利用变形图像I中像素点(x',y')的截断相位展开值Φ(x',y')，在单帧复合模板P中，求取与变形图像I中像素点(x',y')相匹配的像素点(x,y)；(7)以摄像机V光心为原点建立世界坐标系，世界坐标系的x轴沿摄像机成像平面的水平方向，世界坐标系的y轴沿摄像机成像平面的竖直方向，世界坐标系的z轴与摄像机成像平面垂直；根据三角测距原理，由变形图像I中像素点(x',y')与在单帧复合模板P中相匹配的像素点(x,y)的空间几何关系，计算待测物体的深度信息值Zw：其中，Xw，Zw分别为目标物体O在世界坐标系下沿x轴、z轴的坐标值，x为在单帧复合模板中匹配的像素点(x,y)的行坐标，f为摄像机V的焦距，b为摄像机V光心和投影仪T光心的水平距离，MT为单帧复合模板P的总行数，hpp为投影仪T中单个像素所代表的实际高度。本专利技术与现有技术相比具有以下优点：第一，本专利技术仅采用单帧复合模板，不需增加额外编码模板和物理设备，即可实现物体深度信息获取。第二，本专利技术所述单帧复合模板是由多帧时间编码模板调制合成，改善了时间编码技术的不足，减小耗时，提高了物体深度信息的获本文档来自技高网...

【技术保护点】
一种基于单帧复合模板的物体深度信息获取方法，包括如下步骤：(1)设计单帧复合模板P：(1a)设计两帧周期互质的方波模板I1和I2；(1b)将两帧周期互质的方波模板I1和I2调制成单帧复合模板P，计算该单帧复合模板P中各个像素点(x,y)的强度值：P(x,y)＝A(x,y)+I1*B1(x,y)cos(2πfc1y)+I2*B2(x,y)cos(2πfc2y)其中，A(x,y)为各个像素点的直流分量，B1(x,y)为调制第一方波模板I1的余弦条纹波在各个像素点上的幅值，fc1为调制第一方波模板I1的余弦条纹波的载波频率，B2(x,y)为调制第二方波模板I2的余弦条纹波在各个像素点上的幅值，fc2为调制第二方波模板I2的余弦条纹波的载波频率；(2)将投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将所述的单帧复合模板P投射到目标物体O上；(3)通过摄像机V拍摄单帧复合模板P经过目标物体O调制后的变形图像I，并传回至计算机C；(4)计算机C对摄像机V拍摄到的变形图像I进行解调，得到编码在变形图像I中的两帧周期互质的方波模板I′1(x',y')和I'2(x',y')，用Gabor滤波器分别计算这两帧方波模板中像素点(x',y')处的截断相位和(5)根据这两帧方波模板中像素点(x',y')处的截断相位和利用互质定理，求解变形图像I中像素点(x',y')的截断相位展开值Φ(x',y')；(6)利用变形图像I中像素点(x',y')的截断相位展开值Φ(x',y')，在单帧复合模板P中，求取与变形图像I中像素点(x',y')相匹配的像素点(x,y)；(7)以摄像机V光心为原点建立世界坐标系，世界坐标系的x轴沿摄像机成像平面的水平方向，世界坐标系的y轴沿摄像机成像平面的竖直方向，世界坐标系的z轴与摄像机成像平面垂直；根据三角测距原理，由变形图像I中像素点(x',y')与在单帧复合模板P中相匹配的像素点(x,y)的空间几何关系，计算待测物体的深度信息值Zw：Zw=fbXw-(x-MT/2)hpp]]>其中，Xw，Zw分别为目标物体O在世界坐标系下沿x轴、z轴的坐标值，x为在单帧复合模板中匹配的像素点(x,y)的行坐标，f为摄像机V的焦距，b为摄像机V光心和投影仪T光心的水平距离，MT为单帧复合模板P的总行数，hpp为投影仪T中单个像素所代表的实际高度。...

【技术特征摘要】
1.一种基于单帧复合模板的物体深度信息获取方法，包括如下步骤：(1)设计单帧复合模板P：(1a)设计两帧周期互质的方波模板I1和I2；(1b)将两帧周期互质的方波模板I1和I2调制成单帧复合模板P，计算该单帧复合模板P中各个像素点(x,y)的强度值：P(x,y)＝A(x,y)+I1*B1(x,y)cos(2πfc1y)+I2*B2(x,y)cos(2πfc2y)其中，A(x,y)为各个像素点的直流分量，B1(x,y)为调制第一方波模板I1的余弦条纹波在各个像素点上的强度值，fc1为调制第一方波模板I1的余弦条纹波的载波频率，B2(x,y)为调制第二方波模板I2的余弦条纹波在各个像素点上的强度值，fc2为调制第二方波模板I2的余弦条纹波的载波频率；(2)将投影仪T与摄像机V竖直放置，并使两者光轴平行，用投影仪T将所述的单帧复合模板P投射到目标物体O上；(3)通过摄像机V拍摄单帧复合模板P经过目标物体O调制后的变形图像I，并传回至计算机C；(4)计算机C对摄像机V拍摄到的变形图像I进行解调，得到编码在变形图像I中的两帧周期互质的解调方波模板I′1和I′2，用Gabor滤波器分别计算这两帧方波模板中像素点(x',y')处的截断相位和(5)根据这两帧解调方波模板中像素点(x',y')处的截断相位和利用互质定理，求解变形图像I中像素点(x',y')的截断相位展开值Φ(x',y')；(6)利用变形图像I中像素点(x',y')的截断相位展开值Φ(x',y')，在单帧复合模板P中，求取与变形图像I中像素点(x',y')相匹配的像素点(x,y)；(7)以摄像机V光心为原点建立世界坐标系，世界坐标系的x轴沿摄像机成像平面的水平方向，世界坐标系的y轴沿摄像机成像平面的竖直方向，世界坐标系的z轴与摄像机成像平面垂直；根据三角测距原理，由变形图像I中像素点(x',y')与在单帧复合模板P中相匹配的像素点(x,y)的空间几何关系，计算待测物体的深度信息值Zw：其中，Xw，Zw分别为目标物体O在世界坐标系下沿x轴、z轴的坐标值，x为在单帧复合模板中匹配的像素点(x,y)的行坐标，f为摄像机V的焦距，b为摄像机V光心和投影仪T光心的水平距离，MT为单帧复合模板P的总行数，hpp为投影仪T中单个像素所代表的实际高度。2.根据权利要求1所述的基于单帧复合模板的物体深度信息获取方法，其中步骤(4)所述的计算机C对摄像机V拍摄到的变形图像I进行解调，按如下步骤进行：(4.1)采集变形图像I在像素点(x',y')处的强度值I(x′,y′)为：其中，A'(x',y')是单帧复合模板中各个像素点的直流分量经物体调制后的量，I1(x',y')和I2(x',y')是两帧解调方波模板在像素点(x′,y′)处的强度值，B′1(x',y')是调制第一方波模板的余弦条纹波在各个像素点上的幅值经物体调制后的量，f′c1是调制第一方波模板的余弦条纹波载波频率经物体调制后的频率，B'2(x',y')是调制第二方波模板的余弦条纹波在各个像素点上的幅值经物体调制后的量，fc'2是调制第二方波模板的余弦条纹波载波频率经物体调制后的频...

【专利技术属性】
技术研发人员：石光明，杨莉莉，李甫，谢雪梅，李若岱，高哲峰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61