高角度分辨率光场获取装置与图像生成方法制造方法及图纸

本发明专利技术提供了一种高角度分辨率光场获取装置与图像生成方法，针对分辨率折衷引起的空间分辨率低或图像混叠导致光场图像质量下降问题，构建一种利用光线编码孔径与微透镜阵列相结合的高角度分辨率光场获取装置，包括沿光线传递路径依次排列的主透镜、编码孔径、微透镜阵列和传感器；在不降低光场位置分辨率前提下，利用光场数据中蕴含的深度信息提升了光场的角度分辨率。本发明专利技术具有角度分辨率高、性噪比高、通过率高和可以采集光场视频的优点。本发明专利技术提出的光场图像生成方法由于采用了压缩感知理论，具有角度分辨高、图像混叠可去除的优点。

【技术实现步骤摘要】

本专利技术涉及计算机视觉、计算摄像学和光学工程领域。
技术介绍
光场是空间中同时包含位置和角度信息的四维光辐射场的参数化表示。光场成像理论的提出为数字成像领域带来了革命性进步。与传统数字相机通过标准光学透镜组和数字信号感应器捕捉场景光线不同，光场相机是通过新颖的光学系统将场景中的光线按照某种给定的关系与传感器像素进行对应。在采集到的光场位置信息和角度信息基础上，通过计算生成新颖的图像。但与传统成像技术相比，光场成像技术也存在一定的局限性。在传感器像素一定的情况下，由于要同时获取光线位置和角度信息，现有光场采集方法面临分辨率折衷。这已成为限制光场相机及计算摄影术进一步广泛应用的瓶颈问题。为了获得高质量的光场图像，国外研究人员进行了大量的研究。现有解决方法主要分两类，一类是复用方法，一类是计算方法。例如，斯坦福法学设计的128台相机阵列是空间复用方法的体现。虽然空间复用方法生成的光场图像空间分辨率较高，但所需传感器数量较多、设备庞大、布置灵活性较差。Green等设计的环形孔径相机通过时间复用方法实现。但时间复用最大的缺点是为了采集光场角度信息，需要先后对同一场景进行多次拍摄，使得该方法只能用于静止场景光场获取。频域复用的现有方法存在光场图像信噪比低的缺点，且较少关注光场角度分辨率的提高。因此，复用方法是将光场位置和角度分辨率之间的折衷转换为时间、空间或通光量之间的折衷，相应的采集方法存在时间分辨率降低、采集设备规模增大或光场图像信噪比低等缺点。Wanner等首次明确指出光场相机的优势在于能获取光场角度信息，光场图像混叠去除对于计算摄影术应用至关重要。它采用变分不等式框架下实现了光场角度分辨率和位置分辨率的同时提升，但该方法需亚像素级精度的场景几何结构信息作为先验，在现实中较难实现。因此，现有提升位置分辨率的方法未能很好地解决光场图像质量差的问题，有待改进。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种编码孔径与微透镜阵列相结合的光场数据获取装置，在不降低光场位置分辨率前提下，提高角度分辨率，采集包含更多角度信息的光场数据，得到高质量的光场图像。本专利技术解决其技术问题所采用的技术方案是：一种高角度分辨率光场获取装置，包括沿光线传递路径依次排列的主透镜、编码孔径、微透镜阵列和传感器；所述的主透镜汇聚空间中的光线，所述的编码孔径对经过主透镜后的光线进行调制，得到光场信号，所述的微透镜阵列对光场信号中的角度信息和位置信息进行分离，分别由传感器进行采集。本专利技术还提供了一种从高角度分辨率光场数据中生成高质量光场图像的方法，包括以下步骤：步骤1，提取编码孔径调制后经任一传感器获取图像中的图像模糊Fuse(x,y,d)作为参考光场图像，以参考光场图像和其他视角光场图像之间的视差Parallax(x,y,d)作为深度线索，其中x,y表示参考光场图像的坐标，d表示参考图像和其他视角图像之间的视差；步骤2，获取场景深度Depth(x,y,d)＝(1-α)Fuse(x,y,d)+αParallax(x,y,d)，其中α是权重因子，取值范围为[0，1]；步骤3，采用混合高斯模型对场景深度与角度信号关联性的关系进行建模，构建角度超分辨能量函数其中(u,v)和(s,t)是双平面光场模型下光线的角度位置和空间位置，r是上采样因子，H是相应的上采样函数，A0是原始光场信号，gx(d)和gy(d)分别是水平、垂直视差因素；采用优化方法对角度超分辨能量函数求解获得超角度分辨率光场数据；步骤4，建立角度欠采样倍率与图像像素混叠范围的关系模型，提取离散采样空间下的光场图像聚焦特征其中Kfv为采样系数，为场景频率上限，Δv为相机分辨率，δv为光场图像分辨率，f为双平面距离，hd＝1/Zmin-1/Zmax，Zmin是前景深，Zmax是后景深；采用多次随机孔径采样方法对图像混叠范围大于给定阈值的区域进行检测；步骤5，利用多尺度理论建立高斯光场图像金字塔，对目标区域的混叠特征进行分离，选择图像梯度特征进行泊松方程求解，实现对于光场图像混叠的去除，最终获得高质量的光场图像。本专利技术的有益效果是：针对分辨率折衷引起的空间分辨率低或图像混叠导致光场图像质量下降问题，构建一种利用光线编码孔径与微透镜阵列相结合的高角度分辨率光场获取装置。在不降低光场位置分辨率前提下，利用光场数据中蕴含的深度信息提升了光场的角度分辨率。相比现有的采集装置，本专利技术具有角度分辨率高、性噪比高、通过率高和可以采集光场视频的优点。本专利技术提出的光场图像生成方法由于采用了压缩感知理论，具有角度分辨高、图像混叠可去除的优点。附图说明图1为光场采集装置光路图；图2为微透镜阵列的排布图；图3为超角度分辨率光场数据重建路线；图中，101-主透镜，102-主透镜像平面，103-中继透镜，104-偏振立方体分光棱镜，105-中继透镜，106-液晶附硅(LCoS)设备，107-中继透镜，108-微透镜阵列，109-传感器，110-虚拟聚焦平面。具体实施方式本专利技术提供一种利用光线编码孔径与微透镜阵列相结合的光场采集装置，以及一种利用深度信息与角度分辨率耦合关系，通过光场图像混叠检测与去除实现高角度分辨率光场图像生成的方法。本专利技术提出的一种光线编码孔径与微透镜阵列相结合的光场数据采集系统，包括：主透镜，用于汇聚空间中的光线；编码孔径，其位置位于主透镜的后方，用于对经过主透镜后的光线进行调制；微透镜阵列和传感器，其定位在编码孔径后的光线传递路径上，用于光场信号中角度信息和位置信息的分离和采集。本专利技术提出的基于编码孔径与微透镜阵列相结合的光场数据采集系统，通过编码孔径的相位调制掩膜能够实现对频域光线的调制，使得调制后的信号中包含更多深度信息。基于微镜头阵列的接力成像系统通过孔径分割的方法可以实现对光场位置信息和角度信息的分离和采集。因此，将二者有机结合，通过优势互补可以实现光场稠密位置信息和角度信息同时获取。另外，根据本专利技术上述实施例的高角度分辨率光场获取系统还可以具有如下附加的技术特征：编码孔径的设计方案基于压缩感知理论；采集装置参数标定以微透镜子图配准误差作为系统参数估计精度和获取图像质量的评价指标。本专利技术还提供基于上述光场数据的一种通过角度超分辨率重建提升光场图像质量的方法，主要环节包括：高精度深度图的获取、超角度分辨率光场数据重建和高质量光场图像生成。所述方法包含以下步骤：S1、光场数据中深度线索的提取提取编码孔径调制后经传感器获取图像中的图像模糊Fuse(x,y,d)和重新渲染的光场图像之间的视差Parallax(x,y,d)作为深度线索，其中x,y分别表示参考光场图像的坐标，d表示参考图像和其他视角图像之间的视差；S2、多线索融合的场景深度图获取利用标定后的采集装置内参数和图像点扩散函数相位偏移建立两种深度线索之间的融合计算代价函数Depth(x,y,d)＝(1-α)Fuse(x,y,d)+αParallax(x,y,d)其中α是权重因子，本专利技术采用全局优化算法获得场景深度Depth(x,y,d)。S3、超角度分辨率光场数据重建采用混合高斯模型对场景深度Depth(x,y,d)与角度信号关联性的关系进行建模，在此基础上，构建全局的角度超分辨能量函数其中(u,v)和(s,t)是双平面光场本文档来自技高网...

【技术保护点】
一种高角度分辨率光场获取装置，包括沿光线传递路径依次排列的主透镜、编码孔径、微透镜阵列和传感器，其特征在于：所述的主透镜汇聚空间中的光线，所述的编码孔径对经过主透镜后的光线进行调制，得到光场信号，所述的微透镜阵列对光场信号中的角度信息和位置信息进行分离，分别由传感器进行采集。

【技术特征摘要】
1.一种高角度分辨率光场获取装置，包括沿光线传递路径依次排列的主透镜、编码孔径、微透镜阵列和传感器，其特征在于：所述的主透镜汇聚空间中的光线，所述的编码孔径对经过主透镜后的光线进行调制，得到光场信号，所述的微透镜阵列对光场信号中的角度信息和位置信息进行分离，分别由传感器进行采集。2.根据权利要求1所述高角度分辨率光场获取装置的图像生成方法，其特征在于包括下述步骤：步骤1，提取编码孔径调制后经任一传感器获取图像中的图像模糊Fuse(x,y,d)作为参考光场图像，以参考光场图像和其他视角光场图像之间的视差Parallax(x,y,d)作为深度线索，其中x,y表示参考光场图像的坐标，d表示参考图像和其他视角图像之间的视差；步骤2，获取场景深度Depth(x,y,d)＝(1-α)Fuse(x,y,d)+αParallax(x,y,d)，其中α是权重因子，取值范围为[0，1]；步骤3，采用混合高...

【专利技术属性】
技术研发人员：周果清，瞿婉新，王庆，肖照林，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61