一种基于深度学习的光场图像深度估计方法技术

本发明专利技术公开了一种基于深度学习的光场图像深度估计方法，包括如下步骤：根据光场相机的参数信息，解码重构光场源文件，提取子孔径图像阵列；将子孔径图像输入训练好的神经网络，计算得到估计的深度图；对估计的深度图进行滤波优化，得到最终估计的深度图。本发明专利技术在神经网络的基础上结合了极平面图像分析和图像分割的方法，同时利用了深度特征和图像的边缘信息，改善了对实际光场图像进行深度估计过程中存在的误匹配问题，能够对合成和实际光场图像进行快速准确的深度估计。

【技术实现步骤摘要】
一种基于深度学习的光场图像深度估计方法
本专利技术涉及计算机视觉以及数字图像处理
，尤其涉及一种基于深度学习的光场图像深度估计方法。
技术介绍
近年来，随着光场计算成像技术的发展，光场相机作为一种光场获取设备进入了市场。在传统相机模型的基础上，光场相机在主透镜与传感器之间插入了一个微透镜阵列，这种特殊的结构能够使光场相机在一次曝光中同时记录到达成像面所有光线的位置信息和角度信息，在后续处理中能够实现深度估计、场景重聚焦等应用。目前，一些基于光场的深度估计方法被提出，并取得了较好的效果，这些方法主要包括三种类型：基于子孔径图像匹配的方法、基于极平面图像的方法和基于深度学习的方法。如公开号为CN108596965A提供的一种光场图像深度估计方法，利用基于光场结构特性引导的深度估计，计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图；利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项；采用多尺度多窗口的立体匹配，计算与中心视点图像在同一水平位置上其他视点与中心视点的视差。但由于光场数据庞大的计算量，这类方法在计算时间和准确度之间存在着不可避免的折衷关系。如公开号为CN107545586A提供的基于极平面图像的方法，通过计算由光场数据得到的极平面图像中直线的斜率来得到对应区域的深度值。但由于极平面图像的几何特征，这类方法在具有遮挡或反射区域的场景中存在着一定的局限性。随着深度学习的发展，卷积神经网络开始被用以研究光场图像的深度估计问题。现有的方法大多使用合成光场数据集进行训练和测试，并取得了较好的效果。但是由光场相机拍摄的实际光场图像相比合成光场图像基线较窄，并含有大量的噪声干扰，导致了这些方法在应用于实际光场图像中的效果不佳，很大程度上制约了光场图像深度估计方法在实际场景中应用的可行性。
技术实现思路
本专利技术提供一种基于深度学习的光场图像深度估计方法，结合了极平面图像和图像分割网络，设计了一种针对光场图像深度估计的神经网络模型，实现对合成光场图像和实际光场图像快速准确的深度估计。为实现上述的专利技术目的，采用如下技术方案：一种基于深度学习的光场图像深度估计方法，包括以下步骤：(1)根据光场相机的参数信息，解码重构光场源文件，提取子孔径图像阵列；(2)将子孔径图像输入至训练好的神经网络中计算，得到二次估计的深度图；所述的神经网络包括：极平面图像部分，用于从子孔径图像中提取初始估计的深度图；图像分割部分，用于从子孔径图像中提取出图像的边缘信息；级联部分，用于根据初始估计的深度图和边缘信息，进行卷积得到二次估计的深度图；(3)对二次估计的深度图进行中值滤波，去除部分噪声，得到最终估计的深度图。可选的，在步骤(1)中，通过处理相机拍摄的白图像以获取光场相机的参数信息；将光场源文件解码，并经过滤波处理和颜色校正后得到所需要的子孔径图像阵列。以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。可选的，将子孔径图像的形状调整为正方形后输入所述的神经网络。可选的，所述的极平面图像部分由多流网络和合并网络组成。可选的，所述多流网络的输入为中心的9×9子孔径图像，从中提取出0°、45°、90°和135°四个方向的极平面图像，并分别使用定义好的卷积模块进行卷积，提取出场景的深度特征。可选的，所述的合并网络与多流网络的输出相连接，对其进行卷积，用于计算不同方向极平面图像之间深度特征的关系，得到初始估计的深度图。可选的，所述极平面图像部分和级联部分采用3×3的小卷积核，步长为1；卷积过程中使用相同填充，保持输出的深度图大小与输入的子孔径图像大小一致。可选的，所述图像分割部分的输入为中心子孔径图像，并使用卷积层、池化层和反卷积层，用于提取图像的边缘信息。可选的，所述神经网络使用包含真实深度图的光场数据集作为训练集，并采用随机采样灰度补丁的方法进行训练，以平均绝对误差作为损失函数，其定义如下：其中，L为损失函数，W为权重矩阵，b为偏置系数，T为训练补丁的数量，H为网络的前向传播函数，g为输入的9×9光场子孔径图像，d为真实深度图的灰度补丁块；通过迭代训练减小损失函数的值，降低最终估计的深度图与真实深度图之间的灰度值之差，直至判定训练已趋向饱和，结束训练并保存训练好的神经网络参数。可选的，所述神经网络在训练之前对训练集做数据增加处理，包括旋转、翻转、gamma变换以及添加随机噪声的处理，用于避免过拟合，以及提高网络的泛化能力。本专利技术的优点是，能够快速而准确地对光场图像进行深度估计，得到高精度的深度图。所述神经网络通过极平面图像部分得到场景的深度特征，并结合了图像分割部分得到的图像边缘信息，可以改善对实际光场图像进行深度估计中的误匹配问题，减少估计的深度图中的坏像素点，从而提升了深度估计的准确性。整个过程利用了GPU的高计算力，相较于传统算法极大地提高了运算速度，符合实际应用的需求。附图说明图1是本专利技术基于深度学习的光场图像深度估计方法的流程示意图；图2是本专利技术中神经网络的结构示意图；图3是本专利技术中卷积模块的结构示意图；图4是本专利技术中池化模块的结构示意图；图5是本专利技术与现有方法的深度估计结果对比示例示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术并不限于下面公开的具体实施例的限制。下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。图1是本实施例中基于深度学习的光场图像深度估计方法的流程示意图，包括如下步骤：步骤1，根据光场相机的参数信息，解码重构光场图像，提取子孔径图像阵列。如步骤1所述，光场相机(如Lytro等)所采集的光场原始图像通常是12位Bayer格式的图像，需要将其解码成子孔径图像的格式用于后续的深度估计过程。解码过程可以使用光场工具箱，处理相机拍摄的白图像以获取光场相机的参数信息，然后将光场源文件解码，并经过滤波处理和颜色校正后得到所需要的子孔径图像阵列。步骤2，将子孔径图像输入至训练好的神经网络中计算，得到二次估计的深度图。如步骤2所述，由于光场相机中微透镜的特殊结构，所得到的子孔径图像一般是长宽不等的矩形形状，为了在后续操作中从子孔径图像中提取四个方向的极平面图像，在将子孔径图像输入神经网络之前需要将其形状调整为正方形。步骤3，对二次估计的深度图进行中值滤波，去除部分噪声，得到最终估计的深本文档来自技高网...

【技术保护点】
1.一种基于深度学习的光场图像深度估计方法，其特征在于，包括以下步骤：/n(1)根据光场相机的参数信息，解码重构光场源文件，提取子孔径图像阵列；/n(2)将子孔径图像输入至训练好的神经网络中计算，得到二次估计的深度图；/n所述的神经网络包括：/n极平面图像部分，用于从子孔径图像中提取初始估计的深度图；/n图像分割部分，用于从子孔径图像中提取出图像的边缘信息；/n级联部分，用于根据初始估计的深度图和边缘信息，进行卷积得到二次估计的深度图；/n(3)对二次估计的深度图进行中值滤波，去除部分噪声，得到最终估计的深度图。/n

【技术特征摘要】
1.一种基于深度学习的光场图像深度估计方法，其特征在于，包括以下步骤：
(1)根据光场相机的参数信息，解码重构光场源文件，提取子孔径图像阵列；
(2)将子孔径图像输入至训练好的神经网络中计算，得到二次估计的深度图；
所述的神经网络包括：
极平面图像部分，用于从子孔径图像中提取初始估计的深度图；
图像分割部分，用于从子孔径图像中提取出图像的边缘信息；
级联部分，用于根据初始估计的深度图和边缘信息，进行卷积得到二次估计的深度图；
(3)对二次估计的深度图进行中值滤波，去除部分噪声，得到最终估计的深度图。


2.如权利要求1所述的基于深度学习的光场图像深度估计方法，其特征在于，在步骤(1)中，通过处理相机拍摄的白图像以获取光场相机的参数信息；
将光场源文件解码，并经过滤波处理和颜色校正后得到所需要的子孔径图像阵列。


3.如权利要求1所述的基于深度学习的光场图像深度估计方法，其特征在于，将子孔径图像的形状调整为正方形后输入所述的神经网络。


4.如权利要求1所述的基于深度学习的光场图像深度估计方法，其特征在于，所述的极平面图像部分由多流网络和合并网络组成。


5.如权利要求4所述的基于深度学习的光场图像深度估计方法，其特征在于，所述多流网络的输入为中心的9×9子孔径图像，从中提取出0°、45°、90°和135°四个方向的极平面图像，并分别使用定义好的卷积模块进行卷积，提取出场景的深度特征。


6.如权利要求4所述的...

【专利技术属性】
技术研发人员：郑臻荣，王旭成，陶骁，陶陈凝，吴仍茂，孙鹏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33