基于光场采集装置的图像超分辨率方法及装置制造方法及图纸

本发明专利技术公开了一种基于光场采集装置的图像超分辨率方法及装置，光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的多个USB摄像头以正方形的空间形式规则排布且围绕在相机周围，其中，方法包括：通过采集光场图像获取多个侧视角低分辨率图像和中间视角高分辨率图像；利用字典学习和深度学习对所采集到的多个侧视角低分辨率图像进行超分辨率；根据多张不同视角的光场图像之间的视差得到场景的深度信息。该方法可以通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，计算场景的深度，降低了制作成本，保证空间和角度分辨率的准确性。

【技术实现步骤摘要】
基于光场采集装置的图像超分辨率方法及装置
本专利技术涉及计算机视觉
，特别涉及一种基于光场采集装置的图像超分辨率方法及装置。
技术介绍
光场采集及其重建技术是计算机视觉领域中一个非常重要的问题，利用光场进行三维重建相比传统的三维重建方法有着极大的优势：对硬件资源的依赖小、很方便于PC上进行实时重建；适用性强，场景复杂程度对计算的复杂度没有影响。然而，使用三维扫描仪虽然可以进行高精度的三维重建，但其昂贵的设备价格和使用场合的局限性限制了实际的应用。光场技术在照明工程、光场渲染、重光照、重聚焦摄像、合成孔径成像、3D显示、安防监控等场合有着广泛的应用。相关技术中，光场采集装置主要有：使用相机阵列，最常见的有球形相机阵列和平面/直线相机阵列，一般需要使用几十个或者上百个相机布置在场景中的合适位置对同一场景进行同步的采集；使用镜头阵列，通过一次拍摄出场景不同景深的照片，能够实现场景的任意范围聚焦，并且这样的光场相机已经面世进入到商业应用领域，采集装置往往对相机的空间分辨率要求较高，因此高昂的硬件成本限制了其发展。光场三维重建技术的核心问题之一是提高光场图像的分辨率。由于所采集的图像分辨率将直接影响场景深度的计算，因此，对所采集图像进行超分辨率将提高深度估计的精度以及三维重建的准确性。利用高分辨率图像信息可以对场景进行三维建模，在此基础上可以实现场景任意视点、任意光照的虚拟成像，以及图像分割、立体显示等非常有意义的应用。传统的光场图像超分辨率算法主要是基于多视点的字典学习方法，通过提取不同视点、不同分辨率图像中的字典信息，建立相互对应关系，利用高分辨率图像块加权相加的方式对低分辨率图像进行超分辨率。由于光场采集装置为了获取较大的角度分辨率，不同视角的图像往往视差比较大，这种情况下字典学习的方法不能够有效进行超分辨，造成鬼影、模糊等结果，这样大大制约了光场图像所携带信息的准确性，从而进一步影响后续场景重建的精度，有待解决。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于光场采集装置的图像超分辨率方法，该方法可以大大的降低制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。本专利技术的另一个目的在于提出一种基于光场采集装置的图像超分辨率装置。为达到上述目的，本专利技术一方面实施例提出了一种基于光场采集装置的图像超分辨率方法，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述方法包括以下步骤：通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；根据多张不同视角的光场图像之间的视差得到场景的深度信息。本专利技术实施例的基于光场采集装置的图像超分辨率方法，通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，进一步计算场景的深度，可用于场景重建、大场景监控的情形，大大的降低了制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。另外，根据本专利技术上述实施例的基于光场采集装置的图像超分辨率方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率，进一步包括：将所述中间视角高分辨率图像降采样，利用所述深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；将所述多个侧视角低分辨率图像与所述中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；将每个侧视角低分辨率图像通过所述卷积神经网络进行初步超分辨率，利用信息对应关系，将所述残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。进一步地，在本专利技术的一个实施例中，通过以下公式得到每个位置对应的残差图像块：其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ωk为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。进一步地，在本专利技术的一个实施例中，所述最终超分辨率结果为：其中，为重建的超分辨率图像块，HR为超分辨率，fCNN(SLR)为经过神经网络进行的图像块超分辨率，SERR为降采样前的图像相减得到残差图像，LR代表低分辨率。进一步地，在本专利技术的一个实施例中，所述根据多张不同视角的光场图像之间的视差得到场景的深度信息，进一步包括：获取每张光场图像的边缘置信度，以得到边缘置信度掩膜；根据所述边缘置信度掩膜得到被标记为置信边缘的像素点的视差值；通过联合双边中值滤波对初始视差图进行滤波，获取非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；根据各像素点的视差值生成视差图。为达到上述目的，本专利技术另一方面实施例提出了一种基于光场采集装置的图像超分辨率装置，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述装置包括：采集模块，用于通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；超分辨率模块，用于利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；获取模块，用于根据多张不同视角的光场图像之间的视差得到场景的深度信息。本专利技术实施例的基于光场采集装置的图像超分辨率装置，通过单视角和多视角信息，预测恢复输入图像的高频部分，并且利用多视角高分辨率图像的信息，进一步计算场景的深度，可用于场景重建、大场景监控的情形，大大的降低了制作成本，保证空间和角度分辨率的准确性，能实现光场相机重对焦。另外，根据本专利技术上述实施例的基于光场采集装置的图像超分辨率装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述超分辨率模块，进一步包括：计算单元，用于将所述中间视角高分辨率图像降采样，利用所述深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；提取单元，用于将所述多个侧视角低分辨率图像与所述中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；第一获取单元，用于将每个侧视角低分辨率图像通过所述卷积神经网络进行初步超分辨率，利用信息对应关系，将所述残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。进一步地，在本专利技术的一个实施例中，通过以下公式得到每个位置对应的残差图像块：其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ωk为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。进一步地，在本本文档来自技高网...

【技术保护点】
一种基于光场采集装置的图像超分辨率方法，其特征在于，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述方法包括：通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；以及根据多张不同视角的光场图像之间的视差得到场景的深度信息。

【技术特征摘要】
1.一种基于光场采集装置的图像超分辨率方法，其特征在于，所述光场采集装置包括多个USB摄像头和相机，以构成一个具有3×3视角的光场采集装置，在侧视角的所述多个USB摄像头以正方形的空间形式规则排布且围绕在所述相机周围，其中，所述方法包括：通过所述光场采集装置采集光场图像，以获取多个侧视角低分辨率图像和中间视角高分辨率图像；利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率；以及根据多张不同视角的光场图像之间的视差得到场景的深度信息。2.根据权利要求1所述的基于光场采集装置的图像超分辨率方法，其特征在于，所述利用字典学习和深度学习对所采集到的所述多个侧视角低分辨率图像进行超分辨率，进一步包括：将所述中间视角高分辨率图像降采样，利用所述深度学习方法将其通过训练好的卷积神经网络进行该视角的超分辨率，与降采样前的图像相减得到残差图像，以反映神经网络超分辨率的残差；将所述多个侧视角低分辨率图像与所述中间高分辨率图像利用图像分块提取字典信息，并做低分辨率图像块与高分辨率图像块的信息对应；将每个侧视角低分辨率图像通过所述卷积神经网络进行初步超分辨率，利用信息对应关系，将所述残差图像转换到侧视角，与经过神经网络的初步得到的超分辨率结果相加，以获取最终超分辨率结果。3.根据权利要求2所述的基于光场采集装置的图像超分辨率方法，其特征在于，通过以下公式得到每个位置对应的残差图像块：其中，为侧视角重建的高分辨率图像块，k为选取的最近似的9个中间高分辨率图像块的索引，ωk为第k个的权重，为形成第j个侧视角高分辨图像块所需要的第k个中间高分辨图像块，R为在中间高分辨率图像上取值，j为侧视角图像块的索引。4.根据权利要求3所述的基于光场采集装置的图像超分辨率方法，其特征在于，所述最终超分辨率结果为：其中，为重建的超分辨率图像块，HR为超分辨率，fCNN(SLR)为经过神经网络进行的图像块超分辨率，SERR为降采样前的图像相减得到残差图像，LR代表低分辨率。5.根据权利要求1-4任一项所述的基于光场采集装置的图像超分辨率方法，其特征在于，所述根据多张不同视角的光场图像之间的视差得到场景的深度信息，进一步包括：获取每张光场图像的边缘置信度，以得到边缘置信度掩膜；根据所述边缘置信度掩膜得到被标记为置信边缘的像素点的视差值；通过联合双边中值滤波对初始视差图进行滤波，获取非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；以及根据各像素点的视差值生成视差图。6.一种基于光场采集装置的图...

【专利技术属性】
技术研发人员：刘烨斌，王玉旺，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11