基于感知模型的光场成像方法及系统技术方案

本发明专利技术提出基于感知模型的光场成像方法及系统，属于光场成像技术领域。系统包括相机标定模块、颜色插值模块、图像增强模块、超分辨率重建模块并连接光场相机阵列。超分辨率重建模块对执行图像增强的区域及其邻域进行超分辨率重建；感知模型感知图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并调节光场相机阵列的状态参数。方法包括对光场相机阵列包括的多个第一光场相机执行时间同步。本发明专利技术消除了光场成像过程中的光场相机的时间参数不一致性带来的重建误差，并且针对预定类型目标进行标定、颜色插值和增强，改进了光场成像效果。改进了光场成像效果。改进了光场成像效果。

【技术实现步骤摘要】
基于感知模型的光场成像方法及系统


[0001]本专利技术属于光场成像
，尤其涉及一种基于感知模型的光场成像方法及系统、实现所述方法的计算机系统以及计算机可读存储介质。

技术介绍

[0002]传统成像技术将3D场景投影在2D传感器平面上，丢失了原始深度信息。而深度信息被证明可以有效提高计算机视觉能力，如检测、分割、识别等。与此相对应，光场相机通过单次曝光就可以记录3维场景的空间、视角等4维光场信息形成光场成像，与传统相机2维图像采集方式相比具有显著创新。而随着摄像机成本降低，设计光场摄像机阵列来采集光场数据实现光场成像能显著提升图像渲染质量。
[0003]然而，专利技术人发现，现有的光场成像阵列大多是静态不可调节的状态，在光场成像效果不佳时无法进行调节；或者虽然可以调节，但是也是基于人为经验进行，缺乏客观性；此外，在多目标成像和追踪场合，光场成像阵列(光场相机阵列包含的多个光场相机)的同步性和配准参数会极大的影响成像效果。
[0004]如何实现高质量的光场数据实现超分辨率重建，从而实现获得高质量的合成渲染图像，成为本领域亟待解决的技术问题。

技术实现思路

[0005]为解决上述技术问题，本专利技术提出一种基于感知模型的光场成像方法及系统、实现所述方法的计算机系统以及计算机可读存储介质。
[0006]在本专利技术的第一个方面，提供一种基于感知模型的光场成像系统，所述系统连接光场相机阵列，并基于所述感知模型对所述光场相机阵列的状态参数进行调节，
[0007]所述系统还包括：
[0008]相机标定模块，所述相机标定模块对所述光场相机阵列包括的多个光场摄像机执行时间同步，并确定配准参数；
[0009]颜色插值模块，所述颜色插值模块基于四维核回归的色彩插值方法对光场图像执行颜色插值；
[0010]图像增强模块，所述图像增强模块用于对光场图像中预定类型的目标执行区域图像增强；
[0011]超分辨率重建模块，所述超分辨率重建模块对执行所述图像增强的区域及其邻域进行超分辨率重建；
[0012]所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并基于所述数量调节所述光场相机阵列的状态参数，所述状态参数包括光场相机的分辨率和拍摄角度。
[0013]作为进一步的改进，所述系统还包括目标识别模块，所述目标识别模块用于识别所述光场图像中是否包含预定类型的目标；
[0014]所述目标识别模块连接所述相机标定模块以及图像增强模块；
[0015]当所述目标识别模块识别所述光场图像中包含预定类型的目标时，启动所述相机标定模块对所述光场相机阵列包括的多个第一光场摄像机执行时间同步，所述多个第一光场摄像机拍摄的第一光场图像包含所述预定类型的目标；
[0016]同时启动所述图像增强模块对多个第一光场摄像机拍摄的第一光场图像执行区域图像增强。
[0017]所述预定类型至少包括第一类型和第二类型；
[0018]所述超分辨率重建模块包含第一类型的目标重建模型和第二类型的目标重建模型；
[0019]所述目标识别模块连接所述超分辨率重建模块，并基于识别出的光场图像中的目标的类型数量，激活所述第一类型的目标重建模型和/或第二类型的目标重建模型。
[0020]在本专利技术的第二个方面，提供一种基于感知模型的光场成像方法，所述方法基于包含多个光场相机的光场相机阵列实现，并对所述光场相机阵列产生的目标光场图像执行超分辨率重建。
[0021]在具体步骤上，所述方法包括：
[0022]S610：识别当前光场图像中是否包含预定类型的目标；
[0023]如果是，则将当前光场图像确定为所述目标光场图像；
[0024]S620：对所述光场相机阵列包括的多个第一光场相机执行时间同步，所述多个第一光场相机拍摄的第一光场图像包含所述预定类型的目标；
[0025]S630：对多个第一光场摄像机拍摄的第一光场图像执行区域图像增强；
[0026]S640：激活第二数量的第二光场相机，所述第二光场相机的分辨率大于所述第一光场摄像机，并且所述第二光场相机拍摄获得的第二光场图像均包含所述预定类型的目标，所述第二数量为执行所述图像增强的区域及其邻域包含的预定类型的目标的数量；
[0027]S650：基于识别出的所有光场图像中的目标的类型数量，激活目标重建模型，对执行所述图像增强的区域及其邻域进行超分辨率重建。
[0028]作为进一步的改进，为加快算法执行速度，所述步骤S630和步骤S640同步执行。
[0029]所述目标重建模型包含不同类型的第一目标重建模型和第二目标重建模型；
[0030]所述步骤S650包括：
[0031]基于识别出的光场图像中的目标的类型数量，激活所述第一目标重建模型和/或第二目标重建模型。
[0032]其中，在所述步骤S650之前，所述方法还包括：
[0033]基于四维核回归的色彩插值方法对所述目标光场图像执行颜色插值。
[0034]在本专利技术的第三个方面，提供一种基于感知模型的光场成像设备，所述设备包括处理器和存储器，所述存储器上存储有计算机可执行程序指令，通过所述处理器执行所述可执行程序指令，用于实现前述第一个方面所述的方法。
[0035]进一步的，在本专利技术的第四个方面，本专利技术可以实现为一种计算机介质，计算机介质上存储有计算机程序指令，通过执行所述程序指令，前述第一个方面所述的方法得以自动化实现。
[0036]同样的，在本专利技术的第五个方面，本专利技术还可以表现为一种计算机程序产品，所述
程序产品承载于计算机可读存储介质，通过处理器执行所述程序，从而实现前述第一个方面所述的方法。
[0037]本专利技术消除了光场成像过程中的光场相机的时间参数不一致性带来的重建误差，并且针对预定类型目标进行标定、颜色插值和增强，改进了光场成像效果；并且，在本专利技术的技术方案中，所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量后，激活所述数量的第二光场摄像机，所述第二光场摄像机的分辨率大于所述第一光场摄像机，并且所述第二光场摄像机拍摄获得的第二光场图像包含所述数量的预定类型的目标。所述颜色插值模块配置于计算棒中，能够进一步降低系统硬件布置成本和能耗。
[0038]本专利技术的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
[0039]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本专利技术一个实施例的一种基于感知模型的光场成像系统的部分结构模块示意图；
[0041]图2是本专利技术再一个优选实施例的一种基于感知模型的光场成像系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于感知模型的光场成像系统，所述系统连接光场相机阵列，并基于所述感知模型对所述光场相机阵列的状态参数进行调节，其特征在于，所述系统还包括：相机标定模块，所述相机标定模块对所述光场相机阵列包括的多个光场摄像机执行时间同步，并确定配准参数；颜色插值模块，所述颜色插值模块基于四维核回归的色彩插值方法对光场图像执行颜色插值；图像增强模块，所述图像增强模块用于对光场图像中预定类型的目标执行区域图像增强；超分辨率重建模块，所述超分辨率重建模块对执行所述图像增强的区域及其邻域进行超分辨率重建；所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并基于所述数量调节所述光场相机阵列的状态参数，所述状态参数包括光场相机的分辨率和拍摄角度。2.如权利要求1所述的一种基于感知模型的光场成像系统，其特征在于：所述系统还包括目标识别模块，所述目标识别模块用于识别所述光场图像中是否包含预定类型的目标；所述目标识别模块连接所述相机标定模块以及图像增强模块；当所述目标识别模块识别所述光场图像中包含预定类型的目标时，启动所述相机标定模块对所述光场相机阵列包括的多个第一光场摄像机执行时间同步，所述多个第一光场摄像机拍摄的第一光场图像包含所述预定类型的目标；同时启动所述图像增强模块对多个第一光场摄像机拍摄的第一光场图像执行区域图像增强。3.如权利要求2所述的一种基于感知模型的光场成像系统，其特征在于：所述感知模型用于感知所述图像增强模块执行图像增强的区域及其邻域包含的预定类型的目标的数量，并基于所述数量调节所述光场相机阵列的状态参数，具体包括：所述感知模型激活所述数量的第二光场摄像机，所述第二光场摄像机的分辨率大于所述第一光场摄像机，并且所述第二光场摄像机拍摄获得的第二光场图像包含所述数量的预定类型的目标。4.如权利要求2所述的一种基于感知模型的光场成像系统，其特征在于：所述预定类型至少包括第一类型和第二类型；所述超分辨率重建模块包含第一类型的目标重建模型和第二类型的目标重建模型；所述目标识别模块连接所述超分辨率重建模块，并基于识别出的光场图像中的...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京拙河科技有限公司，
类型：发明
国别省市：