一种自适应光场成像校准方法、设备及存储介质技术

本发明专利技术公开了一种自适应光场成像校准方法、设备及存储介质。该方法包括：获取每个模块内的全局相机拍摄的全局视频数据，其中，所述模块包括：一个全局相机和至少一个局部相机；根据所述全局视频数据确定空间信息分布图；根据所述空间信息分布图确定模块内部的每个局部相机的参数信息，计算全局相机和局部相机的图像之间的映射网格，将局部相机校准到对应的全局相机上，通过本发明专利技术的技术方案，以实现新功能的实现可通过添加，修改，设计新的模块来实现。且所有模块内部采用分级的设计，在光场校准中，可先对每个模块内部进行校准，然后再对所有模块进行整体校准。通过两级校准的方式，降低了光场校准的复杂度，并提高鲁棒性和并行性。并行性。并行性。

【技术实现步骤摘要】
一种自适应光场成像校准方法、设备及存储介质


[0001]本专利技术实施例涉及图像处理领域，尤其涉及一种自适应光场成像校准方法、设备及存储介质。

技术介绍

[0002]随着高分辨率显示器和投影仪的普及，以及VR和AR的兴起，人们对图像的分辨率、视角及质量的要求越来越高，由于单个相机视角范围有限，这就需要利用多相机融合的技术获得高分辨率，宽视角，带深度的图像。其中，光场相机阵列作为核心技术之一，是国际上相关技术的研究热点，应用也非常广泛，包括生物医学工程研究、天文观测、公共安全、航空航天等方面。
[0003]传统的相机阵列采用固定相机的方式，通常存在以下难点及问题：一是标定。此类相机往往主要在使用前进行标定，而传统的利用标定板的标定算法，标定工序复杂，其难以标定设计复杂的相机阵列系统；二是固定的相机阵列系统灵活性差，不能对场景内容进行自适应采集，会浪费大量相机资源。
[0004]以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。

技术实现思路

[0005]本专利技术实施例提供一种自适应光场成像校准方法、设备及存储介质，以实现能够通过光场成像系统采用模块化的结构，光场成像系统的指标参数，新功能的实现可通过添加，修改，设计新的模块来实现。且所有模块内部采用分级的设计，在光场校准中，可先对每个模块内部进行自适应校准，然后再对所有模块进行整体校准。通过两级校准的方式，降低了光场校准的复杂度，并提高鲁棒性和并行性。光场成像系统在相机的连接上采用非结构化的设计（包括模块内和模块之间）。该设计提高了整个光场系统的灵活性，使得整个光场系统能够根据场景内容对各个模块和模块内的子系统进行在线调整。
[0006]第一方面，本专利技术实施例提供了一种自适应光场成像校准方法，包括：获取每个模块内的全局相机拍摄的全局视频数据，其中，所述模块包括：一个全局相机和至少一个局部相机；根据所述全局视频数据确定空间信息分布图；根据所述空间信息分布图确定模块内部的每个局部相机的参数信息；根据全局相机和局部相机的图像，计算图像映射网格，将局部相机校准到对应的全局相机上。
[0007]第二方面，本专利技术实施例还提供了一种自适应光场成像校准装置，该装置包括：获取模块，用于获取每个模块内的全局相机拍摄的全局视频数据，其中，所述模块包括：一个全局相机和至少一个局部相机；
第一确定模块，用于根据所述全局视频数据确定空间信息分布图；第二确定模块，用于根据所述空间信息分布图确定模块内部的每个局部相机的参数信息；第三确定模块，用于计算全局相机和局部相机的图像之间的映射网格，将局部相机校准到对应的全局相机上。
[0008]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的方法。
[0009]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的方法。
[0010]本专利技术实施例通过获取每个模块内的全局相机拍摄的全局视频数据，其中，所述模块包括：一个全局相机和至少一个局部相机；根据所述全局视频数据确定空间信息分布图；根据所述空间信息分布图确定模块内部的每个局部相机的参数信息，计算全局相机和局部相机的图像之间的映射网格，将局部相机校准到对应的全局相机上，以实现能够通过光场成像系统采用模块化的结构，光场成像系统的指标参数，新功能的实现可通过添加、修改或者设计新的模块来实现。且所有模块内部采用分级的设计，在光场校准中，可先对每个模块内部进行校准，然后再对所有模块进行整体校准。通过两级校准的方式，降低了光场校准的复杂度，并提高鲁棒性和并行性，光场成像系统在相机的连接上采用非结构化的设计（包括模块内和模块之间）。该设计提高了整个光场系统的灵活性，使得整个光场系统能够根据场景内容对各个模块和模块内的子系统进行在线调整。
附图说明
[0011]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0012]图1是本专利技术实施例一中的一种自适应光场成像校准方法的流程图；图1a是本专利技术实施例一中的分级模块化相机阵列示意图；图1b是本专利技术实施例一中的分级模块化光场相机阵列校准流程图；图1c是本专利技术实施例一中的4
×
4的网格的示意图；图1d是本专利技术实施例一中的融合网格的示意图；图1e是本专利技术实施例一中的网格融合结果的示意图；图1f是本专利技术实施例一中的自适应光场校准图；图2是本专利技术实施例二中的一种自适应光场成像校准装置的结构示意图；图3是本专利技术实施例三中的一种计算机设备的结构示意图。
具体实施方式
[0013]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便
于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0014]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0015]实施例一图1为本专利技术实施例一提供的一种自适应光场成像校准方法的流程图，本实施例可适用于自适应光场成像校准的情况，该方法可以由本专利技术实施例中的自适应光场成像校准装置来执行，该自适应光场成像校准装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：S110，获取每个模块内的全局相机拍摄的全局视频数据，其中，所述模块包括：一个全局相机和至少一个局部相机。
[0016]其中，每个模块中的全局相机和局部相机的数量可以根据用户需求进行设定，本专利技术实施例对此不进行限制。
[0017]S120，根据所述全局视频数据确定空间信息分布图。
[0018]示例性的，根据所述全局视频数据确定空间信息分布图的方式可以为：预先将全局视频数据转换为全局灰度视频数据，再根据全局灰度视频数据确定控件信息分布图。
[0019]S130，根据所述空间信息分布图确定模块内部的每个局部相机的参数信息。
[0020]其中，所述局部相机的参数信息包括：拍摄位置、焦距、分辨率以及帧率中的至少一种。
[0021]示例性的，根据所述空间信息分布图确定模块内部的每个局部相机的参数信息的方式可以，基于目标函数和空间信息分布图确定模块内部的每个局部相机的参数信息，其中，所述目标函本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应光场成像校准方法，其特征在于，包括：获取每个模块内的全局相机拍摄的全局视频数据，其中，所述模块包括：一个全局相机和至少一个局部相机；根据所述全局视频数据确定空间信息分布图；根据所述空间信息分布图确定模块内部的每个局部相机的参数信息；计算全局相机和局部相机的图像之间的映射网格，将局部相机校准到对应的全局相机上。2.根据权利要求1所述的方法，其特征在于，根据所述全局视频数据确定空间信息分布图包括：根据所述全局视频数据确定每一个像素点的信息；根据每一个像素点的信息确定空间信息分布图。3.根据权利要求1所述的方法，其特征在于，根据所述空间信息分布图确定模块内部的每个局部相机的参数信息包括：基于如下目标函数确定模块内部的每个局部相机的参数信息：其中，(x
i
,y
i
)为局部相机拍摄的位置，f
i
为局部相机的焦距，H(x
i
,y
i
,f
i
,
…
)为第个局部相机对应的空间信息分布图，为局部相机的数量。4.根据权利要求1所述的方法，其特征在于，计算全局相机和局部相机的图像之间的映射网格，将局部相机校准到对应的全局相机上包括：获取每个局部相机拍摄的局部视频数据；根据所述全局视频数据和所述局部视频数据进行特征匹配，得到特征匹配点；根据所述特征匹配点，计算单应性矩阵；用计算得到的单应性矩阵和网格数量计算网格中每个控制点的位置，确定目标表格；根据所述目标表格确定目标图像。5.根据权利要求4所述的方法，其特征在于，用计算得到的单应性矩阵和网格数量计算网格中每个控制点的位置，确定目标表格，包括：预先获取网格数量列表；依次基于所述网格数量列表中的网格数量以及计算得到的单应性矩阵计算网格中每个控制点的位置，得到至少一个网格；将绘制的所有网格进行融合，得到目标表格。6.根据权利要求5所述的方法，其特征在于，所述网格数量列表包括：网格数量1
×
1、网格数量2
×
2、网格数量4
×
4和网格数量8
×

【专利技术属性】
技术研发人员：方璐，季梦奇，袁肖赟，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：