光场图像编辑方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种光场图像编辑方法、装置、设备及存储介质，所述光场图像编辑方法通过获取待编辑光场图像与已编辑的编辑中心子图像，并将待编辑光场图像与编辑中心子图像输入基于实现光场图像的自动编辑功能所设计的深度神经网络，从而得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。本发明专利技术中基于实现光场图像的自动编辑功能所设计的深度神经网络，能够准确获得待融合编辑物体旋转不同角度的信息，保证不同子图像的视差一致性，使得光场图像的一张中心子图像上的编辑操作可被自动传播到光场图像的所有其它子图像上，从而实现编辑一张子图像，即可得到所有子图像相应的编辑效果。

【技术实现步骤摘要】
光场图像编辑方法、装置、设备及存储介质
本专利技术涉及图像处理
，尤其涉及一种光场图像编辑方法、装置、设备及存储介质。
技术介绍
随着光场图像编辑处理技术的快速发展，光场图像已广泛应用于人们的日常生活。与传统的2D图像采集相比，新兴的光场成像技术，不仅可获取图像的空间域信息，还可获取额外的角度域信息。而光场图像实际上是一组图像，它既包含空间域信息，即一张子图像的像素信息，也包含角度域信息，即同一像素在不同角度反射的光线信息。二维图像的编辑算法发展已然比较成熟。然而，由于光场图像的特殊组成结构，传统二维图像处理算法不能直接应用于光场图像。在对光场图像进行编辑的时候，用户需要手动编辑光场图像的每个子图像。这个过程非常耗时，更重要的是，用户无法保证不同子图像的视差一致性。此外，通过对光场图像每一张子图像的编辑效果进行几何计算，也可获得编辑效果。但其效果不佳，例如，在光场图像增强现实融合编辑中，该方法无法准确获得待融合编辑物体旋转不同角度的信息。故上述的种种情况均反映出了使用现有方式对光场图像进行编辑的效果不佳的技术问题。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种光场图像编辑方法，旨在解决使用现有方式对光场图像进行编辑的效果不佳的技术问题。为实现上述目的，本专利技术提供一种光场图像编辑方法，所述光场图像编辑方法包括：获取待编辑光场图像与经过编辑处理后的编辑中心子图像，将所述待编辑光场图像与所述编辑中心子图像输入预设已训练的深度神经网络模型，其中，所述深度神经网络模型用于实现光场图像的自动编辑功能；在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。可选地，所述在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像的步骤包括：在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到中间输出；将所述中间输出与所述编辑中心子图像进行连接，生成优化输入，以作为所述深度神经网络模型的优化子网络的输入；在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到所述目标完整光场图像。可选地，所述在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到中间输出的步骤包括：在所述传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到所述待编辑光场图像与编辑中心子图像的图像特征；将所述待编辑光场图像与编辑中心子图像的图像特征拼接成输入特征图，对所述输入特征图进行空间域与角度域交错卷积，得到所述中间输出。可选地，所述在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到所述目标完整光场图像的步骤包括：在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，得到所述优化输入的图像特征；将所述优化输入的图像特征进行空间域与角度域交错卷积，得到所述优化子网络的优化输出；将所述中间输出与优化输出叠加，并与所述编辑中心子图像进行连接，生成所述目标完整光场图像。可选地，所述获取待编辑光场图像与经过编辑处理后的编辑中心子图像的步骤包括：在接收到光场图像编辑指令时，获取基于所述光场图像编辑指令确定的一组待编辑光场图像，其中，所述待编辑光场图像由多张光场子图像组成；从所述待编辑光场图像中选出一中心光场子图像，并获取由用户对所述中心光场子图像进行增强现实编辑后的编辑中心子图像。可选地，所述获取待编辑光场图像与经过编辑处理后的编辑中心子图像的步骤之前，还包括：获取真实场景中采集的编辑前光场图像与编辑后光场图像，作为光场图像对；利用所述光场图像对，对预设初始深度神经网络模型进行训练，以生成所述深度神经网络模型。可选地，所述在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像的步骤之后，还包括：将所述待编辑光场图像与目标完整光场图像作为训练数据集对所述深度神经网络模型进行训练，以优化所述深度神经网络模型。此外，为实现上述目的，本专利技术还提供一种光场图像编辑装置，所述光场图像编辑装置包括：图像输入模块，用于获取待编辑光场图像与经过编辑处理后的编辑中心子图像，将所述待编辑光场图像与所述编辑中心子图像输入预设已训练的深度神经网络模型，其中，所述深度神经网络模型用于实现光场图像的自动编辑功能；图像获取模块，用于在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。可选地，所述图像获取模块包括：中间输出单元，用于在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到中间输出；优化输入单元，用于将所述中间输出与所述编辑中心子图像进行连接，生成优化输入，以作为所述深度神经网络模型的优化子网络的输入；目标图像单元，用于在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到所述目标完整光场图像。可选地，所中间输出单元包括：在所述传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到所述待编辑光场图像与编辑中心子图像的图像特征；将所述待编辑光场图像与编辑中心子图像的图像特征拼接成输入特征图，对所述输入特征图进行空间域与角度域交错卷积，得到所述中间输出。可选地，所述目标图像单元包括：在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，得到所述优化输入的图像特征；将所述优化输入的图像特征进行空间域与角度域交错卷积，得到所述优化子网络的优化输出；将所述中间输出与优化输出叠加，并与所述编辑中心子图像进行连接，生成所述目标完整光场图像。可选地，所述光场图像编辑装置还包括：图像选择模块，用于在接收到光场图像编辑指令时，获取基于所述光场图像编辑指令确定的一组待编辑光场图像，其中，所述待编辑光场图像由多张光场子图像组成；从所述待编辑光场图像中选出一中心光场子图像，并获取由用户对所述中心光场子图像进行增强现实编辑后的编辑中心子图像。可选地，所述光场图像编辑装置还包括：模型训练模块，用于获取真实场景中采集的编辑前光场图像与编辑后光场图像，作为光场图像对；利用所述光场图像对，对预设初始深度神经网络模型进行训练，以生成所述深度神经网络模型。可选地，所述光场图像编辑装置还包括：模型优化模块本文档来自技高网...

【技术保护点】
1.一种光场图像编辑方法，其特征在于，所述光场图像编辑方法包括：/n获取待编辑光场图像与经过编辑处理后的编辑中心子图像，将所述待编辑光场图像与所述编辑中心子图像输入预设已训练的深度神经网络模型，其中，所述深度神经网络模型用于实现光场图像的自动编辑功能；/n在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。/n

【技术特征摘要】
1.一种光场图像编辑方法，其特征在于，所述光场图像编辑方法包括：
获取待编辑光场图像与经过编辑处理后的编辑中心子图像，将所述待编辑光场图像与所述编辑中心子图像输入预设已训练的深度神经网络模型，其中，所述深度神经网络模型用于实现光场图像的自动编辑功能；
在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像。


2.如权利要求1所述的光场图像编辑方法，其特征在于，所述在所述深度神经网络模型中，将所述待编辑光场图像与编辑中心子图像进行特征提取与合成，以得到与所述编辑中心子图像的编辑效果相对应的目标完整光场图像的步骤包括：
在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到中间输出；
将所述中间输出与所述编辑中心子图像进行连接，生成优化输入，以作为所述深度神经网络模型的优化子网络的输入；
在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到所述目标完整光场图像。


3.如权利要求2所述的光场图像编辑方法，其特征在于，所述在所述深度神经网络模型的传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到中间输出的步骤包括：
在所述传播子网络中，将所述待编辑光场图像与编辑中心子图像进行空间域与角度域交错卷积，得到所述待编辑光场图像与编辑中心子图像的图像特征；
将所述待编辑光场图像与编辑中心子图像的图像特征拼接成输入特征图，对所述输入特征图进行空间域与角度域交错卷积，得到所述中间输出。


4.如权利要求2所述的光场图像编辑方法，其特征在于，所述在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，以得到所述目标完整光场图像的步骤包括：
在所述优化子网络中，将所述优化输入进行空间域与角度域交错卷积，得到所述优化输入的图像特征；
将所述优化输入的图像特征进行空间域与角度域交错卷积，得到所述优化子网络的优化输出；
将所述中间输出与优化输出叠加，并与所述编辑中心子图像进行连接，生成所述目标完整光场图像。


5.如权利要求1所述...

【专利技术属性】
技术研发人员：陈晓明，陈志波，
申请(专利权)人：中国科学技术大学先进技术研究院，
类型：发明
国别省市：安徽;34