基于卷积神经网络的大景深集成成像显示方法和系统技术方案

本发明专利技术提供了一种基于卷积神经网络的大景深集成成像显示方法和系统，所述方法包括：基于卷积神经网络的元素图像预校正、衍射光学元件阵列的设计优化，并对卷积神经网络和衍射光学元件参数进行联合训练优化。所述系统包括：卷积神经网络模块，用于将待成像三维场景的原元素图像阵列输入预训练的卷积神经网络，获得预校正的元素图像阵列；衍射光学元件优化模块，用于与卷积神经网络模块联合对衍射光学元件结构进行优化；显示屏，用于显示预校正后合成的微图像阵列；衍射光学元件阵列，由许多微小衍射光学元件组成，用于为观察者提供对应不同视角的三维场景信息。本发明专利技术实现了大景深集成成像显示，可以提高集成成像系统的分辨率和景深。和景深。和景深。

【技术实现步骤摘要】
基于卷积神经网络的大景深集成成像显示方法和系统


[0001]本专利技术涉及集成成像技术，特别涉及一种基于卷积神经网络的大景深集成成像显示方法和系统，属于显示


技术介绍

[0002]集成成像技术(Integral Imaging)，是一种通过微透镜阵列来实现裸眼三维显示的成像技术。通过集成成像技术实现多视角的立体显示需要经过元素图像的采集和再现两个步骤：对于不同的三维场景，在记录元素图像过程中，采集在每个微透镜位置观察到的场景图像，将不同微透镜对应的图像合成为微图像阵列，该图像阵列包含了三维场景不同视角的信息；在再现过程中，将微图像阵列显示在显示屏上，根据光路可逆原理，观察者通过微透镜阵列可以从不同角度观察到真实的三维场景。
[0003]传统的集成成像技术受到显示器分辨率和微透镜阵列成像质量等因素限制，难以实现高分辨率成像；另一方面，传统集成成像技术无法在整个深度范围内形成清晰的三维图像，只能在某个深度范围内获得清晰的图像，在其他深度则会出现图像模糊以及失真的情况。解决集成成像的分辨率和景深受限问题是其研究方向之一，集成成像显示的空间分辨率、视场大小及景深三个性能参数之间相互制约，通过改变集成成像三维显示器硬件参数提升某一显示性能时会影响其他性能参数。例如通过使用透镜数量更多、尺寸更小的微透镜阵列，可以捕捉到更多的场景细节信息，提升空间分辨率和景深，但会导致视场的减小。在硬件方面，只有减小显示器的像素大小才能够实现以上三个性能参数的同步提高，但由于现有显示技术局限，减小像素大小存在较大的困难并且会造成成本的显著增加。
[0004]基于计算机技术使用优化算法来提升成像质量在显示领域具有广泛应用，深度学习可以在图像处理过程中去除伪影和重建图像细节。利用深度学习中的卷积神经网络进行端到端的优化训练可以对元素图像阵列进行预处理，同时对微透镜阵列进行联合优化，可以提升集成成像的再现像空间分辨率和景深。
[0005]鉴于上述，本专利技术旨在提供一种基于卷积神经网络的大景深集成成像显示方法和系统，来解决上述的一个或多个技术问题，提高集成成像显示的分辨率和景深。

技术实现思路

[0006]为了解决现有技术中的一个或多个技术问题，本专利技术提供一种基于卷积神经网络的大景深集成成像显示方法和系统。
[0007]本专利技术提供了一种基于卷积神经网络的大景深集成成像显示方法，包括基于卷积神经网络的元素图像预校正、衍射光学元件阵列的设计优化两个步骤，并对卷积神经网络参数和衍射光学元件参数进行联合训练优化。对于传统成像系统，在焦面处成像效果最好，离焦越严重的位置成像越模糊，导致系统景深受限。在衍射光学元件阵列设计优化过程中，通过优化使衍射光学元件在整个景深范围内的点扩散函数尽可能相似，优化后的光学元件成像质量在整个景深范围内模糊程度接近。在基于卷积神经网络的元素图像预校正过程
中，通过对元素图像的校正来弥补衍射光学元件在景深范围内导致的像差，提升集成成像系统的分辨率和景深。
[0008]根据本专利技术提供的一种基于卷积神经网络的大景深集成成像显示方法，所述的基于卷积神经网络的元素图像的预校正步骤具体包括：
[0009]获取大量三维场景的图像作为数据集；
[0010]搭建卷积神经网络图像生成算法的U
‑
net网络模型，网络输入为原始的元素图像，输出为预校正后的元素图像；
[0011]对卷积神经网络中的卷积核权重和偏置等参数进行训练，生成目标预校正图像；
[0012]将得到的预校正图像合成为元素图像阵列。
[0013]根据本专利技术提供的一种基于卷积神经网络的大景深集成成像显示方法，所述的衍射光学元件阵列的设计优化步骤具体包括：
[0014]编写根据衍射光学元件参数计算其在景深范围内多个成像位置的点扩散函数的计算机程序；
[0015]以衍射光学元件的参数作为变量，对变量进行优化，使元件在不同像面的点扩散函数分布尽可能一致，并整体减小其离散程度，完成衍射光学元件设计；
[0016]将多个衍射光学元件集成为衍射光学元件阵列。
[0017]根据本专利技术提供的一种基于卷积神经网络的大景深集成成像显示方法，所述的卷积神经网络参数和衍射光学元件参数进行联合训练优化步骤具体包括：
[0018]将数据集中的原始图像输入卷积神经网络，输出预校正图像；
[0019]根据衍射光学元件参数计算在多个成像位置的点扩散函数分布；
[0020]将得到的点扩散函数作为卷积核与预校正图像进行卷积，得到预校正图像经过衍射光学元件在不同位置再现的模拟图像；
[0021]将再现模拟图像与数据集中的原始图像进行损失函数计算，完成卷积神经网络和衍射光学元件参数的训练和优化。
[0022]本专利技术还提供一种基于卷积神经网络的大景深集成成像显示系统，该集成成像显示系统包括：
[0023]卷积神经网络模块，用于将待成像三维场景的原元素图像阵列输入预训练的卷积神经网络，获得预校正的元素图像阵列；
[0024]衍射光学元件优化模块，用于与卷积神经网络模块联合对衍射光学元件结构进行优化；
[0025]显示屏，用于显示经卷积神经网络预校正后合成的微图像阵列；
[0026]衍射光学元件阵列，由许多微小衍射光学元件组成，用于为观察者提供对应不同视角的三维场景信息。
[0027]根据本专利技术又一方面，所述显示屏包括液晶显示器或有机发光二极管(OLED)显示器。
[0028]根据本专利技术又一方面，所述卷积神经网络模块及衍射光学元件优化模块针对具体应用场景要求训练，将三维场景再现像调整至观察者眼睛的目标位置。
[0029]根据本专利技术又一方面，所述的衍射光学元件阵列可以由相位型衍射光学元件、振幅型衍射光学元件构成，或由相位型衍射光学元件与振幅型衍射光学元件组合、单透镜与
振幅型衍射光学元件组合构成。
[0030]本专利技术提供的基于卷积神经网络的大景深集成成像显示系统和方法，通过对卷积神经网络和衍射光学元件参数进行联合优化，完成对衍射光学元件的设计，使衍射光学元件在多个像面引入的像差导致的图像模糊接近；通过卷积神经网络得到预校正元素图像阵列，补偿衍射光学元件在景深范围内造成的像差，可以拓展集成成像系统景深，并提高三维成像显示质量。
[0031]与现有技术相比，本专利技术具有以下一个或多个技术效果：
[0032]首先，衍射光学元件的优化自由度高，可以实现在景深范围内多个成像平面具有相似分布的点扩散函数，减小集成成像系统对于离焦的敏感度；
[0033]其次，在卷积神经网络参数和衍射光学元件联合优化过程中，可以针对衍射光学元件的结构参数针对性训练生成预校正图像的卷积神经网络，使生成的预校正图像补偿衍射光学元件引入的像差，提升集成成像系统在景深范围内的空间分辨率和成像质量；
[0034]第三，在损失函数计算中加入了VGG16特征提取网络作为感受器，使再现图像保留更多原始三维场景的高层次特征，使集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的大景深集成成像显示方法，其特征在于，所述方法包括基于卷积神经网络的元素图像预校正、衍射光学元件阵列的设计优化两个步骤，并对卷积神经网络参数和衍射光学元件参数进行联合训练优化。2.根据权利要求1所述的基于卷积神经网络的元素图像预校正，其特征在于包括：获取大量三维场景的图像作为数据集；搭建卷积神经网络图像生成算法的U
‑
net网络模型，网络输入为原始的元素图像，输出为预校正后的元素图像；对卷积神经网络中的卷积核权重和偏置等参数进行训练，生成目标预校正图像；将得到的预校正图像合成为元素图像阵列。3.根据权利要求1所述的衍射光学元件阵列的设计优化，其特征在于包括：编写根据衍射光学元件参数计算其在景深范围内多个成像位置的点扩散函数的计算机程序；以衍射光学元件的参数作为变量，对变量进行优化，使元件在不同像面的点扩散函数分布尽可能一致，并整体减小其离散程度，完成衍射光学元件设计；将多个衍射光学元件集成为衍射光学元件阵列。4.根据权利要求1所述的卷积神经网络参数和衍射光学元件参数联合优化，其特征在于包括：将数据集中的原始图像输入卷积神经网络，输出经过预校正的图像；根据衍射光学元件参数计算在多个成像位置的点扩散函数分布；将得到的点扩散函数作为卷积核与预校正图像进行卷积，得到预校正图像经过衍射光学元件在不同位置再现的模拟图像；将再现模拟图像与原始图像进行损失函数计算，完成卷积神经网络和衍射光学元件参数的训练和优化。5.根据权利要求4所述的损失函数计算，其特征在于包括：损失函数分为再现图像损失函数L0和融合图像特征损失函数L1两...

【专利技术属性】
技术研发人员：刘娟，周如意，王涌天，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：