一种基于深度学习的彩色计算鬼成像方法技术

本发明专利技术公开了一种基于深度学习的彩色计算鬼成像方法，使用彩色光源连续向物体投射经过编码的彩色照明散斑图案，并用单像素探测器采集物体的反射或透射光强度，然后依据信息恢复算法生成信息图；对已知的不同物体生成相应的信息图,从而得到训练数据集；构建生成式对抗网络模型，通过深度学习方法将信息图与物体图像进行对比训练，得到训练好的网络参数；最后将待成像物体的信息图输入到训练好的网络中，得到矫正和提高的待成像物体彩色图像。由于本方法使用的是随机编码方式，降低了彩色鬼成像中照明散斑编码的复杂性；同时所提出的信息恢复算法，利用深度学习方法将信息图中的彩色信息重构，实现了良好的对物体彩色鬼成像效果。果。

【技术实现步骤摘要】
一种基于深度学习的彩色计算鬼成像方法


[0001]本专利技术属于计算鬼成像
，具体设计一种基于深度学习的彩色计算鬼成像方法。

技术介绍

[0002]鬼成像是一种基于光场涨落的关联特性，通过测量参考光场与目标探测光场之间的强度关联函数，可以非局域性地获取目标图像信息的新型成像技术。
[0003]计算鬼成像是传统鬼成像的发展与延伸。
[0004]计算鬼成像理论指出，参考光路的目的是为了测量到达成像物体的光场光强分布，因此可以用空间光调制器或者数字微反射镜对光场进行调控，再通过计算的方式得到光场到达成像物体时的强度分布。
[0005]目前，基于计算鬼成像理论已经实现了对灰度图像的成像。一般来说，采用三个对光谱过滤的单像素光电探测器，分别在红绿蓝三色光谱上进行灰度级成像后再将三色图像组合，也可以实现彩色成像。但这种方法无疑至少将测量时间提高了三倍。
[0006]如果只用一个单像素探测器对信号光的光强进行探测，色彩的相互交叠将会导致成像过程中不同色彩信息置乱，无法正确重建出物体图像及颜色。
[0007]最近有研究人员提出了一种基于特殊彩色散斑场的计算鬼成像方法，该方法虽然利用单像素探测器实现了对彩色物体成像，但是对不同彩色物体需要进行对应的特殊标定和编码。
[0008]近年来，随着硬件设备及计算能力的不断发展和提高，深度学习算法的进步非常迅速，并被广泛应用于各个领域。深度学习算法可通过在大规模图像识别数据集上训练的方式，来学习合适的图像特征表达，进而实现退化图像的恢复和还原。

技术实现思路

[0009]鉴于上述和/或现有存在的问题，提出了本专利技术。
[0010]本专利技术的目的，就是提供一种基于深度学习的彩色鬼成像方法，无需对不同彩色物体需要进行对应的特殊标定和编码，实现对细节丰富物体(而非简单的字母或数字)进行彩色成像。
[0011]计算鬼成像的一个主要特征，就是使用光源连续向待成像物体投射不同的、经过编码的照明光场，同时使用单像素探测器连续采集待成像物体的反射光信号；而物体的成像信息则被这些不同编码的照明光场，与单像素探测器接收到的光强信号之间的关联过程收集起来。
[0012]但对于一个彩色物体，如果使用一个单像素探测器同时接收所有颜色通道的信息，将会使这些色彩相互交叠，从而导致成像过程中不同色彩信息被置乱。
[0013]本专利技术提出一种信息恢复算法，利用这些置乱的信息生成一张包含有待成像物体彩色信息的信息图；通过这样的方式，一方面可以避免复杂的特定照明光场编码，另一方面
可以减少重构算法的计算量。
[0014]生成信息图的具体方法如下：
[0015]由于彩色光源所投射的彩色照明光场是通过编码产生的，因此到达成像物体时光场的光强分布是已知的。
[0016]对于一幅彩色图像的光强分布，可以分解为三个大小为m
×
n的二维矩阵I
r
，I
g
和I
b
来表示，矩阵中各个元素分别代表着其对红、绿或蓝色波段的反射率。
[0017]设由彩色照明光源投射出的红绿蓝三色照明散斑，其所构成的测量矩阵分别为S
r
(N
×
M)，S
g
(N
×
M)和S
b
(N
×
M)，其中N＝m
×
n表示图像的像素个数，M表示采样次数。
[0018]则信息采集模块中，单像素探测器所得到的光强测量序列为：L＝α
r
I
r
S
r
+α
g
I
g
S
g
+α
b
I
b
S
b
，
ꢀꢀꢀ
(1)其中α
r
，α
g
，α
b
分别代表单像素探测器对红、绿和蓝三种颜色光的响应系数。
[0019]借鉴传统鬼成像的算法，将光强测量序列和彩色照明散斑序列进行关联运算，可以得到物体的信息图
[0020]求解信息图的具体方法为：求解信息图的具体方法为：
[0021]较佳的，虽然信息图各个颜色通道由于色彩交叠而产生了串扰，但待成像物体的信息依旧包含在其中。
[0022]将不同的成像物体与其对应的信息图组成训练对，并构成训练数据集。
[0023]对于一个生成式对抗网络，其中存在生成器和判别器两个卷积神经网络；并且它的训练方式为对抗训练，即在训练过程中，生成器的目标就是尽量生成真实的图片去欺骗判别器，而判别器的目标则是尽量判别出生成器产生的假图片和真实图片。
[0024]较优地，设置生成式对抗网络中生成器和判别器的各个网络层的初始参数，将训练数据集输入上述神经网络中，对网络进行对抗训练。
[0025]对待成像物体进行信息采集，并生成信息图；将待成像物体信息图输入训练好的生成对抗网络中，实现对该物体彩色成像。
附图说明
[0026]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，其中：
[0027]图1为本专利技术提供的第一种实施例中所述彩色照明散斑示意图；
[0028]图2为本专利技术提供的第一种实施例中的待成像物体示意图；
[0029]图3为本专利技术提供的第一种实施例中的待成像物体信息图；
[0030]图4为本专利技术提供的第一种实施例中的生成式对抗网络中生成器模型示意图；
[0031]图5为本专利技术提供的第一种实施例中的生成式对抗网络中判别器模型示意图；
[0032]图6为本专利技术提供的第一种实施例中待成像物体重建彩色像示意图。
具体实施方式
[0033]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明。
[0034]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是本专利技术还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施例的限制。
[0035]步骤1：采集信息图数据集。
[0036]步骤1
‑
1：由计算机控制的数字光投影仪产生的如图1所示大小为32*32*3像素的随机编码彩色照明散斑图案，这些彩色散斑被连续地投射到待成像的物体上。
[0037]步骤1
‑
2：如图2所示的彩色照片颜色信息，可由它对红、绿和蓝三色光的反射率矩阵描述，具体可表述为I
r
(64
×
64)，I
g
(64
×
64)和I
b
(64
×
64)；采用单像素探测器连续采集成像物体的反射光信号，得到总光强幅值序列L＝α
r
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的彩色计算鬼成像方法，其特征在于包括以下步骤：1)使用彩色光源连续向待成像物体投射不同的、经过编码的彩色照明散斑图案，并采用单像素探测器连续采集待成像物体的反射光或透射光信号，然后依据信息恢复算法生成信息图；2)采用步骤1)的方法，针对已知的不同物体图像产生与其相应的信息图作为多个样本对，并构成训练集；3)设置生成对抗神经网络的各个网络层的初始参数，将训练集输入该对抗神经网络中，对网络进行训练；4)将步骤1)中所得到的待成像物体信息图，输入到已训练好的对抗神经网络中，得到相应的待成像物体图像，从而最终实现利用计算鬼成像方法对彩色物体成像。2.如权利要求1所述的一种基于深度学习的彩色计算鬼成像方法，其特征在于，被编码的彩色照明散斑图案投射到待成像物体上后，所产生的各种波长的反射光或透射光信号都同时被一个单像素探测器接收。3.如权利要求1所述的一种基于深度学习的彩色计算鬼成像方法，其特征在于，生成信息图的信息恢复算法为：设由彩色照明光源投射出的红绿蓝三色照明散斑，其所构成的测量矩阵分别为S
r
(N
×
M)，S
g
(N
×
M)和S
b
(N

【专利技术属性】
技术研发人员：周昕，倪洋，余展，
申请(专利权)人：四川大学，
类型：发明
国别省市：