【技术实现步骤摘要】
本专利技术涉及一种光场图像增强方法，尤其是涉及一种基于焦点堆栈的超分辨率图像增强方法。
技术介绍
1、光场图像是一种捕捉光线在空间中传播信息的图像形式。与传统的2d图像不同，光场图像不仅记录光线的强度和颜色信息，还记录光线的方向和位置。这种技术通过捕捉光线的4d信息，可以实现传统图像无法实现的功能，如景深调整。图像作为重要的信息载体，其质量的高低直接影响了信息表达的能力，因此图像超分辨率技术凭借其恢复高质量图像的强大能力在许多领域有着广泛应用。相较于传统二维图像，光场图像满足了人们对高维信息的需求。但是，主流光场相机捕获的光场图像始终面临着图像分辨率不足的问题。深度线索是视觉系统用来感知物体距离和深度的信息，在光场图像中，深度线索是通过捕捉光线的方向和位置来获得的。深度线索在光场超分辨增强中有着重要作用，但是现有工作大多关注如何利用焦点堆栈，而忽略了对焦点堆栈的深入发掘和像素提升，进而导致超分辨增强效果不理想。
技术实现思路
1、本专利技术提供了一种基于焦点堆栈的超分辨率图像增强方法，解决了对焦点堆栈的深入发掘和像素提升问题，其技术方案如下所述：
2、一种基于焦点堆栈的超分辨率图像增强方法，包括以下步骤：
3、s1：使用光场图像采集设备内部设置的微透镜阵列拍摄获取所需光场区域图像，以获取原始光场图像，所述原始光场图像经过光场图像预处理单元得到焦点堆栈，所述焦点堆栈传输给焦点堆栈超分辨率处理单元；
4、s2：使用焦点堆栈超分辨率处理单元，采用基于深
5、s3：最终图像经过光场图像后处理单元进行整合处理得到整合图像，所述整合图像由光场显示单元显示，所述光场显示单元包括依次连接的计算机、图像传送器、led屏幕。
6、步骤s1中，获取所需光场区域图像时，使用微透镜阵列和二维传感器记录光线的传播方向，利用微透镜成像原理计算，得到深度的计算公式为：
7、；
8、式中：s是视差，x是两个视点之间的距离、d’表示主透镜到聚焦平面的距离、f’是主透镜到微透镜阵列的距离，根据上式可计算深度d。
9、步骤s1中，所述光场图像预处理单元得到焦点堆栈的具体步骤为：
10、s11：首先对原始光场图像进行调整和处理，对其进行gamma校正，公式如下：
11、；
12、其中， 是原始图像的亮度值，是校正后的亮度值， 是gamma值；
13、s12：然后遍历调整后图像的所有视角，根据深度d进行平移累加操作，记录每个倾斜参数，生成一张焦点堆栈图像，所述倾斜参数控制焦点堆栈中图像的焦平面位置。
14、步骤s2中，所述焦点堆栈超分辨率处理单元在对焦点堆栈进行处理时，采用基于焦点堆栈不同区域超分辨率网络，具体包括：
15、s21：得到焦点堆栈对应深度图；
16、s22：根据深度图将深度信息与焦点堆栈对应；
17、s23：根据深度值将焦点堆栈分为聚焦区域和离焦区域；
18、s24：将焦点堆栈中的聚焦区域用不同的噪声等级进入超分辨网络；
19、s25：将不同的噪声等级处理后的多组焦点堆栈进行评估；
20、s26：评估后获得焦点堆栈聚焦区域最佳噪声等级；
21、s27：将焦点堆栈中离焦区域也进入超分辨网络；
22、s28：将焦点堆栈中每张最佳区域整合在一起作为最终图像结果输出。
23、步骤s21中，得到焦点堆栈对应深度图，包括以下步骤：
24、步骤s201：首先加载已经通过原始光场图像得到的焦点堆栈；
25、步骤s202：应用rdf滤波器生成焦点堆栈中每个图像的焦点映射；
26、步骤s203：使用成本聚合技术和引导滤波技术改善焦点映射的准确性；
27、步骤s204：将每个像素的深度值与其周围像素的深度值进行比较和分析；
28、步骤s205：根据焦点映射计算每个像素的最终深度值，进而得到深度图。
29、所述步骤s24中，焦点堆栈中的聚焦区域用不同的噪声等级进入超分辨网络，包括以下步骤：
30、步骤s301：对聚焦区域的焦点堆栈图像设置不同的噪声等级进行匹配，范围设置成[0-30]，间隔设置为1；
31、步骤s302：进入网络前加入一个各向同性高斯模糊核，矢量化后用lda降维方法；
32、步骤s303：将处理后的模糊核以及噪声等级映射后与图像进行连接；所述图像是进入网络的焦点堆栈中的一张；
33、步骤s304：将整合后的图像作为输入，进入一个3×3的cnn卷积网络；
34、步骤s305：经过亚像素卷积层将多个hr子图像转换为的单个hr图像，所述多个hr子图像是亚像素卷积层生成。
35、所述步骤s25中，将不同的噪声等级处理后的多组焦点堆栈进行评估，包括以下步骤：
36、步骤s401：将每组焦点堆栈同一聚焦区域用自然统计特性无参考指标niqe计算，先用到mvg模型密度函数，公式如下：
37、；
38、 是nss特征，x和∑分别表示mvg模型的均值和协方差矩阵，由标准最大似然估计得到，k表示自然数；
39、步骤s402： 用nss特征和提取自失真图像特征的mvg间的距离表示图像的质量，将焦点堆栈相同区域不同噪声级别的聚焦区域进行质量评估，公式如下：
40、；
41、分别表示mvg自然和失真模型mvg模型的均值向量，分别表示mvg自然和失真模型mvg模型的协方差矩阵。
42、步骤s27中，焦点堆栈中的离焦区域进入超分辨网络时，所述离焦区域噪声级别选用聚焦区域最佳噪声级别的二倍，进入网络处理方法同步骤s24。
43、步骤s3中，所述光场图像后处理单元对焦点堆栈进行整合，包括以下步骤：
44、步骤s501：使用成本聚合技术和引导滤波技术改善焦点映射的准确性；
45、步骤s502：通过计算焦点映射来确定处理后每个像素的最佳焦点所在的图像；
46、步骤s503：在聚焦区域每个像素位置选择具有最佳焦点的像素；
47、步骤s504：聚焦区域具有最佳焦点的像素值和处理后离焦区域像素值组合在一起形成整合图像。
48、所述基于焦点堆栈的超分辨率图像增强方法，通过对焦点堆栈的深入发掘和像素提升，具有更好的图像增强效果，本专利技术具有以下优点：（1）利用光场图像记录光线的方向和位置的特点，以光场图像深度线索为出发点对焦点堆栈进行处理；（2）对焦点堆栈分成离交和聚焦区域，处理区域更准确；（3）可以利用不同的噪声级别对焦点堆栈进行处理选择最优图像；（4）本专利技术处理的焦点堆栈相比普通超分辨焦点堆栈处理后主体更加突出效果更佳；（5）超分辨网络运用cnn卷积网络，网络结构简单。
本文档来自技高网...【技术保护点】
1.一种基于焦点堆栈的超分辨率图像增强方法，包括以下步骤：
2.根据权利要求1所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤S1中，获取所需光场区域图像时，使用微透镜阵列和二维传感器记录光线的传播方向，利用微透镜成像原理计算，得到深度的计算公式为：
3.根据权利要求1所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤S1中，所述光场图像预处理单元得到焦点堆栈的具体步骤为：
4.根据权利要求1所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤S2中，所述焦点堆栈超分辨率处理单元在对焦点堆栈进行处理时，采用基于焦点堆栈不同区域超分辨率网络，具体包括：
5.根据权利要求4所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤S21中，得到焦点堆栈对应深度图，包括以下步骤：
6.根据权利要求1所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：所述步骤S24中，焦点堆栈中的聚焦区域用不同的噪声等级进入超分辨网络，包括以下步骤：
7.根据权利要求1所述的基于焦点堆栈的超分辨率图像增强方
8.根据权利要求6所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤S27中，焦点堆栈中的离焦区域进入超分辨网络时，所述离焦区域噪声级别选用聚焦区域最佳噪声级别的二倍，进入网络处理方法同步骤S24。
9.根据权利要求1所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤S3中，所述光场图像后处理单元对焦点堆栈进行整合，包括以下步骤：
...【技术特征摘要】
1.一种基于焦点堆栈的超分辨率图像增强方法，包括以下步骤：
2.根据权利要求1所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤s1中，获取所需光场区域图像时，使用微透镜阵列和二维传感器记录光线的传播方向，利用微透镜成像原理计算，得到深度的计算公式为：
3.根据权利要求1所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤s1中，所述光场图像预处理单元得到焦点堆栈的具体步骤为：
4.根据权利要求1所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤s2中，所述焦点堆栈超分辨率处理单元在对焦点堆栈进行处理时，采用基于焦点堆栈不同区域超分辨率网络，具体包括：
5.根据权利要求4所述的基于焦点堆栈的超分辨率图像增强方法，其特征在于：步骤s21中，得到焦点堆栈对应...
【专利技术属性】
技术研发人员：袁仲云，张峻彬，程永强，王雪伟，邢志刚，王晓磊，
申请(专利权)人：深圳市斯贝达电子有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。