【技术实现步骤摘要】
本专利技术属于图像处理处理、图像超分辨率重建等，尤其涉及一种基于可靠注意力的立体图像超分辨率重建方法，可应用于工业检测、医学成像、洪水淹没图像识别和交通道路塌陷场景识别等场景。
技术介绍
1、不同于单幅图像超分辨率重建，立体图像超分辨率重建旨在利用另一视角的补充信息，将一对低分辨率图像恢复成高分辨率图像。在现实场景中有很多应用，如工业检测中，准确的立体图像可以更精确地测量制造的零件，从而确保卓越的质量控制；医学成像中，更清晰、更详细的图像有助于准确测量解剖结构。但是，如何充分利用另一视角的补充信息是一项挑战。
2、为了解决这一问题，现有技术提出了一些结合注意力机制的方法。例如，wang等引入了一种沿极线具有全局感受野的视差注意机制(pam)，可以处理具有较大视差变化的不同立体图像。随后，ying等提出了一种通用的立体注意模块(sam)，可以将其集成到任意的单幅图像超分辨率重建模型中，从而产生更清晰的立体图像。song等人提出一种自视差注意机制(spam)，可以同时聚合原始图像和另一幅图像中的信息。zhu等提出了一种跨视图网络(cvcnet)，可以从全局视图和极线中捕获跨视图信息。lin等提出了基于transformer的高效立体图像超分辨率网络(stereformer)，巧妙地结合了卷积和transformer的优点，取得了显著的性能。chu等开发了nafssr网络，该网络使用非线性无激活块进行视图内特征提取，使用立体交叉注意模块(scam)进行跨视图特征交互。gao等提出了一种混合尺度选择性融合网络(mssfnet
3、然而，并非所有来自另一个视角的特征都是可靠或有用的。一些特征在重建过程中受到退化、失真等不利影响，使得视差注意变得不可靠，会对图像重建的性能产生不利影响。
4、单幅图像超分辨率重建旨在将一张低分辨率图像重建成高分辨率图像，然而这种方法只能利用视图内信息，对立体图像的超分辨率重建没有太大提升。为了解决这一问题，研究人员提出了立体图像超分辨率重建的方法，通过利用另一视角的补充信息来增强图像恢复的性能。但是，从另一个角度学习所有信息非常耗时，而且并非所有信息都有用。后续，研究人员在左右视图特征交互阶段引入注意力机制，来减少学习不必要的信息，这让立体图像超分辨率的性能有了很大的提升。然而，通过注意力机制分配的权重是否绝对可靠，会不会因为特征退化、失真等因素的影响让注意力关注到一些不可靠或者无用的特征，这是一个值得深思的问题。如说明书附图1所示，通过可视化nafssr中的一张左视图高分辨率图像和真实图像之间的差异以及训练过程中的不确定性，可以看到这些不确定性和差异非常接近，这表明在这些高不确定性区域中恢复的特征并不可靠。在特征交互阶段，视差注意可能会关注不可靠的特征，这会对图像重建的性能产生负面影响。
技术实现思路
1、针对现有技术存在的以上问题，本专利技术提出了一种基于可靠注意力的立体图像超分辨率网络(rassr)。首先，提出了两个模块来实现特征质量评估，同时保持特征提取能力：蒙特卡洛特征提取块(mcfeblock)和特征补偿模块(fcm)。mcfeblock负责提取视图间特征，并通过mcdropout方法为后续的特征筛选提供不确定性估计。fcm模块通过包括大核卷积注意机制(lkca)在内的一系列卷积操作弥补了由于dropout造成的信息丢失，从而丰富了图像特征。此外，引入了一个特征调制模块(fmm)来过滤掉不可靠的特征并对其进行调制，确保它们的注意力和学习到的特征相对可靠。
2、本专利技术具体采用以下技术方案：
3、一种基于可靠注意力的立体图像超分辨率重建方法；
4、通过不确定性估计筛选不可靠特征并对其进行调制以改善低分辨率图像的重建质量；
5、通过蒙特卡洛特征提取块mcfeblock提取深度特征和不确定性估计；
6、通过mcdropout方法为特征筛选提供不确定性估计；
7、通过特征调制模块fmm过滤不可靠的特征并进行调制。
8、进一步地，所述蒙特卡洛特征提取块mcfeblock包括深度信息提取器die和特征补偿模块fcm；所述特征补偿模块fcm用于补偿mcdropout训练过程中神经元丢失造成的特征损失。
9、进一步地，采用基于可靠注意力的立体图像超分辨率网络进行超分辨率重建，包括：初始特征提取、深度特征提取、特征交互和图像重建四个部分；网络的左右分支采用权重共享策略且特征提取过程相同：
10、首先，通过3×3卷积层从左右低分辨率图像中提取其初始特征其中h×w表示空间维度，c表示通道数，表示为：
11、
12、其中，和是左右低分辨率图像，和是从左右低分辨率中提取的初始特征，c3x3是一个3×3的卷积操作；
13、然后，使用n个mcfeblocks和m个nafblocks进行深度特征提取；每个mcfeblock和nafblock后面分别跟有fmm和scam，表述为：
14、
15、
16、
17、其中，和表示第i个mcfeblock和fmm，和表示第j个nafblock和scam，i∈(1,n)，j∈(1,m)，表示通过i个mcfeblock后的输出，表示通过j个nafblock后的输出，表示通过i+j个块后的输出之和；
18、最后，使用一个3×3的卷积层和shuffle层，以比例因子s对特征进行上采样；采用全局残差学习，仅预测双线性上采样的低分辨率图像与真实图像之间的残差；表示为：
19、
20、其中，其中u↑表示双线性插值，s↑表示shuffle层；表示左右高分辨率图像。
21、进一步地，所述深度信息提取器die表示为：
22、pre0＝dro(ffn(dro(mvconv(fin)))
23、pre1＝dro(ffn(dro(mbconv(fin)))
24、其中，fin表示输入特征；pre0和pre1表示两个不同的特征输出；mbconv和ffn分别指nafblock中使用的移动卷积块和前馈网络；dro表示随机丢弃的神经元层；
25、在训练阶段，分别在每个mbconv层和前馈网络ffn之后添加一个dropout层；通过循环两次die获得不同的输出特征；再将两个特征输出连接起来，并计算它们的逐像素标准差作为近似不确定性估计，将不确定性转换为掩码以过滤特征。
26、进一步地，所述不确定性估计的具体方法为：
27、基于蒙特卡洛推理，通过使用随机抽样并反复运行模型以估计模型不确定性；在预测过程中，对输入样本进行多次前向传递，并根据这些预测的均值或方差估计不确定性；表示为：
28、
29、其中，unvertainty表示逐像素标准差；表示连接操作；mran和std表示平均值和标准差运算。
<本文档来自技高网...【技术保护点】
1.一种基于可靠注意力的立体图像超分辨率重建方法，其特征在于；
2.根据权利要求1所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：所述蒙特卡洛特征提取块MCFEBlock包括深度信息提取器DIE和特征补偿模块FCM；所述特征补偿模块FCM用于补偿MCdropout训练过程中神经元丢失造成的特征损失。
3.根据权利要求2所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：
4.根据权利要求2所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：
5.根据权利要求1所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：
6.根据权利要求4所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：
7.根据权利要求2所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：
8.根据权利要求1所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：
9.根据权利要求3所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：
10.一种终
...【技术特征摘要】
1.一种基于可靠注意力的立体图像超分辨率重建方法，其特征在于；
2.根据权利要求1所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：所述蒙特卡洛特征提取块mcfeblock包括深度信息提取器die和特征补偿模块fcm；所述特征补偿模块fcm用于补偿mcdropout训练过程中神经元丢失造成的特征损失。
3.根据权利要求2所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：
4.根据权利要求2所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：
5.根据权利要求1所述的基于可靠注意力的立体图像超分辨率重建方法，其特征在于：...
【专利技术属性】
技术研发人员：马森标，张轩铭，陈友武，李佐勇，李红，吴嘉炜，陈惠祥，洪茂雄，黄祖海，
申请(专利权)人：福建中锐网络股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。