【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种图像去阴影方法及装置。
技术介绍
1、在拍摄光学图像时，由于光线被部分或完全遮挡会导致阴影的产生，这些阴影限制会导致图像质量的降低，从而对目标检测、语义分割和场景理解等后续视觉任务带来困难。为此，需要对图像阴影进行去除，以提高图像质量。
2、现有的图像去阴影方法主要分为传统基于物理模型的图像去阴影方法和基于深度学习的图像去阴影方法。传统基于物理模型的图像去阴影方法通常利用阴影位置的梯度和照度等先验信息，通过物理建模生成照明参数用以去除阴影，基于深度学习的图像去阴影方法利用深度学习网络，实现端对端的图像去阴影。比如：qu等人提出的deshadownet网络模型，通过融合多层次特征扩大了网络的感受野，利用上下文语义和图像外观信息预测具有局部细节的阴影，以实现阴影去除；fu等人提出一种自动曝光融合的方法，该方法利用阴影感知融合网络针对多幅过曝光图像进行自适应融合，以获取无阴影图像。
3、但是，传统基于物理模型的去阴影方法由于特征提取的过程中十分依赖人工设计的提取器，需要对大量复杂参数进行人工调参，同时每种方法都是针对各自的训练图像，模型的泛化能力及鲁棒性较差。而现有基于深度学习的图像去阴影方法，由于没有充分考虑到阴影去除后阴影和非阴影区域之间的一致性，有时会产生伪影、残影的现象并导致图像整体风格不和谐。
技术实现思路
1、为了解决现有技术中存在的上述问题，本专利技术提供了一种图像去阴影方法及装置。本专利技术要解决的技术问题通过以
2、第一方面，本专利技术实施例提供了一种图像去阴影方法，包括：
3、利用阴影掩膜从原始阴影图像中区分出第一阴影区域图像和第一非阴影区域图像，并对区分后的整个原始阴影图像进行线性映射及位置编码得到低维度的映射图像；
4、利用预先训练好的改进的transformer编解码器对所述低维度的映射图像进行特征提取以及阴影重建得到重建图像；
5、对所述重建图像进行线性映射得到原始维度的映射图像，利用所述阴影掩膜从所述原始维度的映射图像中区分出第二阴影区域图像和第二非阴影区域图像，将所述第一非阴影区域图像和所述第二阴影区域图像进行融合得到去阴影图像；
6、其中，所述改进的transformer编解码器为在传统的transformer编解码器基础上引入了坐标注意力机制；且在训练过程中采用charbonnier损失和psnr损失的加权组合方式设计所述改进的transformer编解码器的总损失。
7、在本专利技术的一个实施例中，所述改进的transformer编解码器包括改进的transformer编码器和改进的transformer解码器；其中，
8、所述改进的transformer编码器由若干依次连接的编码结构组成；第i个编码结构包括：依次连接的归一化层、坐标注意力模块、加法器、归一化层、多层感知机、gelu激活层、加法器和下采样层，第i个编码结构中第一个加法器的输入还与第i个编码结构中第一个归一化层的输入连接，第i个编码结构中第二加法器的输入还与第i个编码结构中第一个加法器的输出连接；
9、所述改进的transformer解码器由若干依次连接的解码结构组成；第i个解码结构包括：依次连接的拼接层、归一化层、坐标注意力模块、加法器、归一化层、多层感知机、gelu激活层、加法器和上采样层，第i个解码结构中拼接层还与第i个编码结构的输出连接，第i个解码结构中第一个加法器的输入还与第i个解码结构中第一个归一化层的输入连接，第i个解码结构中第二加法器的输入还与第i个解码结构中第一个加法器的输出连接。
10、在本专利技术的一个实施例中，每个编码结构和每个解码结构中的坐标注意力模块的结构相同；其中，
11、所述坐标注意力模块包括：两个平均池化层；将两个平均池化层的输出拼接的拼接层；与拼接层依次连接的二维卷积层及批量归一化层及非线性激活层；与非线性激活层的输出均连接的两个二维卷积层，每个二维卷积层分别连接一sigmoid激活层；与两个sigmoid激活层的输出均连接的乘法器，该乘法器的输入还与两个平均池化层的输入连接。
12、在本专利技术的一个实施例中，所述改进的transformer编解码器的总损失公式表示为：
13、loss＝α×lcharbonnier+β×lpsnr；
14、其中，loss表示总损失，α、β表示权重超参数，lcharbonnier表示charbonnier损失，表示改进的transformer编解码器的输出图像，i表示真实的无阴影图像，h、w、c分别表示真实的无阴影图像的高度、宽度和通道数，表示输出图像中第k个通道的第(i,j)个像素与真实的无阴影图像中第k个通道的第(i,j)个像素的差值，ε表示误差参数，lpsnr表示psnr损失，maxi表示真实的无阴影图像中最大像素值，mse表示输出图像与真实的无阴影图像的均方误差，
15、在本专利技术的一个实施例中，将lcharbonnier的权重值设置的大于lpsnr的权重值，即α>β。
16、在本专利技术的一个实施例中，利用阴影掩膜从原始阴影图像中区分出第一阴影区域图像和第一非阴影区域图像之前，所述方法还包括：
17、将所述原始阴影图像和所述阴影掩膜分别划分为若干固定大小的阴影图像块和掩膜图像块，利用所述掩膜图像块从对应所述阴影图像块中区分出第一阴影区域图像块和第一非阴影区域图像块，所有第一阴影区域图像块组成第一阴影区域图像，所有第一非阴影区域图像块组成第一非阴影区域图像。
18、第二方面，本专利技术实施例提供了图像去阴影装置，所述装置包括：
19、图像映射模块，用于利用阴影掩膜从原始阴影图像中区分出第一阴影区域图像和第一非阴影区域图像，并对区分后的整个原始阴影图像进行线性映射得到低维度的映射图像；
20、图像重建模块，用于利用预先训练好的改进的transformer编解码器对所述低维度的映射图像进行特征提取以及阴影重建得到重建图像；其中，所述改进的transformer编解码器为在传统的transformer编解码器基础上引入了坐标注意力机制；且在训练过程中采用charbonnier损失和psnr损失的加权组合方式设计所述改进的transformer编解码器的总损失；
21、图像映射与融合模块，用于对所述重建图像进行线性映射得到原始维度的映射图像，利用所述阴影掩膜从所述原始维度的映射图像中区分出第二阴影区域图像和第二非阴影区域图像，将所述第一非阴影区域图像和所述第二阴影区域图像进行融合得到去阴影图像。
22、在本专利技术的一个实施例中，所述装置还包括：
23、图像划分模块，用于将所述原始阴影图像和所述阴影掩膜分别划分为若干固定大小的阴影图像块和掩膜图像块，利用所述掩膜图像块从对应所述阴影图像块中区分出第一阴影区域图像块和第一非阴影区域图像块，所有第一阴本文档来自技高网...
【技术保护点】
1.一种图像去阴影方法，其特征在于，所述方法包括：
2.根据权利要求1所述的图像去阴影方法，其特征在于，所述改进的Transformer编解码器包括改进的Transformer编码器和改进的Transformer解码器；其中，
3.根据权利要求2所述的图像去阴影方法，其特征在于，每个编码结构和每个解码结构中的坐标注意力模块的结构相同；其中，
4.根据权利要求1所述的图像去阴影方法，其特征在于，所述改进的Transformer编解码器的总损失公式表示为：
5.根据权利要求4所述的图像去阴影方法，其特征在于，将LCharbonnier的权重值设置的大于LPSNR的权重值，即α>β。
6.根据权利要求1所述的图像去阴影方法，其特征在于，利用阴影掩膜从原始阴影图像中区分出第一阴影区域图像和第一非阴影区域图像之前，所述方法还包括：
7.一种图像去阴影装置，其特征在于，所述装置包括：
8.根据权利要求7所述的图像去阴影装置，其特征在于，所述装置还包括：
【技术特征摘要】
1.一种图像去阴影方法，其特征在于，所述方法包括：
2.根据权利要求1所述的图像去阴影方法，其特征在于，所述改进的transformer编解码器包括改进的transformer编码器和改进的transformer解码器；其中，
3.根据权利要求2所述的图像去阴影方法，其特征在于，每个编码结构和每个解码结构中的坐标注意力模块的结构相同；其中，
4.根据权利要求1所述的图像去阴影方法，其特征在于，所述改进的transformer编解码器...
【专利技术属性】
技术研发人员：张万绪，信映州，马振鹏，张泽莹，赵立军，庄金雷，陈晓璇，姜博，刘成，汪霖，
申请(专利权)人：西北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。