一种去除图像阴影模型及其构建方法、装置及应用制造方法及图纸

本方案提出了一种去除图像阴影模型的构建方法、装置及应用，包括以下步骤：获取训练样本，对训练样本进行预处理得到预筛阴影图像和阴影掩码；使用第一编码器和第二编码器进行编码得到第一编码结果和第二编码结果；使用跨区域Transformer层对第一编码结果和第二编码结果添加位置信息后送入区域感知交叉注意力层得到阴影特征图；使用RefineNet网络将所述原始图像、预筛阴影图像和阴影特征图作为输入进行编解码，得到与所述原始图像相对应的去阴影结果图。本方案通过对跨区域Transformer层和其中的区域感知交叉注意力层进行改进，可以将足够的上下文信息从非阴影区域转移到阴影区域来恢复阴影像素，从而可以提高模型去阴影的效果。效果。效果。

【技术实现步骤摘要】
一种去除图像阴影模型及其构建方法、装置及应用


[0001]本申请涉及人工智能学习和计算机数据处理
，特别涉及一种去除图像阴影模型及其构建方法、装置及应用。

技术介绍

[0002]随着显示生活中各类型摄像头的应用越来越多，导致以数字图像为媒介存储的数据以几何倍数增长，这些数据被用以记录现实生活中不同时间发生的各类型事件和作为过去发生时间的佐证材料，其中部分数据可能会出现不良阴影从而导致数据本身质量降低并影响视觉效果，最终导致数据成为无效数据，另外，从摄像头获取的图像部分要进行目标检测、跟踪等实际应用，图像阴影会影响图像的特征信息，从而不利于后续的目标检测、跟踪，为了提高图像质量并有利于后续的图像分析处理，阴影消除是非常重要的技术手段，阴影消除的主要目标是恢复阴影区域的像素强度，但是由于实际复杂的光照条件和物体不规则的阴影形状，导致阴影消除的难度很大。
[0003]早期的传统阴影消除的方法侧重于手工涉及阴影图像的相关先验，通过构建优化迭代的算法来获取无阴影图片，这类方法的优势在于具有很好的可解释性，也就是说早期传统阴影消除方法的迭代优化求解的过程是透明而可解释的，不过当阴影场景比较复杂且与设计的手工先验不一致时，这类方法的阴影去除效果往往是差强人意的，且这种方法需要迭代优化求解，所以计算时间往往会比较长。
[0004]由于深度卷积神经网络的进步并且可以提取代表性的深度特征，所以基于深度学习的方法表现出由于传统方法的性能和效果，成为去阴影的主流，例如ECCV2020上的《From Shadow Segmentation to Shadow Removal》中提出了一个简化的阴影光照模型：通过设计的回归神经网络预测6个线性系数来完成对于阴影区域内容的提亮，从而完成对于图片中阴影的去除，该方法处理时假定了阴影区域的所有像素点收到阴影的退化影响是均匀的，这样并没有能做到对于每个像素点的自适应处理，所以导致该方法的适用范围有限，且由于该方案使用卷积操作，大多数现有的基于深度的去阴影方法在建模较大的接受域的长期像素依赖性方面都是无效的，而且，现有技术的方法并没有充分利用非阴影区域的信息来恢复阴影区域的每个像素。

技术实现思路

[0005]本申请方案提供一种去除图像阴影模型及其构建方法、装置及应用，可以通过改进的跨区域Transformer层将足够的上下文信息从非阴影区域转移到阴影区域来恢复阴影像素，使得阴影区域的判定更为准确，从而获得图像还原度高、保真度好的去阴影结果图像。
[0006]第一方面，本申请提供一种去除图像阴影模型的构建方法，包括：获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；
构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
[0007]第二方面，本申请提供一种去除图像阴影模型，使用第一方面所述的方法进行构建得到。
[0008]第三方面，本申请提供一种去除图像阴影方法，包括：获取一待去除阴影图像，对所述待去除阴影图像进行预处理得到预筛阴影图像和阴影掩码，第一编码器所述待去阴影图像及其上下文特征进行编码得到第一编码结果，第二编码器对所述预筛阴影图像及其上下文特征以及阴影掩码进行编码得到第二编码结果；使用跨区域Transformer层对第一编码结果和第二编码结果添加位置编码信息后得到第一信息和第二信息，将所述第一信息、第二信息、阴影掩码送入所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，将所述优化数据通过多层感知机制层进行输出后解码得到阴影特征图；将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
[0009]第四方面，本申请提供一种去除图像阴影模型的构建装置，包括：获取模块：获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；构建模块：构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；编码模块：两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；处理模块：所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述
第二信息优化得到优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；去阴影模块：将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。
[0010]第五方面，本方案提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种去除图像阴影模型的构建方法或一种去除图像阴影方法。
[0011]第六方面，本方案提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种去除图像阴影模型的构建方法或一种去除图像阴影方法。
[0012]相较现有技术，本技术方案具有以下特点和有益效果：本方案使用了双编码器分别处理非阴影区域和阴影区域的不对称特征，降低了被破坏的特征对最终图像去阴影处理效果的影响，且对图像的每个像素点进行自适应处理，使得本方案在结果上更加精准；本方案对跨区域Transformer层进行改进，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去除图像阴影模型的构建方法，其特征在于，包括：获取至少一原始图像作为训练样本，对每一所述训练样本进行预处理得到对应的预筛阴影图像，其中所述预筛阴影图像上标记阴影掩码；构建去阴影模型，所述去阴影模型由两个并行的编码器、跨区域Transformer层、解码器和RefineNet网络串联组成；两个并行的编码器分别为第一编码器和第二编码器，所述第一编码器对包含非阴影区域的上下文信息的原始图像进行编码得到第一编码结果，所述第二编码器对包含阴影掩码的预筛阴影图像进行编码得到第二编码结果；所述跨区域Transformer层包含串联的特征转换层、区域感知交叉注意力层和多层感知机制层组成，所述特征转换层对所述第一编码结果进行特征转换后并添加位置编码信息得到第一信息，所述特征转换层对所述第二编码结果进行特征转换后并添加位置编码信息得到第二信息，所述第一信息、所述第二信息以及所述阴影掩码输入到所述区域感知交叉注意力层，所述区域感知交叉注意力层根据所述第一信息和阴影掩码对所述第二信息优化得到优化数据，将所述优化数据输入所述多层感知机制层中进行解码得到阴影特征图；将所述原始图像、预筛阴影图像和阴影特征图输入所述RefineNet网络进行编解码，得到与所述原始图像相对应的去阴影结果图。2.根据权利要求1所述的一种去除图像阴影模型的构建方法，其特征在于，在“对每一所述训练样本进行预处理”步骤中，对所述训练样本进行二值化处理得到预筛阴影图像，根据分辨所述预筛阴影图像中每一像素点是否属于阴影区域而得到阴影掩码，若像素点为阴影区域则设定该像素点为阴影掩码的组成部分。3.根据权利要求1所述的一种去除图像阴影模型的构建方法，其特征在于，所述跨区域Transformer层对所述第一编码结果和第二编码结果进行特征转换，并以逐点相加池化的方法为所述第一编码结果和第二编码结果添加位置编码信息得到第一信息和第二信息，再结合所述阴影掩码送入所述区域感知交叉注意力层得到优化数据，所述区域感知交叉注意力层后紧跟一个残差归一层对所述优化数据进行残差归一化，再将其送入多层感知机制层，所述多层感知机制层后也紧跟一个残差归一化层再次进行残差归一化后进行特征转换得到阴影特征图。4.根据权利要求1所述的一种去除图像阴影模型的构建方法，其特征在于，所述第一编码结果在所述区域感知交叉注意力层中进行矩阵转换得到关键像素矩阵和值向量矩阵，所述第二编码结果在所述区域感知交叉注意力层中进行矩阵转换得到查询像素矩阵，对所述查询像素矩阵和所述关键像素矩阵做点积运算得到注意力像素矩阵，使用所述阴影掩码与所述注意力像素矩阵进行逐点相加池化得到第一注意结果，所述第一注意结果经过softmax函数后再与所述值向量矩阵进行点积运算得到第二注意结果，所述第二注意结果与所述查询像素矩阵进行逐点相加池化后得到第三注意结果，将所述第三注意结果进行线性投影得到所述优化数据。5.根据权利要求4所述的一种去除图像阴影模型的构建方法，其特征在于，在“使用所述阴影掩码与所述注意力像素矩阵进行逐点相加池化得到第一注意结果”步骤中，对所述阴影掩码提取有效位置信息并构建一个阴影掩码的映射，使用逐点相加池化的方式根据所述注意力像素矩阵在阴影掩码的映射中表示非阴影像素和阴影像素之间的位置对应关系，
所述第一注意结果为所述...

【专利技术属性】
技术研发人员：李圣权，厉志杭，董墨江，张香伟，
申请(专利权)人：城云科技中国有限公司，
类型：发明
国别省市：