一种图像阴影检测方法及系统技术方案

本发明专利技术提出了一种图像阴影检测方法及系统，包括：提取原始图像的多层次综合特征；分为低层组和高层组；针对低层组和高层组分别采用相同结构的两个分支进行处理；分支在处理的过程中，将每组特征进行上采样和卷积，使每组特征拥有统一的空间尺寸，然后将各组特征拼接，生成合并特征；针对合并特征进行特征分离与重组并输出阴影相关元素

【技术实现步骤摘要】
一种图像阴影检测方法及系统


[0001]本专利技术属于计算机图像处理
，尤其涉及一种图像阴影检测方法及系统
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]阴影是一种由于光的直线传播而形成的照明现象，它普遍存在于我们的生活中
。
当图像中有阴影存在时，阴影覆盖部分的物体常常会发生亮度和颜色的变化，而如果物体没有被阴影完全覆盖，其纹理和颜色的一致性还会受到进一步影响
。
因此阴影的存在常常对目标检测
、
目标识别
、
场景分割等计算机视觉任务造成不利影响
。
而对阴影的准确检测不仅可用于消除图像中阴影的干扰，提高图像处理的准确性和鲁棒性，还可以为场景几何
、
光源定位等任务提供有价值的见解，以此增强模型的场景理解能力
。
阴影检测是在带阴影的
RGB
图像数据中检测出所有阴影区域，并输出一张标识所有像素类别
(
类别包括：阴影
、
非阴影
)
的检测图
。
[0004]早期的阴影检测主要依赖于物理方法以及基于机器学习的方法，物理方法通过构建物理照明模型完成阴影物理形成过程的推导，机器学习方法利用人工设计的特征，例如照明线索和纹理等训练基于机器学习的阴影检测器
。
然而，随着卷积神经网络
(CNN)
在计算机视觉领域的诸多任务中都取得了令人可喜的表现，基于深度学习的方法逐渐成为阴影检测的主流方法
。
[0005]专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：
[0006]由于以往基于深度学习的阴影检测方法大多从位置
、
语义和上下文等方面对模型进行引导，但却忽略了阴影区域背景颜色的不利影响
。
因此，这些检测器往往将阴影特征与深颜色相关联，在一些复杂场景中会导致错误的检测结果
。
具体而言，当前阴影检测方法难以克服背景颜色对结果的影响，导致复杂场景中浅色背景上的弱阴影难以被检测，而深色背景区域容易被检测为阴影；此外，在缺乏合理的外部引导的情况下，基于深度学习的方法很容易将阴影简单视为低光强对象，在检测场景或光照条件发生改变时很容易出现错误，如何克服复杂场景下阴影检测效果变差，是本专利技术要解决的技术问题
。

技术实现思路

[0007]为克服上述现有技术的不足，本专利技术提供了一种阴影检测方法
。
[0008]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0009]第一方面，公开了一种图像阴影检测方法，包括：
[0010]提取原始图像的多层次综合特征；
[0011]将多层次综合特征分为低层组和高层组；
[0012]针对低层组和高层组分别采用相同结构的两个分支进行处理；
[0013]分支在处理的过程中，将每组特征进行上采样和卷积，使每组特征拥有统一的空
间尺寸，然后将各组特征拼接，生成合并特征；
[0014]针对合并特征进行特征分离与重组并输出阴影相关元素
、
背景相关元素以及重组特征；
[0015]分别从阴影相关元素
、
背景相关元素以及重组特征中提取风格属性，并对特定风格属性对施加一致性或差异性约束，以指导上游特征的分离；
[0016]使用并行解码器分别连接两个分支的阴影相关元素
、
背景相关元素和重组特征，并将他们分别融合，用于生成预测的阴影图
、
背景图像和重构图像
。
[0017]作为进一步的技术方案，所述相同结构的两个分支分别为阴影分支和背景分支，每个分支含有一个由两层卷积层和一个跳连接组成的残差块，对于每组给定的合并特征，阴影分支产生阴影相关元素，背景分支产生背景相关元素
。
[0018]作为进一步的技术方案，针对阴影分支产生阴影相关元素，背景分支产生背景相关元素，通过组合阴影相关元素和背景相关元素以得到重组特征
。
[0019]作为进一步的技术方案，针对低层组和高层组分别输出的阴影相关元素
、
背景相关元素以及重组特征在平行解码器中分别融合，融合后的三个特征分别经过一次卷积用于生成最终结果，阴影相关元素被用于生成预测的阴影图，背景相关元素被用于生成背景图像，重组特征则被用于生成重构图像
。
[0020]作为进一步的技术方案，针对预测的阴影图
、
背景图像及重构图像应用联合监督训练策略，针对预测阴影图的监督由数据集中标注的阴影图真实值提供，而对于重构图像的监督则来自输入图像，通过指导网络学习预测背景图像
。
[0021]作为进一步的技术方案，针对阴影相关元素
、
背景相关元素以及重组特征，分别提取对应的风格属性向量；
[0022]基于提取的对应的风格属性向量，利用损失函数来增强阴影相关元素的风格属性向量与重组特征的风格属性向量之间的一致性；
[0023]采用差异性损失函数增大阴影相关元素的风格属性向量与背景相关元素的风格属性向量之间的差异；
[0024]综合的风格约束损失包含来自低层和高层两个分支的一致性损失和差异性损失；
[0025]基于上述综合的风格约束损失
、
预测阴影图的监督的损失函数
、
重构图像的监督损失函数
、
预测背景图像的监督损失函数得到总损失函数
。
[0026]作为进一步的技术方案，将原始图像输入到骨干网络中提取多层次综合特征
。
[0027]第二方面，公开了一种图像阴影检测系统，包括：
[0028]综合特征提取模块，被配置为：提取原始图像的多层次综合特征；将多层次综合特征分为低层组和高层组；
[0029]特征分离与重组模块，被配置为：针对低层组和高层组分别采用相同结构的两个分支进行处理；
[0030]分支在处理的过程中，将每组特征进行上采样和卷积，使每组特征拥有统一的空间尺寸，然后将各组特征拼接，生成合并特征；
[0031]针对合并特征进行特征分离与重组并输出阴影相关元素
、
背景相关元素以及重组特征；
[0032]阴影特征滤波器模块，被配置为：分别从阴影相关元素
、
背景相关元素以及重组特
征中提取风格属性，并对特定风格属性对施加一致性或差异性约束，以指导上游特征的分离；
[0033]使用并行解码器分别连接两个分支的阴影相关元素
、
背景相关元素和重组特征，并将他们分别融合，用于生成预测的阴影图
、
背景图像和重构图像
。
[0034]以上一个或多个技术方案存在以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像阴影检测方法，其特征是，包括：提取原始图像的多层次综合特征；将多层次综合特征分为低层组和高层组；针对低层组和高层组分别采用相同结构的两个分支进行处理；分支在处理的过程中，将每组特征进行上采样和卷积，使每组特征拥有统一的空间尺寸，然后将各组特征拼接，生成合并特征；针对合并特征进行特征分离与重组并输出阴影相关元素
、
背景相关元素以及重组特征；分别从阴影相关元素
、
背景相关元素以及重组特征中提取风格属性，并对特定风格属性对施加一致性或差异性约束，以指导上游特征的分离；使用并行解码器分别连接两个分支的阴影相关元素
、
背景相关元素和重组特征，并将他们分别融合，用于生成预测的阴影图
、
背景图像和重构图像
。2.
如权利要求1所述的一种图像阴影检测方法，其特征是，所述相同结构的两个分支分别为阴影分支和背景分支，每个分支含有一个由两层卷积层和一个跳连接组成的残差块，对于每组给定的合并特征，阴影分支产生阴影相关元素，背景分支产生背景相关元素
。3.
如权利要求2所述的一种图像阴影检测方法，其特征是，针对阴影分支产生阴影相关元素，背景分支产生背景相关元素，通过组合阴影相关元素和背景相关元素以得到重组特征
。4.
如权利要求1所述的一种图像阴影检测方法，其特征是，针对低层组和高层组分别输出的阴影相关元素
、
背景相关元素以及重组特征在平行解码器中分别融合，融合后的三个特征分别经过一次卷积用于生成最终结果，阴影相关元素被用于生成预测的阴影图，背景相关元素被用于生成背景图像，重组特征则被用于生成重构图像
。5.
如权利要求4所述的一种图像阴影检测方法，其特征是，针对预测的阴影图
、
背景图像及重构图像应用联合监督训练策略，针对预测阴影图的监督由数据集中标注的阴影图真实值提供，而对于重构图像的监督则来自输入图像，通过指导网络学习预测背景图像
。6.
如权利要求1所述的一种图像阴影检测方法，其特征是，针对阴影相关元素
、
...

【专利技术属性】
技术研发人员：丛润民，张伟，仇梓峰，宋然，陈宇，李晓磊，陈韬亦，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：