一种紧致的多尺度视频前景分割方法技术

一种紧致的多尺度视频前景分割方法，涉及计算机视觉的技术领域，为了从高等级(即大尺度)和多尺度特征编码的视角，改进深度网络对场景空域特征的编码，提出了多尺度紧致采样模块。该模块由一系列平行的有着不同感受野的紧致空洞卷积组成。多尺度紧致采样模块能够以一种紧致的方式来捕获多尺度特征，以应对核退化问题。具体而言，紧致空洞卷积被精心设计成一种级联的结构，感受野内的所有输入神经元正好被全部覆盖，而不会留下“孔”或者“重叠”，本发明专利技术提出的多尺度紧致采样模块能够在不同感受野内感知更完整的多尺度信息，而不会造成模型参数显著增加。因此，多尺度紧致采样模块能够在维持运行高效的基础上避免核退化问题。在维持运行高效的基础上避免核退化问题。在维持运行高效的基础上避免核退化问题。

【技术实现步骤摘要】
一种紧致的多尺度视频前景分割方法


[0001]本专利技术涉及计算机视觉的
，尤其涉及计算机视觉领域的像素级二分类任务
‑‑ꢀ
视频前景分割。

技术介绍

[0002]视频前景分割是计算机视觉领域一项基础性的像素级二分类任务。给定场景S，前景分割算法学习S的表示将视频序列中的背景和前景运动目标相分离。被提取的前景可为复杂的视觉应用在检测质量和计算时间之间提供一个良好的折中。因此，视频前景分割作为高等级任务的预处理步骤，在现实世界中有着广泛的应用价值，包括异常检测(如遗留物检测、产品缺陷检测、火情发现)、车辆统计跟踪及事故检测、船舶与海洋交通监控、动物行为视觉观察、自然环境视觉监控(如漂浮物检测)、人的行为分析、背景替换等。由于预处理步骤的精度对后续任务性能和效率影响较大，学习有效的场景表示来提取出精确的前景目标至关重要。
[0003]视频前景分割需要从背景中提取大小不一的前景运动目标。并且，当前景目标由远及近靠近镜头时，其在场景画面中的尺度会“由小变大”。因此，鲁棒的方法需要对不同尺度的情景目标均具有准确的分割效果。编码场景的多尺度空域特征表示是前景分割网络设计的重要内容，有助于模型依据不同尺度的上下文信息进行综合推断。在多尺度空域特征的编码过程中，难点在于对大尺度空域特征编码。
[0004]基于全卷积(Fully Convolutional Networks，FCNs)网络的方法通过使用下采样层 (步长大于1的卷积或池化操作)，增加神经元的感受野(Receptive Fields)来编码大尺度空域特征。大尺度上下文有助于从物体的全貌来进行语义推断，避免“盲人摸象”型的局部推断。然而，不断增加的下采样层会造成空间信息损失，从而阻碍解码过程对空间信息的恢复。尽管如此，在分辨率较高的早期编码阶段就进行解码也并不是一个好的策略，因为这样就无法利用更级的语义进行更好的推理。总之，网络设计需要在保留完整的空间信息和编码更高级的特征之间进行平衡。
[0005]近年来，空洞卷积(Atrou Convolution)作为一种有效的策略，被用于解决高分辨率和大尺度特征编码之间的矛盾。由于空洞卷积的核通过膨胀策略在参数之间插入“孔”(hole) 来增大感受野，因此，在不过度下采样的情况下，空洞卷积也能感知大尺度的上下文信息。然而，空洞卷积仍然存在两方面限制。一是核退化问题。随着膨胀率的增加，卷积核在感受野内的采样将变得越来越稀疏，导致卷积核性能衰退。二是单尺度问题。对于空洞卷积产生的特征映射，由于该映射中所有神经元的信息都来源于相同的感受野，因此这一语义编码过程可以认为只局限于某单一尺度，而场景中的前景目标往往以多尺度方式存在。
[0006]为了获取多尺度的场景表示，特征金字塔策略(比如，ASPP)采用多组平行的空洞卷积并联的方式来提取多尺度特征，但由于内部通常包含大膨胀率的空洞卷积，因而同样受到核退化问题的制约。

技术实现思路

[0007]本专利技术目的是提供一种紧致的多尺度视频前景分割方法，设计了一种新的卷积模块，并提出了构造卷积模块的两种策略，即放大聚焦策略(Zoom
‑
out)和缩小聚焦策略(Zoom
‑
in)；能够紧致地编码多尺度特征，来解决核退化问题，提升分割精度。
[0008]一种紧致的多尺度视频前景分割方法，令x[i]和y[i]分别表示输入信号和输出信号，空洞卷积操作定义如下：
[0009][0010]其中，f[k
idx
]是长度为K的滤波器，膨胀率r表示相应的采样步长；当r＝1时，空洞卷积退化为标准的卷积操作；当一个核为k
×
k的2D空洞卷积能够对输入特征x中大小为k
a
×
k
a
的区域进行采样/卷积时，则称该空洞卷积的感受野为k
a
；
[0011]k
a
＝k+(r
‑
1)
·
(k
‑
1)
ꢀꢀꢀ
(3
‑
2)
[0012]膨胀率越大意味着感受野越大；为了获取更广的感受野和更丰富的上下文信息，多个空洞卷积以平行或者级联的方式作用于已经历了一系列卷积和下采样操作的高级特征映射；
[0013]假设CAC
n
表示由n个级联的空洞卷积层构成，各层的卷积核大小及膨胀率分别为， {k1，k2，
…
，k
n
}和{r1，r2，
…
，r
n
}；CAC
n
输出特征映射中的任一神经元的信息都源自其对应感受野内的输入特征映射，并且既没有信息遗漏也没有“重叠采样”；
[0014]将紧致空洞卷积层的感受野记为RFC，在没有信息遗漏和“重叠采样”的情况下，RFC 与各层卷积核的关系满足式3
‑
3和3
‑
4。
[0015]RFC＝k1k2…
k
n
ꢀꢀꢀꢀꢀ
(3
‑
3)
[0016][0017]根据RFC的大小，对CAC
n
进行设计，以确定卷积层数n、各层卷积核大小k及其膨胀率r。
[0018]当RFC≤5时，单层卷积就能满足感受野要求。在此情况下，k1＝RFC，r1＝1，此时的第一紧致空洞卷积层退化为标准卷积层。随着RFC增加，紧致空洞卷积层将不可避免使用多层级联的形式；为了确保输出神经元位于感受野的中心位置，核的大小始终选取奇数。
[0019]当5<RFC≤25时，需要使用2个满足k1×
k2＝RFC的卷积层进行级联；
[0020]1)r1＝k2，r2＝1，由于该过程采用不断减小的膨胀率，卷积感受到的区域在逐步收缩，即“缩小聚焦”策略，输入特征映射在RFC范围内的信息先被“挤压”至一个k2×
k2的区域，然后再进一步聚焦至中心神经元；
[0021]2)r1＝1，r2＝k1，由于该过程使用不断增加的膨胀率，神经元感受到的区域在逐步扩张，即“放大聚焦”策略；首先搜集k1×
k1区域内的本地局部信息，然后将整个RFC内部不同位置的k1×
k1区域的信息集中至中心神经元。
[0022]当RFC＞25时，采用递推的方式构建CAC
n
，其中，n≥3；CAC
n
可视为由第n个(或第1个)空洞卷积层和前n
‑
1层(或后n
‑
1层)卷积CAC
n
‑1两部分组成；其中，CAC
n
‑1被视为一个普通空洞卷积，所述普通空洞卷积为卷积核为k
n
‑1＝k1k2…
k
n
‑1，膨胀率为 r
n
‑1＝1；在此情况下，第n个(或第1个)空洞卷积层和前n
‑
1层(或后n
...

【技术保护点】

【技术特征摘要】
1.一种紧致的多尺度视频前景分割方法，其特征在于：令x[i]和y[i]分别表示输入信号和输出信号，空洞卷积操作定义如下：其中，f[k
idx
]是长度为K的滤波器，膨胀率r表示相应的采样步长；当r＝1时，空洞卷积退化为标准的卷积操作；当一个核为k
×
k的2D空洞卷积能够对输入特征x中大小为k
a
×
k
a
的区域进行采样/卷积时，则称该空洞卷积的感受野为k
a
；k
a
＝k+(r
‑
1)
·
(k
‑
1)
ꢀꢀꢀꢀ
(32)膨胀率越大意味着感受野越大；为了获取更广的感受野和更丰富的上下文信息，多个空洞卷积以平行或者级联的方式作用于已经历了一系列卷积和下采样操作的高级特征映射；假设CAC
n
表示由n个级联的空洞卷积层构成，各层的卷积核大小及膨胀率分别为，{k1，k2，
…
，k
n
}和{r1，r2，
…
，r
n
}；CAC
n
输出特征映射中的任一神经元的信息都源自其对应感受野内的输入特征映射，并且既没有信息遗漏也没有“重叠采样”；将紧致空洞卷积层的感受野记为RFC，在没有信息遗漏和“重叠采样”的情况下，RFC与各层卷积核的关系满足式3
‑
3和3
‑
4。RFC＝k1k2…
k
n
ꢀꢀꢀꢀ
(33)根据RFC的大小，对CAC
n
进行设计，以确定卷积层数n、各层卷积核大小k及其膨胀率r。2.根据权利要求1所述的紧致的多尺度视频前景分割方法，其特征在于：当RFC≤5时，单层卷积就能满足感受野要求。在此情况下，k1＝RFC，r1＝1，此时的紧致空洞卷积层退化为标准卷积层。随着RFC增加，紧致空洞卷积层将不可避免使用多层级联的形式；为了确保输出神经元位于感受野的中心位置，核的大小始终选取奇数。3.根据权利要求1所述的紧致的多尺度视频前景分割方法，其特征在于：当5＜RFC≤25时，需要使用2个满足k1×
k2＝RFC的卷积层进行级联；1)r1＝k2，r2＝1，由于该过程采用不断减小的膨胀率，卷积感受到的区域在逐步收缩，即“缩小聚焦”策略，输入特征映射在RFC范围内的信息先被“挤压”至一个k2×
k2的区域，然后再进一步聚焦至中心神经元；2)r1＝1，r2＝k1，由于该过程使用不断增加的膨胀率，神经元感受到的区域在逐步扩张，即“放大聚焦”策略；首先搜集k1×
k1区域内的本地局部信息，然后将整个RFC内部不同位置的k1×
k1区域的信息集中至中心神经元。4.根据权利要求3所述的紧致的多尺度视频前景分割方法，其特征在于：当RFC＞25时，采用递推的方式构建CACn，其中，n≥3；CAC
n
可视为由第n个或第1个空洞卷积层和前n
‑
1层或后n
‑
1层卷积CAC
n
‑1两部分组成；其中，CAC
n
‑1被视为一个普通空洞卷积，所述普通空洞卷积为卷积核为k
n
‑1＝k1k2…
k
n
‑1，膨胀率为r
n
...

【专利技术属性】
技术研发人员：潘志松，张锦，李阳，潘欣冉，周星宇，贺正芸，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：