视频分割中物体边缘优化方法、系统、装置及存储介质制造方法及图纸

本发明专利技术属于计算机视觉技术领域，具体涉及一种视频分割中物体边缘优化方法、系统、装置及存储介质。该方法包括：获取交互式视频分帧处理后的视频帧序列I

【技术实现步骤摘要】
视频分割中物体边缘优化方法、系统、装置及存储介质


[0001]本专利技术属于计算机视觉
，具体涉及一种视频分割中物体边缘优化方法、系统、装置和存储介质。

技术介绍

[0002]在交互式视频分割系统中，一般会要求用户在视频关键帧上提供一个比较精确的，待分割物体的mask(掩膜)，然后系统用自动算法将后继视频帧中的对应的物体分割出来，如图3所示。专业的视频处理软件提供了很多专业的画图工具(例如样条曲线工具)帮助用户创建关键帧上的mask(掩膜)，用这类工具制作的物体掩膜质量一般很高，体现在物体的边缘非常平滑，从前景到背景的过渡非常自然。
[0003]但是，目前自动视频物体分割的算法大多聚焦于比较准确的把物体区域分割出来，并未对物体边缘做太多处理。很多算法往往只能产生二值化的物体分割结果。这样自动分割的结果往往存在如下两个很严重的边缘问题：
[0004](1)物体边缘缺乏从前景到背景的渐变，边缘生硬，不整齐，容易产生毛刺现象。
[0005](2)物体边缘在相邻帧之间不一致，缺乏时序一致性，导致分割结果存在边缘闪烁。这种现象尤其在物体或者物体的某个部分静止不动，或者缓慢运动时尤其突出。
[0006]由于以上因素的存在，导致目前自动分割视频物体分割的结果很难直接在对物体边缘分割质量较高的应用中，例如影视的后期制作中直接使用。

技术实现思路

[0007]为解决现有技术中视频自动分割的结果中物体边缘容易产生毛刺现象，分割结果存在边缘闪烁的严重边缘问题。本专利技术提供了一种视频分割中物体边缘优化方法、系统、装置和存储介质，能够显著提升物体分割边缘的时空一致性，大大减少分割边缘的抖动问题，使得分割结果可以用于影视后期制作。
[0008]本专利技术采用以下技术方案实现：
[0009]一种视频分割中物体边缘优化方法，包括：
[0010]获取交互式视频分帧处理后的视频帧序列I
i
，i＝0,
…
N；
[0011]通过分割算法对视频帧序列I
i
中物体分割，得到初始物体掩膜序列M
i
，i＝1,
…
N；
[0012]根据给定的首帧视频帧的物体掩膜M0，从第二帧视频帧起，逐帧优化所述初始物体掩膜序列m
i
的物体边缘，得到优化后的物体掩膜m
′
i
。
[0013]优选地，所述首帧视频帧的物体掩膜M0由用户输入的掩膜，在进行物体边缘优化时不进行修改。
[0014]优选的，所述视频帧序列I
i
中物体分割的分割算法为自动视频分割算法，所述自动视频分割算法中，当前视频帧的分割参考给定的首帧视频帧的图像和分割结果以及已分割的多帧视频帧的图像和分割结果。
[0015]优选地，逐帧优化所述初始物体掩膜序列M
i
的物体边缘的方法，包括：
[0016]输入首帧视频帧的图像I0和给定的首帧视频帧掩膜M0；
[0017]从第二帧视频帧开始逐帧沿视频帧序列I
i
处理；
[0018]当处理第i帧视频帧的时候，根据前一帧视频帧的图像I
i
‑1和和优化后的掩膜M
′
i
‑1以及当前帧的图像I
i
，以及初始物体掩膜序列M
i
进行处理，得到第i帧视频帧优化后掩膜M
′
i
。
[0019]进一步的，所述对视频帧序列I
i
中物体分割，得到初始物体掩膜序列M
i
的方法，包括：
[0020]获取视频帧序列中第i帧视频帧的图像I
i
，沿着所述图像I
i
中物体的边缘进行等距离边缘点的采样，边缘点记为b
j
,j＝1,
…
,M；
[0021]其中，两个相邻边缘点沿着边缘的距离记为d，对于每一个边缘点b
j
，取一个以所述边缘点b
j
为中心的图像区域r
j
,图像区域r
j
的长度和宽度均为2d。
[0022]进一步的，物体边缘的图像区域r
j
的获取方法为在前一帧视频帧上通过滑窗移动图像区域r
j
的方式取得匹配框r
k
。
[0023]进一步的，所述滑窗移动用于将一个固定大小的窗口在一个更大范围的搜索区域里面移动，从所述搜索区域的左上角开始，每次将窗口右移一个像素，扫描完一行之后下移一个像素；其中，所述窗口的长宽为2d，所述搜索区域的长宽设为3d。
[0024]进一步的，对于每一个所述匹配框r
k
的位置，计算所述匹配框r
k
的匹配区域以及图像区域r
j
,在第i
‑
1帧和第i帧之间的匹配度S(r
j
,r
k
)，所述匹配度的计算公式为：
[0025]S(r
j
,r
k
)＝a
·
|I
t
(r
j
)
‑
I
t
‑1(r
k
))|2+(1
‑
a)
·
|M
′
t
(r
j
)
‑
M
t
‑1(r
k
))|2[0026]其中，第一项是局部颜色空间相似度，可以在任意常用的颜色空间里面进行运算，比如RGB空间或者YUV空间。第二项是局部掩膜的相似度，在前一帧取优化后的局部掩膜，在当前帧取待优化的局部掩膜。为了使两项具有可比较性，颜色相似度和掩膜相似度均归一化到[0,1]之间。a为[0,1]之间的一个权重系数，在搜索范围内找到S(r
j
,r
k
)的最小值，如果S(r
j
,r
k
)的最小值小于一个预先定义的阈值，则认为匹配有效。
[0027]进一步的，当匹配无效时，重复所述获取视频帧序列中第i帧视频帧的图像I
i
，沿着所述图像I
i
中物体的边缘进行等距离边缘点采样的步骤，缩小物体边缘的图像区域r
j
的长度和宽度，直至满足匹配条件。
[0028]进一步的，当匹配有效时，对物体的边缘做两帧视频帧图像之间的融合，在局部区域进行逐像素的线性加权平均，线性加权平均M
′
i
(r
j
)的计算公式为：
[0029]M
′
i
(r
j
)＝(1
‑
b)
·
M
i
(r
j
)+b
·
M...

【技术保护点】

【技术特征摘要】
1.一种视频分割中物体边缘优化方法；其特征在于，该视频分割中物体边缘优化方法包括：获取交互式视频分帧处理后的视频帧序列I
i
，i＝0，...N；通过分割算法对视频帧序列I
i
中物体分割，得到初始物体掩膜序列M
i
，i＝1，...N；根据给定的首帧视频帧的物体掩膜M0，从第二帧视频帧起，逐帧优化所述初始物体掩膜序列M
i
的物体边缘，得到优化后的物体掩膜M
′
i
。2.如权利要求1所述的视频分割中物体边缘优化方法，其特征在于：所述视频帧序列I
i
中物体分割的分割算法为自动视频分割算法，所述自动视频分割算法中，当前视频帧的分割参考给定的首帧视频帧的图像和分割结果以及已分割的多帧视频帧的图像和分割结果。3.如权利要求2所述的视频分割中物体边缘优化方法，其特征在于：所述逐帧优化所述初始物体掩膜序列M
i
的物体边缘的方法，包括：输入首帧视频帧的图像I0和给定的首帧视频帧掩膜M0；从第二帧视频帧开始逐帧沿视频帧序列I
i
处理；当处理第i帧视频帧的时候，根据前一帧视频帧的图像I
i
‑1和和优化后的掩膜M
′
i
‑1以及当前帧的图像I
i
，以及初始物体掩膜序列M
i
进行处理，得到第i帧视频帧优化后掩膜M
′
i
。4.如权利要求3所述的视频分割中物体边缘优化方法，其特征在于：所述对视频帧序列I
i
中物体分割，得到初始物体掩膜序列M
i
的方法，包括：获取视频帧序列中第i帧视频帧的图像I
i
，沿着所述图像I
i
中物体的边缘进行等距离边缘点的采样，边缘点记为b
j
，j＝1，...，M；其中，两个相邻边缘点沿着边缘的距离记为d，对于每一个边缘点b
j
，取一个以所述边缘点b
j
为中心的图像区域r
j
，图像区域r
j
的长度和宽度均为2d。5.如权利要求4所述的视频分割中物体边缘优化方法，其特征在于：所述物体边缘的图像区域r
j
的获取方法为在前一帧视频帧上通过滑窗移动图像区域r
j
的方式取得匹配框r
k
。6.如权利要求5所述的视频分割中物体边缘优化方法，其特征在于：对于每一个所述匹配框r
k
的位置，计算所述匹配框r
k
的匹配区域以及图像区域r
j
，在第i
‑
1帧和第i帧之间的匹配度S(r
j
，r
k
)，所述匹配度的计算公式为：S(r
j
，r
k
)＝a
·
|I
t
(r
j
)
‑
I
t
‑1(r
k
))|2+(1
‑
a)
·
|M
′
t
(r
j
)
‑
M
t
‑1(r
k
...

【专利技术属性】
技术研发人员：韩智素，刘新科，玉珏，
申请(专利权)人：深圳市飘飘宝贝有限公司，
类型：发明
国别省市：