【技术实现步骤摘要】
分割装置及分割方法
[0001]本申请总体涉及图像处理领域，更具体地讲，涉及一种分割装置及分割方法。
技术介绍
[0002]图像全景分割是对二维图像上的每个像素赋给一个标签信息的过程。图像内容通常可分成两类：一类是“stuff”，表示不可数物体，例如，草地、天空、建筑物等不需要区分出不同个体的内容；另一类是“thing”，表示可数物体，例如，人、车等需要区分出不同个体的内容。全景分割任务可以看作是语义分割和实例分割两个任务的合成任务：对于属于“stuff”的像素，预测其语义标签；而对于属于“thing”的像素，预测其实例标签。
[0003]视频全景分割是图像全景分割在时域上的扩展。除了对每张图做全景分割之外，视频全景分割还结合了物体跟踪的任务，即，对于不同图像上属于同一个实例的像素，需要赋予相同的标签。
[0004]现有的视频全景分割算法都是基于许多代理任务，算法的输入是视频中的相邻两帧图像(设为t帧和t
‑
τ帧)，输出则是t帧上的全景标签图。这些算法不断处理后续的每一帧，最终得到整个视频的全景分割结果。
[0005]然而，现有的视频全景分割算法主要存在下面两个问题：
[0006]第一，算法依赖于很多代理子任务。例如，需要包围框模块、跟踪模块、掩模模块、语义分割模块等分别完成目标检测、目标跟踪、实例掩模分割以及语义分割这些子任务。这些子任务有各自的缺陷，像目标检测在物体间有遮挡或物体形状不规则的情况下，性能比较差。最终的全景分割任务是在子任务结果的基础上集成得到的，如...
【技术保护点】
【技术特征摘要】
1.一种图像分割装置，包括：特征提取单元，被配置为提取图像的特征图；槽注意力单元，被配置为将图像的特征图和与图像对应的第一槽矩阵进行关联，产生第二槽矩阵；分割单元，被配置为基于第二槽矩阵，获取图像的分割结果。2.如权利要求1所述的装置，其特征在于，所述图像为视频中的当前帧，所述特征提取单元，还被配置为提取所述视频的历史帧的特征图；所述槽注意力单元，还被配置为对历史帧的特征图和与历史帧对应的第三槽矩阵进行关联，产生第四槽矩阵；所述分割单元，被配置为基于所述第二槽矩阵和第四槽矩阵，获取所述当前帧和历史帧的分割结果。3.如权利要求1所述的装置，其特征在于，所述历史帧的数量包括多个，所述第四槽矩阵包括与多个历史帧对应的多个第四槽矩阵。4.如权利要求1所述的装置，其特征在于，所述槽注意力单元包括：一个或多个级联的空域槽注意力模块，每个空域槽注意力模块被配置为将图像的特征图与初始槽矩阵或上一级的空域槽注意力模块输出的槽矩阵进行关联，输出关联后的槽矩阵。5.如权利要求2所述的装置，其特征在于，所述槽注意力单元包括：一个或多个级联的时空槽注意力模块，其中，每个时空槽注意力模块包括：空域槽注意力模块，被配置为将初始槽矩阵或上一级时空槽注意力模块输出的与当前帧对应的槽矩阵与当前帧的特征图进行关联，得到关联后的与历史帧对应的槽矩阵，将初始槽矩阵或上一级时空槽注意力模块输出的与历史帧对应的槽矩阵与历史帧的特征图进行关联，输出关联后的与当前帧对应的槽矩阵和与历史帧对应的槽矩阵；时域槽注意力模块，用于将关联后的与当前帧对应的槽矩阵与关联后的历史帧对应的槽矩阵进行关联，输出关联后的与当前帧对应的槽矩阵和与历史帧对应的槽矩阵。6.如权利要求2所述的装置，其特征在于，所述槽注意力单元包括：一个或多个级联的第一空域槽注意力模块，每个第一空域槽注意力模块被配置为将当前帧的特征图与初始槽矩阵或上一级第一空域槽注意力模块输出的槽矩阵进行关联，输出关联后的与当前帧对应的槽矩阵；一个或多个级联的第二空域槽注意力模块，每个第二空域槽注意力模块被配置为将历史帧的特征图与初始槽矩阵或上一级第二空域槽注意力模块输出的槽矩阵进行关联，输出关联后的与历史帧对应的槽矩阵。7.如权利要求6所述的装置，其特征在于，所述槽注意力单元还包括：时域槽注意力模块，被配置为将空域槽注意力模块输出的与当前帧对应的槽矩阵、与与历史帧对应的槽矩阵进行关联，输出关联后的与当前帧对应的槽矩阵、和与历史帧对应的槽矩阵。8.如权利要求1所述的装置，其中，槽矩阵中的槽向量表示图像中的物体。9.如权利要求1所述的装置，其中，所述分割单元包括：预测模块，被配置为：基于第二槽矩阵，预测掩模和类别。
10.如权利要求2所述的装置，其中，所述分割单元包括：预测模块，被配置为：基于第二槽矩阵，预测当前帧的掩模和类别，基于第四槽矩阵，预测历史帧的掩模和类别；时域槽确认模块，被配置为：基于第二槽矩阵和第四槽矩阵，确定实例标识。11.一种图像分割方法，包括：提取图像的...
【专利技术属性】
技术研发人员：周仪，李平俊，张辉，俞炳仁，李韩娥，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。