一种基于图的无约束视频中显著物体检测方法技术

本发明专利技术公开了一种基于图的无约束视频中显著性检测方法，其具体步骤如下：(1)输入原始视频帧序列，对其中的第；(2)将整个视频帧分割成超像素区域；(3)利用稠密光流法算法，得到中像素点的运动矢量场，分别提取超像素区域级,全局运动直方图；(4)构建无向有权图，分别计算超像素区域到虚拟背景节点的最短路径，将路径中节点之间边的权重进行累加，当作超像素区域的运动显著性值，生成当前帧的运动显著性图，并且根据二值化后的显著性图，重新估计背景的运动直方图，更新超像素区域的显著性值；该发明专利技术基于图的方法并且进行迭代估计背景的运动的进行显著性检测，能够更准确、完整地检测视频中的显著对象。

【技术实现步骤摘要】

本专利技术设及图像，视频处理
，具体地说是设及一种基于图的无约束视频 中显著物体检测方法。
技术介绍
人类的视觉系统能够从复杂的环境中快速准确地定位人眼感兴趣的区域，并做出 相应的反应，而在计算机视觉研究领域，通过模拟人眼的视觉注意机制，从数字图像/视频 中准确地提取关键区域，是视觉显著性模型研究的重要内容。根据屯、理学W及人类视觉的 研究，在大多数情况下，人眼在观察一幅图像时，不会在整个图像上平均分配注意力，而是 会将注意力集中在图像中的某个对象。显著性检测的目的是提取出图像/视频中最吸引人 注意的显著部分，并利用一张灰度图（即，显著性图）来表示各个像素点的显著程度。显著 性检测广泛用于基于内容的图像/视频缩放，图像/视频编码，图像/视频分割。化ang等 人在2014年8月出版的Cir州itsandSystemsforVideoTechnology期刊上发表的"通 过消除全局相机运动进行视频显著性检测"方法，通过提取视频帖内的特征点，在多帖图像 中进行特征点的跟踪，形成特征点轨迹，利用速度，加速度描述的特点，同时利用支持向量 机（SVM)对轨迹进行分类，得到显著性的轨迹，然后将轨迹的显著性值扩散到点的周围，最 终得到视频的运动显著性图；该方法设计的点轨迹模型，容易受到视频本身质量的影响，同 是对于快速运动的物体，无法做到特征点的准确匹配，做到后续步骤失效，生成错误的显著 性图。Huang等人在 2014 年 9 月出版的Cir州itsandSystemsforVideoTechnology期 刊上发表的"基于超像素的时空显著性检测"方法，通过分别计算得到空域显著性图，时域 显著性图，通过自适合的融合方法，生成时空显著性图，该方法的具体步骤如下： (1)将视频帖分割成超像素区域，提取超像素区域级的，全局的运动直方图，W及 像素区域级的，全局的颜色直方图； (2)根据步骤（1)中得到的运动直方图，分别计算每个超像素区域与全局运动直 方图运动差异，利用前后帖的相关性，进行时域显著性的预测与调整，得到超像素级时域显 著性图； 阳0化](3)根据步骤（1)中得到的颜色直方图，分别计算每个超像素区域与全局颜色直 方图颜色差异，得到颜色全局对比度图，颜色空间稀疏性图，将两者相乘得到，超像素级空 域显著性图； (4)分别将步骤（3)，步骤（4)得到的超像素级时域，空域显著性进行细化，得到像 素级的时域，空域显著性图。 (5)根据时域，空域显著性图的相互一致性特征，自适合地将两者进行线性融合， 得到最终的时空显著性图。 但是上述方法存在的不足是，两种方法模型的对运动复杂的视频不具有鲁棒性， 能造成误检测。综上所述，现有的视频显著对象的检测方法，不能准确、完整地提取无约束 的视频序列中的显著性图，运影响了视频显著性模型的广泛应用。
技术实现思路
本专利技术的目的在于针对已有技术中存在的缺陷，提出一种基于图的无约束视频的 显著性检测方法，该方法能够较为准确、完整地检测出无约束视频序列中的显著对象。 为了达到上述目的，本专利技术采用的技术方案如下： ，具体步骤如下： (1)、输入原始视频帖序列，对其中的第t帖记为Ft;[001引 似、利用超像素区域分割方法，将整个视频帖Ft分割成nt个超像素区域，记为 spt,i(i = 1，...，r0; (3)、利用稠密光流法算法，得到视频帖Ft的像素点的运动矢量场，对于超像素区 域spt,i(i= 1，...，r〇，分别提取超像素区域级的运动直方图，记为，同理，提取当前帖 全局运动直方图HJ5; (4)、构建一个无向有权图Gt= (Vt，Et)，分别计算超像素区域到虚拟背景节点Bt 的最短路径，将此最短路径中节点之间边的权重进行累加，当作超像素区域的运动显著性 值，生成当前帖的运动显著性图，并且根据二值化的运动显著性图，重新估计背景的运动直 方图，更新超像素区域的运动显著性值，其中，Vt表示由视频帖内所有的超像素区域 =l，...，r〇抽象成的图节点集合，Et表示图中节点与节点之间边的集合。 上述步骤似中的超像素区域分割方法，具体步骤如下： (2-1)、对于视频帖Ft，其宽度记为W，长度记为h，设定wXh大小的视频帖Ft要分 害[|的区域个数为：巧二^/v^^?/^/4()0(2-2)、利用简单线性迭代聚类算法，即SLIC，根据步骤（2-1)设定的超像素区域 个数nt，最终将视频Ft聚类成nt个超像素区域。 上述步骤（3)中的提取超像素级的运动直方图的方法，具体步骤如下：(3-1)、对于视频帖Ft，参照其前一帖Ft1，利用稠密光流场估计算法LD0F，得到视 频帖Ft中每个像素点相对应于前一帖Ft1的每个像素点运动矢量，把所有的运动矢量保存 至IJwXh的矩阵里，得到视频帖Ft的运动矢量场MVF1; (3-2)、基于视频帖Ft的运动矢量场MVFt,。化及超像素区域=l，...，r〇， 分别提取每个超像素区域的运动直方图，具体为，将运动矢量场的运动方向在范 围内均匀地量化成bM= 8个间隔，分别统计超像素区域内所有像素点的运动矢量场方向在 每个间隔出现的频率，得到超像素级的运动直方图= 巧），最终归一化H^，使得同时，按照计算超像素区域运动直方图的方法，统计视频帖Ft内所有的像 素点出现的频率，记为全局运动直方图H；i，用于表示视频帖背景区域的运动模式。 阳0巧上述步骤（4)中的通过构造无向有权图进行显著性计算的方法，具体步骤如下： (4-1)、图的构建：对于视频帖Ft，其无向有权图记为Gt= (Vt，Et)'其中，V康示由 视频帖内所有的超像素区域=l，...，nt)抽象成的图节点集合，Et表示图中节点与 节点之间边的集合，本模型定义了 =种类型的边：相邻节点之间构成的边，视频帖四周边界 超像素区域之间构成的边，视频帖四周边界超像素区域与虚拟背景节点之间构成的边； (4-2)、边的权重定义：由于本模型定义了 =种类型的边，对于相邻节点之间构成 的边，视频帖四周边界超像素区域之间构成的边权重定义为，任意相互连接的超像素区域spt,i，spt,i的运动直方图之间的卡方距离，其计算公式如下： W巧](1) 任意与虚拟背景节点Bt相互连接的边界超像素区域spt,i的边的权重，其计算公式 如下：())虚拟背景节点的运动信息由全局运动直主图》；；；,表示，公式（3)，公式（4)中的入 因子设定为0. 1 ; (4-3)、最短路径的捜索：通过步骤（4-1)和（4-2)构建了无向有权图Gt=(Vt， Et)，利用DiAstra最短路径算法，捜索出每个超像素区域到虚拟背景节点的最短路径，并 且将路径上的边的权重进行累加，当作该超像素区域的运动显著性值Mt(i)，运动显著值由 公式（5)计算得到，其中，运动显著性值Mt(i)越大，说明超像素区域与虚拟背景节点之间 有运动差异越大，超像素区域越显著；化） (4-4)、图结构的迭代调整：为了更加准确地估计出虚拟背景节点的运动直方图， 在本模型中，根据前后两次调整过程中变化程度作为迭代终止与否的条件，进下如下 的迭代过程：首先，根据当前虚拟背景节点的运动直方图H；；i，W及图结构，对计算得到的 运动显著性图利用自适合的二值化算法0TSU本文档来自技高网...

【技术保护点】
一种基于图的无约束视频中显著物体检测方法，其特征在于，具体步骤如下：(1)、输入原始视频帧序列，对其中的第t帧记为Ft；(2)、利用超像素区域分割方法，将整个视频帧Ft分割成nt个超像素区域，记为spt,i(i＝1,...,nt)；(3)、利用稠密光流法算法，得到视频帧Ft的像素点的运动矢量场，对于超像素区域spt,i(i＝1,...,nt)，分别提取超像素区域级的运动直方图，记为同理，提取当前帧全局运动直方图(4)、构建一个无向有权图Gt＝(Vt,Et)，分别计算超像素区域到虚拟背景节点Bt的最短路径，将此最短路径中节点之间边的权重进行累加，当作超像素区域的运动显著性值，生成当前帧的运动显著性图，并且根据二值化的运动显著性图，重新估计背景的运动直方图，更新超像素区域的运动显著性值，其中，Vt表示由视频帧内所有的超像素区域spt,i(i＝1,...,nt)抽象成的图节点集合，Et表示图中节点与节点之间边的集合。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘志，李君浩，叶林伟，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31