一种视频显著性区域检测方法及系统技术方案

本发明专利技术实施例公开了一种视频显著性区域检测、分割方法及系统，通过分别获得像素级的静态显著性特征、局部区域级的静态显著性特征和动态显著性特征和全局级的静态显著性特征和动态显著性特征，结合所有的静态显著性特征和动态显著性特征后得到视频显著性特征，利用视频帧之间的相关性对该视频显著性特征进行调制，基于调制后的视频显著性特征，采用3D-MRF设置视频帧的视频显著性区域，然后利用Graph-cuts选择最优的视频显著性区域，对视频显著性区域进行分割。本发明专利技术实施例用于提高视频显著性特征的检测准确度和精确度和提高视频显著性区域分割结果在时间上的连贯性和在空间上的连续性。

【技术实现步骤摘要】
一种视频显著性区域检测方法及系统
本专利技术涉及视频处理
，具体涉及一种视频显著性区域检测、分割方法及 系统。
技术介绍
视频编辑是多媒体商业应用中常需要处理的问题之一，例如要改变某些图像区域 的色度、亮度来增加视觉效果，或者找出可叠加内容的视频区域。视频显著性检测是检测视 频中可编辑区域最直接的方式。显著性区域是指视频中携带重要内容，直接引起视觉关注 的区域。检测并分割视频显著性区域后，即可对非显著性区域进行编辑处理。 目前，最常用的显著性区域检测主流方法有基于频谱的检测和基于对比度的检 测。其中，基于频谱的检测是提取图像频谱中的高频部分作为显著性区域。基于对比度的 检测可以分为像素级检测显著性区域、局部区域级检测显著性区域、全局级检测显著性区 域；也可以是综合这三个层次的检测得到静态显著性特征，再计算动态显著性特征，进一步 结合静态显著性特征和动态显著性特征得到显著性区域。 其中，在基于对比度计算静态显著性特征的方法中，首先，像素级显著性区域检测 方法通常把图像映射到多尺度空间里，在每个尺度下计算每个像素点和它周围像素点平方 差之和作为这个个尺度下的测量，再把不同尺度的测量相加作为像素级显著性特征；其次， 局部区域级显著性检测方法通常使用方形窗口指定一个局部区域和一个环形区域，并通过 这个局部区域和环形区域颜色分布的距离标注局部区域的显著性；最后，全局级检测显著 性区域检测方法通常采用各个颜色在图像中散布空间的扩散程度作为测量结果。把这三种 方法应用在光流场中，可以获得这三个级别的动态显著性特征。分割视频显著性区域分割 时，现有方法对视频中每一视频巾贞用一个独立的2D条件随机场（2D conditional random field，2D CRF)建模，并以上述显著性检测结果作为观测，分割出显著性区域。 在实施上述现有技术的过程中，本专利技术专利技术人发现现有技术只适用于检测亮度高 于周边的显著性区域，无法检测亮或暗的突变区，而且还可能出现漏检的现象，而在分割视 频显著性区域时也无法保证视频显著性区域分割结果的时间连贯性。
技术实现思路
针对上述缺陷，本专利技术实施例提供了一种视频显著性区域检测、分割方法及系统， 提高视频显著性区域的检测精度和分割精度，以及视频显著性区域分割结果在空间上的连 续性和在时间上的连贯性。 本专利技术第一方面提供一种视频显著性区域检测和分割的方法，包括： 根据像素奇异性对比度获得像素级的静态显著性特征；根据局部区域内像素特征 的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；根据视频帧的颜色全 局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特 征； 在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述 局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流 强度在所述视频帧中的概率获得所述全局级的动态显著性特征； 结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视 频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对 视频帧中视频显著性区域进行分割。 结合第一方面，在第一种可能的实现方式中，所述根据像素奇异性对比度获得像 素级的静态显著性特征，具体包括： 基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像；获取尺 度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点对应的变换 系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值；对每个所述差值进行 q方处理后求和得到中心邻域差，所述q为1或2的正整数；对每个尺度图像的所有中心邻 域差求和得到奇异性对比度；对所有不同尺度图像的奇异性对比度进行插值处理后累加求 和得到像素级的静态显著性特征。 结合第一方面，或第一方面的第一种可能的实现方式，在第二种可能实现的方式 中，所述根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态 显著性特征，具体包括： 在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形 区域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述 特征分布值计算所述像素特征所携带的信息；根据所述特征分布值和所述像素特征所携带 的信息计算所述第一局部区域内像素特征的凝聚性的值、相对罕见性的值和重要性的值； 所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获 得局部区域级的静态显著性特征。 结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，若所述特 征来自第一局部区域，则所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述 像素特征的重要性的值获得局部区域级的静态显著性特征之后还包括： 对所述局部区域级的静态显著性特征和所述特征的特征分布值进行离散近似计 算，获取所述第一局部区域的显著性特征；对所述第一局部区域的显著性特征进行离散数 字处理，分布到所述第一局部区域的每个像素点上。 结合第一方面或第一方面的第二种可能的实现方式，在第四种可能的实现方式 中，所述根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概 率获得全局级的静态显著性特征，具体包括： 计算所述视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中 出现的概率；利用激活函数Sigmod对颜色在所述视频帧中出现的概率进行处理，再与所述 颜色全局对比度和颜色空间分布值相乘，获得所述全局级的静态显著性特征。 结合第一方面，在第五种可能的实现方式中，在光流场中，所述根据第二局部区域 内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征，具体 包括：在光流场中选取窗口型第二局部区域，并在所述第二局部区域周边选取第二环形区 域，分别计算所述第二局部区域和第二环形区域内光流分布值，再根据所述光流分布值计 算光流强度所携带的信息；根据所述光流分布值和光流强度所携带的信息计算所述第二局 部区域内光流强度的凝聚性的值、相对罕见性的值和重要性的值；所述光流强度的凝聚性 的值与光流强度的相对罕见性的值相加，再乘以所述光流强度的重要性的值获得局部区域 级的动态显著性特征。 结合第一方面或第一方面的第五种可能的实现方式，在第六种可能的实现方式 中，所述根据光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中 的概率获得全局级的动态显著性特征，具体包括：计算所述视频帧的光流强度全局对比度、 光流强度空间分布值和每种光流强度在所述视频帧中出现的概率；利用激活函数Sigmod 对光流强度在所述视频帧中出现的概率进行处理，再与所述光流强度全局对比度和光流强 度空间分布值相乘，获得所述全局级的动态显著性特征。 本专利技术第二方面提供一种视频显著性区域分割方法，包括： 获取连续三帧视频帧调制后的视频显著性特征； 对所述视频帧中像素点对应的标注变量建立3D模型，根据所述视频显著性特征， 采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，所述对数本文档来自技高网...

【技术保护点】
一种视频显著性区域检测方法，其特征在于，包括：根据像素奇异性对比度获得像素级的静态显著性特征；根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征；在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征；结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频帧中视频显著性区域进行分割。

【技术特征摘要】
1. 一种视频显著性区域检测方法，其特征在于，包括： 根据像素奇异性对比度获得像素级的静态显著性特征；根据局部区域内像素特征的凝 聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；根据视频帧的颜色全局对 比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征； 在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部 区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度 在所述视频帧中的概率获得所述全局级的动态显著性特征； 结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧 的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频 帧中视频显著性区域进行分割。2. 根据权利要求1所述的方法，其特征在于，所述根据像素奇异性对比度获得像素级 的静态显著性特征，具体包括： 基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像； 获取尺度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点 对应的变换系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值； 对每个所述差值进行q方处理后求和得到中心邻域差，所述q为1或2的正整数； 对每个尺度图像的所有中心邻域差求和得到奇异性对比度； 对所有不同尺度图像的奇异性对比度进行插值处理后累加求和得到像素级的静态显 著性特征。3. 根据权利要求1或2所述的方法，其特征在于，所述根据局部区域内像素特征的凝聚 性、相对罕见性和重要性获得局部区域级的静态显著性特征，具体包括： 在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形区 域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述特 征分布值计算所述像素特征所携带的信息； 根据所述特征分布值和所述像素特征所携带的信息计算所述第一局部区域内像素特 征的凝聚性的值、相对罕见性的值和重要性的值； 将所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性 的值获得局部区域级的静态显著性特征。4. 根据权利要求3所述的方法，其特征在于，若所述特征来自第一局部区域，则所述像 素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部 区域级的静态显著性特征之后还包括： 对所述局部区域级的静态显著性特征和所述像素特征的特征分布值进行离散近似计 算，获取所述第一局部区域的显著性特征； 对所述第一局部区域的显著性特征进行离散数字处理，后分布到所述第一局部区域的 每个像素点上。5. 根据权利要求1或2所述的方法，其特征在于，所述根据视频帧的颜色全局对比度、 颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征，具体包 括： 计算所述视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中出现 的概率； 利用激活函数sigmod对颜色在所述视频帧中出现的概率进行处理，再与所述颜色全 局对比度和颜色空间分布值相乘，获得所述全局级的静态显著性特征。6. 根据权利要求1所述的方法，其特征在于，在光流场中，所述根据第二局部区域内 光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征，具体包 括： 在光流场中选取窗口型第二局部区域，并在所述第二局部区域周边选取第二环形区 域，分别计算所述第二局部区域和第二环形区域内光流分布值，再根据所述光流分布值计 算光流强度所携带的信息； 根据所述光流分布值和光流强度所携带的信息计算所述第二局部区域内光流强度的 凝聚性的值、相对罕见性的值和重要性的值； 将所述光流强度的凝聚性的值与光流强度的相对罕见性的值相加，再乘以所述光流强 度的重要性的值获得局部区域级的动态显著性特征。7. 根据权利要求1或6所述的方法，其特征在于，所述根据光流强度全局对比度、光流 强度空间分布值和每种光流强度在所述视频帧中的概率获得全局级的动态显著性特征，具 体包括： 计算所述视频帧的光流强度全局对比度、光流强度空间分布值和每种光流强度在所述 视频帧中出现的概率； 利用激活函数sigmod对光流强度在所述视频帧中出现的概率进行处理，再与所述光 流强度全局对比度和光流强度空间分布值相乘，获得所述全局级的动态显著性特征。8. -种视频显著性区域分割方法，其特征在于，包括： 获取连续三帧视频帧调制后的视频显著性特征； 对所述视频帧中像素点对应的标注变量建立3D模型，根据所述视频显著性特征，采用 3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，所述对数后验概率用于表 示所述标注变量取值属于视频显著性区域的概率； 采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率 估计值，根据所述最大后验概率估计值得到最优视频显著性区域分割结果。9. 根据权利要求8所述的方法，其特征在于，所述根据所述视频显著性特征，采用3D图 像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，包括： 采用3D图像马尔科夫场3D-MRF，对所述视频帧每个像素点对应的标注变量进行设置； 根据所述视频显著性特征，计算所述视频帧每个像素点对应的标注变量的观测概率； 根据所述视频帧每个像素点对应的标注变量，计算所述标注变量的时空平滑先验概 率； 根据所述观测概率和时空平滑先验概率，计算所述像素点对应的标注变量的后验概 率，并对所述后验概率取对数计算得到对数后验概率。10. 根据权利要求9所述的方法，其特征在于，所述采用Graph-cuts从3D-MRF的所述 对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值 进行最优视频显著性区域...

【专利技术属性】
技术研发人员：刘重阳，郝红霞，刘卓欣，董晓艺，
申请(专利权)人：华为软件技术有限公司，
类型：发明
国别省市：江苏;32