通过将数字图像的输入视频与代表对象的属性和特性的存储信息相比较，来产生对对象加以识别和定位的对象定位信息，从而增强数字图像中对象的可见性。通过图像处理来增强对象以及对象所处的区域的可见性，并且对增强输入视频进行编码。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体上涉及数字图像的传输，具体地，涉及数字图像中感兴趣对象的可见 性的增强，尤其是在具有低分辨率、低比特率视频编码的单元中显示的数字图像。
技术介绍
越来越需要向诸如蜂窝电话和PDA之类的手持设备传递视频内容。由于屏幕尺寸 小，有限的带宽以及有限的解码器端处理能力，以低比特率和低分辨率来编码视频。低分辨 率、低比特率视频编码的一个主要问题在于，对于感知到的视频质量的至关重要的对象劣 化和丢失。例如，观看足球比赛或网球比赛的视频剪辑如果球不清楚可见，则是令人烦恼 的。
技术实现思路
因此，期望加亮感兴趣对象，以提高低分辨率、低比特率视频的主观视觉质量。在 本专利技术的各种实现方式中，给定图像中对象的近似位置和尺寸的情况下，增强了数字图像 中感兴趣对象的可见性。或者在细化对象的近似位置和尺寸之后，增强对象的可见性。对 象增强提供了至少两个优点。首先，对象增强使得更容易看到和跟随对象，从而提高用户体 验。第二，对象增强在编码(即，压缩)阶段期间有助于对象保持较少劣化。本专利技术的一个 主要应用是向诸如蜂窝电话和PDA之类的手持设备传递视频，但是本专利技术的特征、构思、 以及实现方式对于例如包括通过互联网协议的视频(低比特率、标清内容)的各种其他应 用、上下文以及环境也是有用的。本专利技术提供了 加亮视频中的感兴趣对象，以提高低分辨率、低比特率视频的主观 视觉质量。本专利技术的系统和方法能够处理不同特性的对象，并且以全自动、半自动(即，手 动辅助)、以及全手动模式进行操作。可以在预处理阶段(即，在视频编码阶段之前或期间) 或者在后处理阶段(即，在视频解码阶段之后)执行对象的增强。根据本专利技术，通过以下操作来增强数字图像中对象的可见性提供包含对象在内 的输入视频；存储代表对象的属性和特性的信息；以及响应于视频输入以及代表对象的属 性和特性的信息，产生对对象进行识别和定位的对象定位信息。响应于对象定位信息，根据 输入视频产生输入视频中包含对象的那部分以及对象所处的区域的增强视频，并且对增强 视频进行编码。附图说明图1是用于增强根据本专利技术构造的数字视频中对象的可见性的系统的优选实施 例的框图。图2示出了图1系统所提供的近似对象定位。图3A至图3D示出了根据本专利技术的对象增强的工作流。图4是根据本专利技术实施例的用于对象边界估计算法的流程图，该对象边界估计算 法可以用于细化对象识别信息和对象位置信息。图5A至5D示出了根据本专利技术的、任意形状对象的边界的水平集估计的构思的实 现方式。图6是根据本专利技术的对象放大算法的流程图。图7A至7C示出了三种可能的16X 16宏块再划分，这用于说明编码阶段期间的对 象识别信息和对象位置信息的细化。具体实施例方式参照图1，根据本专利技术构造的对象增强系统可以涵盖发射机10中的所有组件，或 者对象增强组件可以在接收机20中。在可以执行对象加亮的处理链中有三个阶段(1)预 处理，在编码(即，压缩)阶段之前在发射机10中增强对象；(2)编码，通过与对象及其位置 有关的信息的细化，在发射机10中对包含对象在内的感兴趣区域给予特殊处理；以及(3) 后处理，在解码之后，通过作为元数据的比特流，利用从发射机10传输的与对象及其位置 有关的辅助信息，在接收机20处增强对象。根据本专利技术构建的对象增强系统可以被布置为 在上述阶段的仅一个阶段中、或在上述阶段的两个阶段中，或在上述全部三个阶段中提供 对象加亮。用于增强数字图像中对象的可见性的图1系统包括用于提供包含感兴趣对象的 输入视频的装置。包含要增强其可见性的对象在内的数字图像的源可以是传统结构和操作 的电视摄像机，并且由箭头12表示。图1系统还包括用于以下操作的装置存储代表感兴趣对象(例如，对象模板) 的属性和特性的信息的装置，并且响应于视频输入和代表对象的属性和特性的信息，产生 对对象加以识别和定位的对象定位信息。图1中对象定位模块14所表示的这种装置包括 用于以下操作的装置逐帧地扫描输入视频，以在图像中识别具有类似于存储信息的属性 和特性的对象(即，对象是什么)并定位对象(即，对象在何处)，所述存储信息代表感兴趣 对象的属性和特性。对象定位模块14可以是传统结构和操作的单元，逐帧地扫描输入视频 的数字图像，并且将输入视频的数字图像中所扫描的部分与代表感兴趣对象的属性和特性 的存储信息相比较，以在根据特定部分的扫描而产生的信息类似于代表对象的属性和特性 的存储信息时，通过数字图像的网格坐标来识别和定位感兴趣对象。通常，对象定位模块14实现对感兴趣对象进行识别和定位的以下方法中的一个 或多个 对象跟踪-对象跟踪器的目标是定位视频中的运动对象。典型地，在根据先前 帧给出运动对象的历史的情况下，跟踪器对当前帧中的对象参数(例如，位置、尺寸)进 行估计。跟踪方法例如可以基于模板匹配、光流、卡尔曼滤波、均值偏移分析(mean shiftanalysis)、隐藏马尔可夫模型、以及粒度(particle)滤波器。 对象检测-对象检测的目标是基于关于对象的先验知识，检测图像或视频帧中 对象的存在和位置。对象检测方法通常采用自顶向下和自底向上方法的组合。在自顶向下 方法中，对象检测方法基于从正被检测的对象的人类知识中导出的规则。在自底向上方法 中，对象检测方法将对象与低级别结构特征或图案相关联，然后通过搜索这些特征或图案 来定位对象。 对象分割_在该方法中，将图像或视频分解成其组成“对象”，组成“对象”可以 包括语义实体或视觉结构，例如颜色补丁。这种分解通常基于对象的运动、颜色以及纹理属 性。对象分割有多种应用，包括压缩视频编码、自动和半自动基于内容的描述、影片后期制 作、以及场景解释。具体地，分割通过提供场景的基于对象的描述而简化了对象定位问题。图2示出了由对象定位模块14提供的近似对象定位。例如，用户围绕对象所处的 区域绘制椭圆，以近似定位对象。最后，对近似对象定位信息(即，椭圆的中心点、长轴以及 短轴参数)进行细化。理想地，对象定位模块14以全自动模式进行操作。然而，实际上，可能需要一些手 动辅助来校正系统误差，或者至少定义系统要定位的重要对象。增强非对象区会使观看者 分散注意力，且错过真正的动作。为了避免或最小化该问题，如上所述，用户可以围绕对象 绘制椭圆，然后系统从指定位置跟踪对象。如果在帧中成功地定位对象，对象定位模块14 输出相应椭圆参数(即，中心点、长轴以及短轴)。理想地，该包围(bounding)椭圆的轮廓 应与对象的轮廓一致。然而，当参数可能仅是近似的且所获得的椭圆没有紧密地包含对象，并且应用了 对象增强时，可能出现两个问题。首先，由于椭圆不包括整个对象，因此不能在整体上增强 对象。其次，可能会增强非对象区。由于这两种结果不是令人期望地，因此在这样的情况下， 在增强之前对对象区域进行细化是有用的。以下更详细考虑对象定位信息的细化。图1系统还包括进行以下操作的装置响应于视频输入和从对象定位模块14接收 到的对象定位信息，产生数字图像中包含感兴趣对象的那部分以及对象所处的区域的增强 视频。图1中对象增强模块16所表示的这种装置可以是传统构造和操作单元，通过对数字图 像中包含感兴趣对象的区域应用传统图像处理操作来增强该区域的可见性。逐帧地从对象定 位模块14接收到的对本文档来自技高网...
【技术保护点】
一种用于增强数字图像中对象的可见性的系统，包括：用于提供包含对象的输入视频的装置；用于以下操作的装置： （ａ）存储代表对象的属性和特性的信息，以及 （ｂ）响应于输入视频和代表对象的属性和特性的信息，产生对对象加以识别和定位的对象定位信息； 用于以下操作的装置：响应于视频输入和对象定位信息，产生输入视频中包含对象的那部分以及数字图像中对象所处的区域的增强视频；以及 用于对增强视频进行编码的装置。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：锡塔哈姆伯哈加瓦西，吉恩拉什，余皇，
申请(专利权)人：汤姆森许可贸易公司，
类型：发明
国别省市：FR[法国]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。