重构视频序列的图像的方法和重构视频序列的图像的设备技术

重构应用基于视频源内容裁剪视频源的子部分。重构应用包含产生显著性图的视觉关注模型、和基于显著性图推断裁剪窗口的专用重构算法。裁剪后，只有每个视频图像的重构部分保持可见。处理视频序列的图像的方法包括以下步骤：确定（21）视频序列的参数、视频序列的先前解码的子序列的参数和用户设置，根据所确定的参数确定（22）要裁剪的部分，在重构步骤剪裁（23）所确定的部分以供显示。本发明专利技术的优点是提供了基于视频内容自动调整重构参数的先进自动方法。

【技术实现步骤摘要】
【专利摘要】重构应用基于视频源内容裁剪视频源的子部分。重构应用包含产生显著性图的视觉关注模型、和基于显著性图推断裁剪窗口的专用重构算法。裁剪后，只有每个视频图像的重构部分保持可见。处理视频序列的图像的方法包括以下步骤：确定（21）视频序列的参数、视频序列的先前解码的子序列的参数和用户设置，根据所确定的参数确定（22）要裁剪的部分，在重构步骤剪裁（23）所确定的部分以供显示。本专利技术的优点是提供了基于视频内容自动调整重构参数的先进自动方法。【专利说明】重构视频序列的图像的方法和重构视频序列的图像的设备
本专利技术涉及一种处理视频序列的图像的方法和设备，尤其是重构视频序列的图像。
技术介绍
例如从EP1956550A已知的重构应用最初被设计来基于视频源内容裁剪视频源的子部分。裁剪后，只有每个视频图像的重构部分仍然可见。重构应用包含视觉关注模型(visual attention model)和专用的重构算法。视觉关注模型产生显著性图，而重构算法基于该显著性图推算出裁剪窗口。裁剪窗口的位置和大小根据视频内容是可变的。重构算法与编码或解码过程是互补的。根据使用情况，可以不同地使用重构应用。例如，重构应用可以被用作在移动视频编码前的预处理。在另一个例子中，重构应用在视频解码后执行。问题是目前还没有基于视频内容自动地调整重构参数的可用的先进的或自动的解决方案。
技术实现思路
本专利技术通过利用在解码视频源数据时可用的信息来自动调整重构应用的设置或输入参数。所公开的用于自动调整已解码视频序列的设置或输入参数的解决方案利用了先前解码序列的特性。根据本专利技术，一种处理视频序列的图像的方法包括以下步骤:确定视频序列的参数、视频序列的先前解码的GOP (画面组)的参数，确定用户设置，根据所确定的参数确定要裁减的部分，剪裁所剪裁的部分以供显示。视频序列的不同参数可以被确定和使用，如GOP大小，时间子采样因子，最小和最大缩放因子或边界框速度。这些参数可以单独或组合使用。例如，在一个实施例中，所确定的和使用的参数仅仅包括(从上述参数中)边界框速度。在一个实施例中，所确定和使用的参数包括最小和最大缩放因子。在一个实施例中，所确定和使用的参数包括GOP大小、时间子采样因子、最小和最大缩放因子，以及边界框速度。在本专利技术的一个实施例中，一种处理视频序列的图像的方法包括以下步骤:在前一图像中确定作为前一图像的最突出部分的像素子区域或像素子集以供包含在重构窗口中，围绕所述像素子区域或像素子集确定第一边界框；在当前图像中确定作为当前图像的最突出部分的像素子区域或像素子集以供包含在重构窗口中，并且围绕所述区域确定第二边界框；在连续图像之间确定边界框移动的最大边界框速度；依据第一和第二边界框以及所确定的边界框的最大速度来确定新的边界框；在当前图像中根据所确定的新边界框裁剪子区域以供显示。最大边界框速度可以根据视频序列的先前解码的GOP的参数确定。最大边界框速度也可以是可从寄存器或存储器取得的预定义值，这也对于视频序列的先前解码的GOP有效。 使用该方法的设备包括:图像分析装置，用于确定视频序列的参数，确定视频序列的先前解码的GOP (画面组)的参数，并确定用户设置(例如，用户接口装置);和图像处理装置，用于根据所确定的参数来确定要裁剪的部分，并裁剪所确定的部分以供显示。如上所述，视频序列的各种参数可单独使用或组合使用。在本专利技术的一个实施例中，一种处理视频序列的图像的设备包括:在前一图像中确定作为前一图像的最突出部分的像素子区域或像素子集以供包含在重构窗口中的装置；围绕所述像素子区域或像素子集确定第一边界框的装置；在当前图像中确定作为当前图像的最突出部分的像素子区域或像素子集以供包括在重构窗口中、并且围绕所述区域确定第二边界框的装置；依据视频序列的先前解码的GOP的参数，在连续图像之间确定边界框移动的最大边界框速度的装置；依据第一和第二边界框以及所确定的边界框的最大速度确定新的边界框的装置；以及在当前图像中根据所确定的新边界框裁剪子区域以供显示的装置。一方面，本专利技术涉及一种计算机可读介质，其上存储使计算机执行上述方法的可执行指令。在一个实施例中，使得计算机执行用于处理视频序列的图像的方法，该方法包括以下步骤:确定视频序列的参数，确定视频序列的先前解码的GOP的参数，并确定用户设置，根据所确定的参数确定要裁剪的部分，裁减所确定的部分以供显示。在从属权利要求、下列描述和附图中公开了本专利技术的优选实施例。【专利附图】【附图说明】参考附图来描述本专利技术的示例性实施例，在附图中:图1是具有重构应用的视频解码器的结构；图2是处理视频序列的图像的方法的流程图；图3是缓冲区大小的演变作为GOP大小的函数的图表；图4是考虑计算上下文和实时性要求而选择最佳时间子采样模式/因子；图5是考虑到GOP排列、大小和环境限制的模式选择的流程图；图6是在不同比特率下1-帧的示例性MB成本图；图7是边界框速度的演变作为对于完整GOP的帧之间的帧内图相关性的函数的图表;图8是说明有限边界框速度的图；图9是说明有限边界框缩放因子的图；以及图10是处理视频序列的图像的设备的结构。【具体实施方式】图1示出具有自动重构单元AR的视频解码器DEC的结构。解码器DEC接收编码的输入视频序列11，并对其进行解码以获得解码后的视频序列12。参数提取器PE从解码后的视频序列和/或解码器设置13中提取参数和/或重构设置14。自动重构单元AR从解码后的视频12和所提取的参数和/或重构设置14中生成重构(即裁剪)视频序列16。重构应用具有一定数量的设置S，根据本专利技术，设置S是根据解码后的流或解码过程自动调整的。在一个实施例中，设置包括缓冲区大小、时间子采样因子、两个缩放系数Zmin与Zmax、边界框速度。设置S1, S2, S3, S4如下所述。【权利要求】1.一种处理视频序列的图像的方法，包括以下步骤: 确定视频序列的参数，视频序列的先前解码的子序列的参数和用户设置； 根据所确定的参数确定要裁剪的部分，其中要裁剪的部分是通过具有可变位置和可变大小中至少一个的边界框定义的，其中可变位置取决于视频序列中相邻帧的帧内编码宏块间的相关性，其中对于所述相关性的第一相关值的边界框位置变化比对于高于或低于第一相关值的相关值的边界框位置变化更快，其中可变大小取决于根据当前GOP或场景的第一帧的宏块成本图的参数计算得到的最大缩放因子，其中如果具有成本等于零的宏块的百分比比较低，则允许更高的最大缩放因子；以及在重构步骤中裁剪所确定的部分以供显示。2.如权利要求1所述的方法，其中所述子序列是GOP或场景，场景由场景变化检测器检测。3.如权利要求1或2所述的方法，其中视频序列的参数或先前解码的子序列的参数至少包括GOP大小、场景长度、时间子采样因子、最小和最大缩放因子和边界框速度中的至少一个。4.如权利要求1或2所述的方法，所述确定视频序列的参数包括，对于当前图像: 在前一图像(iiVi)中确定作为前一图像的最突出部分的像素子区域或像素子集(Sai)； 确定围绕所述前一图像的所述像素子区域或像素子集的第一边界框(bbj ； 在当前图像(imn)中确定作为当前图像的最突出部分的像素子区域或像素子集(Sa2)；确定围绕本文档来自技高网...

【技术保护点】
一种处理视频序列的图像的方法，包括以下步骤：确定视频序列的参数，视频序列的先前解码的子序列的参数和用户设置;根据所确定的参数确定要裁剪的部分，其中要裁剪的部分是通过具有可变位置和可变大小中至少一个的边界框定义的，其中可变位置取决于视频序列中相邻帧的帧内编码宏块间的相关性，其中对于所述相关性的第一相关值的边界框位置变化比对于高于或低于第一相关值的相关值的边界框位置变化更快，其中可变大小取决于根据当前GOP或场景的第一帧的宏块成本图的参数计算得到的最大缩放因子，其中如果具有成本等于零的宏块的百分比比较低，则允许更高的最大缩放因子；以及在重构步骤中裁剪所确定的部分以供显示。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：C查马雷特，F厄本，C谢万斯，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：