时间显著图制造技术

本发明专利技术揭示一种产生时间显著图的方法。在特定实施例中，所述方法包含：从对象跟踪器接收对象边界框。所述方法包含：至少部分地基于所述对象边界框而裁剪视频帧以产生经裁剪图像。所述方法进一步包含：对所述经裁剪图像执行空间双分段以产生初始掩模，以及对所述初始掩模执行时间掩模细化以产生细化掩模。所述方法还包含：至少部分地基于所述细化掩模而产生时间显著图。

【技术实现步骤摘要】
【国外来华专利技术】时间显著图
本专利技术大体来说涉及对象跟踪。
技术介绍
技术的进步已产生较小且较强大计算装置。举例来说，当前存在各种便携式个人计算装置，包含无线电话，例如移动及智能电话、平板及膝上型计算机，其为小型、轻量且容易由用户携带。这些装置可经由无线网络传递语音及数据包。此外，许多此些装置并入有额外功能性，例如数字静态相机、数字摄像相机、数字记录仪及音频文件播放器。此外，此些装置可处理可执行指令，包含可用于接入因特网的软件应用程序，例如web浏览器应用程序。如此，这些装置可包含凸显计算能力。可期望将特殊效果应用于在视频帧之间被跟踪的对象。然而，使用典型边界框应用各种特殊效果可导致不满意用户体验。例如，可在边界框的边缘处或其附近的特殊效果的应用中存在突然转变，造成不真实且美观上令人不愉悦的图像。
技术实现思路
本专利技术描述可用于对象跟踪的时间显著图。在一些状况下，时间显著图可用于将特殊效果(例如，散景效果(其中图像的离焦部分模糊)、黑白效果或透镜效果，连同其它替代效果)应用于被对象跟踪器跟踪的对象。此些特殊效果可应用于相机预览模式、视频记录模式或快照模式连同其它替代模式中。在特殊效果应用程序中，时间显著图可通过将特殊效果应用于经识别为图像的前景部分(包含关注对象)的像素子组而不将特殊效果应用于经识别为图像的背景部分的像素来提供经改进用户体验。在特定实例中，揭示产生时间显著图的方法。所述方法包含：从对象跟踪器接收对象边界框并至少部分地基于所述对象边界框而裁剪视频帧以产生经裁剪图像。所述方法进一步包含：对所述经裁剪图像执行空间双层分段以产生初始掩模及对所述初始掩模执行时间掩模细化以产生细化掩模。所述方法还包含：至少部分地基于所述细化掩模而产生时间显著图。在另一特定实例中，揭示用于产生时间显著图的设备。所述设备包含处理器、对象跟踪器组件、帧裁剪组件、分段组件、掩模细化组件，及时间显著图产生组件。所述对象跟踪器组件可由处理器执行以产生对象边界框。所述帧裁剪组件可由处理器执行以至少部分地基于所述对象边界框而裁剪视频帧以产生经裁剪图像。所述分段组件可由处理器执行以对所述经裁剪图像执行空间多层分段以产生初始掩模，且所述掩模细化组件可由处理器执行以对所述初始掩模执行时间掩模细化以产生细化掩模。所述时间显著图产生组件可由处理器执行以至少部分地基于所述细化掩模而产生时间显著图。在另一特定实例中，揭示产生时间显著图以将其作为反馈提供到对象跟踪器的方法。方法包含：从对象跟踪器接收对象边界框并对视频帧的部分执行空间双层分段以产生初始掩模。至少部分地基于所述对象边界框而确定所述视频帧的部分的边界。方法包含：对所述初始掩模执行时间掩模细化以产生细化掩模并至少部分地基于所述细化掩模而产生时间显著图。所述方法可包含将所述时间显著图作为反馈提到所述对象跟踪器。在另一特定实例中，揭示产生时间显著图以将其作为反馈提供到对象跟踪器的设备。所述设备包含处理器、对象跟踪器组件、分段组件、掩模细化组件，及时间显著图产生组件。所述对象跟踪器组件可由处理器执行以产生对象边界框。所述分段组件可由所述处理器执行以对视频帧的部分执行空间双层分段以产生初始掩模，其中至少部分地基于所述对象边界框而确定所述视频帧的部分的边界。所述掩模细化组件可由处理器执行以对所述初始掩模执行时间掩模细化以产生细化掩模。时间显著图产生组件可由处理器执行以至少部分地基于所述细化掩模而产生时间显著图并将时间显著图作为反馈提供到所述对象跟踪器组件。由所揭示实例中的至少一者提供的一个特定优点为在将特殊效果应用于所跟踪的关注对象时经改进用户体验。由所揭示实例中的至少一者提供的另一优点为通过将显著图作为反馈提供到对象跟踪器以便将前景对象与背景分离而改进对象跟踪器的跟踪准确度。在检视整个申请案(包含以下部分)之后，本专利技术的其它方面、优点及特征将变得显而易见：“图式简单说明”、“具体实施方式”及“权利要求书”。附图说明图1为可操作以产生时间显著图的系统的特定说明性实施例的框图；图2为产生时间显著图的方法的特定说明性实施例的框图；图3为将时间显著图作为反馈提供到对象跟踪器的方法的特定说明性实施例的框图；图4为经应用于视频帧序列的显著图及相关联二进制掩模的特定说明性实施例的图；图5为经应用于具有复杂背景的视频帧序列的显著图及相关联二进制掩模的特定说明性实施例的图；图6为将应用于其中关注对象经部分遮蔽的视频帧序列的显著图及相关联二进制掩模的特定说明性实施例的图；图7A为基于时间显著图经应用于特定视频帧的第一特殊效果的特定说明性实施例的图；图7B为基于时间显著图经应用于特定视频帧的第二特殊效果的特定说明性实施例的图；图8为产生时间显著图的方法的特定说明性实施例的流程图；图9为执行多层分段以产生对象掩模的方法的特定说明性实施例的流程图；图10为将时间显著图作为反馈提供到对象跟踪器的方法的特定说明性实施例的流程图；图11为将时间显著图用于特殊效果应用程序的方法的特定说明性实施例的流程图；以及图12为用以产生时间显著图的计算装置的特定说明性实施例的框图。具体实施方式参考图1，揭示可操作以产生时间显著图的系统的特定说明性实施例且大体将其指定为100。系统100包含移动装置102。移动装置102可为移动电话、音乐播放器、视频播放器、娱乐单元、导航装置、通信装置、个人数字助理(PDA)、计算机或任何其它移动计算装置。移动装置102包含相机104。相机104可经配置以捕获并输出静态图像及视频。移动装置102包含输出接口106。输出接口106可经配置以与显示装置(诸如液晶显示器(LCD)、发光二极管(LED)显示器或任何其它显示装置)进行通信。在特定实施例中，输出接口106输出图形用户接口(GUI)。移动装置102进一步包含输入接口108。输入接口108可包含触摸屏、任何其它类型的输入装置或其任何组合。在特定实施例中，输入接口108可经配置以从用户110接收输入(例如，对由输出接口106输出的GUI作出响应的输入)。移动装置102可进一步包含附属装置接口112。在特定实施例中，附属装置接口112从附属装置114接收输入。在特定实施例中，附属装置114包含相机。从附属装置114接收的输入可包含图像或视频数据。在特定实施例中，附属装置114可嵌入于用户可穿戴附件(诸如眼镜或珠宝)中。移动装置102可进一步包含网络接口116，所述网络接口经配置以与网路118进行通信。网络接口116可包含以太网接口、802.11(WiFi)接口、长期演进(LTE)接口、码分多址接入(CDMA)接口、时分多址接入(TDMA)接口、802.16(WiMAX)接口、任何其它有线或无线网络接口或其任何组合。移动装置102进一步包含存储装置120。存储装置120可包含固态驱动器、硬盘驱动器、光学驱动器或任何其它类型的计算机可读存储媒体或装置。存储装置120可存储图像及视频(例如，由相机104捕获、由移动装置102经由网络接口116下载等的图像及视频)。移动装置102可包含以软件实施的一或多个组件(例如，存储在移动装置102的存储器中的指令，所述指令可由移动装置102的处理器执行)。替代地，组件的全部或部分可以硬件实施。组件可包含对象跟踪器122，所述对象跟踪器经本文档来自技高网...

【技术保护点】
一种方法，其包括：从对象跟踪器接收与对象边界框相关联的信息；至少部分地基于所述对象边界框而裁剪视频帧以产生经裁剪图像；在处理器处，对所述经裁剪图像执行空间双层分段以产生初始掩模；在所述处理器处，对所述初始掩模执行时间掩模细化以产生细化掩模；以及至少部分地基于所述细化掩模而产生时间显著图。

【技术特征摘要】
【国外来华专利技术】1.一种方法，其包括：从对象跟踪器接收与对象边界框相关联的信息；至少部分地基于所述对象边界框而裁剪视频帧以产生经裁剪图像；在处理器处，对所述经裁剪图像执行空间双层分段以产生初始掩模；在所述处理器处，对所述初始掩模执行时间掩模细化以产生细化掩模；以及至少部分地基于所述细化掩模而产生时间显著图。2.根据权利要求1所述的方法，其进一步包括：将所述时间显著图提供到特殊效果应用程序。3.根据权利要求2所述的方法，其中所述特殊效果应用程序为散景效果应用程序。4.根据权利要求2所述的方法，其中所述特殊效果应用程序为黑白效果应用程序。5.根据权利要求2所述的方法，其中所述特殊效果应用程序为透镜效果应用程序。6.根据权利要求1所述的方法，其进一步包括：基于所述时间显著图而产生二进制掩模。7.根据权利要求6所述的方法，其进一步包括：将所述二进制掩模应用于所述视频帧以用于特殊效果应用程序。8.根据权利要求1所述的方法，其中执行所述空间双层分段包含：基于第一组种子点对图像的第一层执行区生长分段；以及基于第二组种子点对所述图像的第二层执行区生长分段。9.根据权利要求8所述的方法，其中所述第一组种子点包含与第一边界区相关联的第一多个点，所述第一边界区的大小相对于所述对象边界框扩展。10.根据权利要求9所述的方法，其中所述第二组种子点包含与第二边界区相关联的第二多个点，所述第二边界区的大小相对于所述对象边界框减少。11.根据权利要求10所述的方法，其进一步包括：将所述图像的所述第一层上的所述区生长分段的结果与所述图像的所述第二层上的所述区生长分段的结果融合以产生所述初始掩模。12.一种设备，其包括：处理器；对象跟踪器组件，其可由所述处理器执行以产生与对象边界框相关联的信息；帧裁剪组件，其可由所述处理器执行以至少部分地基于与所述对象边界框相关联的所述信息而裁剪视频帧以产生经裁剪图像；分段组件，其可由所述处理器执行以对所述经裁剪图像执行空间多层分段以产生初始掩模；掩模细化组件，其可由所述处理器执行以对所述初始掩模执行时间掩模细化以产生细化掩模；以及时间显著图产生组件，其可由所述处理器执行以至少部分地基于所述细化掩模而产生时间显著图。13.根据权利要求12所述的设备，其中所述空间多层分段包含空间双层分段。14.根据权利要求12所述的设备，其中所述掩模细化组件可由所述处理器执行以使所述初始掩模与和在视频帧序列中的所述视频帧之前的一或多个第二视频帧相关联的一或多个掩模对准。15.根据权利要求14所述的设备，其中所述掩模细化组件可由所述处理器执行以通过将表示特定视频帧的离群值的一或多个像素移除来使所述初始掩模与和所述一或多个第二视频帧相关联的所述一或多个掩模对准。16.根据权利要求15所述的设备，其中所述一或多个像素显现在所述特定视频帧中但未显现在...

【专利技术属性】
技术研发人员：钟昕，孙宇，高大山，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US