适用于枝状物体的智能图像编辑方法及系统技术方案

本发明专利技术公开了一种适用于枝状物体的智能图像编辑方法及系统。在该方法包括：检测和定位枝状物体候选区域；建立枝状物体模型，描述枝状物体几何形态、表观颜色、拓扑结构；预定义一组结构词典，描述珠状物体的交错情况和物体分枝情况；确定需要提取或者去除的目标枝，并指示所述目标枝的起始段；从所述起始段所对应的基元开始，利用所述枝状物体模型和所述结构词典，在所述候选枝状物体区域中检测和提取所述目标枝，推断所述目标枝与其它枝的遮挡关系，提取目标枝包含的所有子枝。本发明专利技术根据该类物体特点提出了全面的枝状物体建模方法，在推断其分枝结构、遮挡关系的基础上实现对枝状物体的精确提取。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和图像处理方法，尤其涉及适用于枝状物体的智能图像编 辑方法及系统。
技术介绍
在数字信息时代，随着数字图像采集设备的迅猛发展、广泛普及和不断提高，数码 照片作品大量涌现，人们对照片数据源的要求越来越高，照片处理和后期编辑的需求也日 益增强。方便灵活、功能强大的图片编辑软件能够满足越来越多的数码用户以及专业编辑 人员、艺术设计者和其它领域相关人员的要求，受到许多用户的青睐。著名的图片编辑软件如Adobe Photoshop可谓家喻户晓，它提供的一系列图片编 辑功能极大满足了用户需求。微软公司也非常重视这一领域，推出了数码照片编辑套件 Digital Image Suite，提供了许多图像处理功能，如剪辑、润色、修复等，还有照片管理、创 建照片幻灯电影等功能。另外，网络用户的日益增多，也促使在线编辑功能受到越来越多的 用户关注和使用，许多照片资源网站如Shutterfly、Flickr、惠普的Snapfish、柯达网上相 册和Google公司的Picasa等都提供了在线照片编辑功能，用户可以根据自己的喜好更方 便地、个性化地使用网上照片资源。图像编辑技术的研究是近年来的一个热点领域，经典问题例如数字抠图(image matting)，图像修复(image inpainting)和照片编辑(Photo editing)等，在图像处理、图 形分析、媒体制作、数字艺术、电影工业、图像传输等领域都有广泛的应用。数字抠图技术主要研究把任意形状的前景物体或者目标物体从原图中精确抽取 出来，代表性工作如Knockout方法、Bayesian方法、Poisson方法、Grabcut方法等。其基 本模型是把每个图像像素的颜色值看作是前景颜色和背景颜色值不同比例的混合，从而建 立适当模型求解混合比例值，以实现前、背景的分离。然而现有的这些技术通常致力于如何 精确抠取物体边缘，特别是毛发等区域，定位边缘非常困难；但这类方法一般适用于通常的 2D区域和物体。对于细长的、分枝的、交错的枝状物体，还难以达到理想的、智能的提取效 果，比如要想从许多交错枝干中提取某些枝是一个很困难的问题，现有方法还难以解决这 一问题。图像修复是研究如何把图像中某些被损坏区域恢复原状、或者把被去除区域填补 完整，使修复后的区域与周围区域融合一致，整个图像自然完美。由于传统的inpainting 方法一般适合于细小区域(如划痕、文字等)的修补，后来人们又提出了对较大区域(如整 个物体、一块大面积区域)的去除、替换和修补的方法。这些修复和填补技术主要包括文字 擦除，遮挡去除、旧照片和老电影划痕去除、图像缩放、特定目标移除、眩目部分消除等等。 代表性的工作包括偏微分方程(PDE)模型、基于样本(example-based)的修补方法、基于泊 松方程(Poisson equation)的图像编辑技术等。这些方法虽然研究了多年并且有很多成 熟的技术，但是仍存在一些问题如对细长结构进行修补缺乏鲁棒的方法、对于遮挡情况不 能判断导致不合理结果出现等。4总之，对于树枝状物体这类特殊结构，已有方法难以适用，需要提出一种全新的模 型和方法，针对该类物体的特点进行处理。
技术实现思路
本专利技术的目的在于提供一种适用于枝状物体的智能图像编辑方法及系统。本专利技术公开了一种适用于枝状物体的智能图像编辑方法，包括预处理步骤，检测 和定位枝状物体候选区域；枝状物体模型建立步骤，建立枝状物体模型，描述枝状物体几何 形态、表观颜色、拓扑结构；结构辞典定义步骤，预定义一组结构词典，描述珠状物体的交错 情况和物体分枝情况；提取步骤，确定需要提取或者去除的目标枝，并指示所述目标枝的起 始段；从所述起始段所对应的基元开始，利用所述枝状物体模型和所述结构词典，在所述候 选枝状物体区域中检测和提取所述目标枝，推断所述目标枝与其它枝的遮挡关系，提取所 述目标枝所包含的所有子枝。上述智能图像编辑方法，优选所述提取步骤后，还包括剪辑和修补步骤，该步骤根 据用户交互信息，采用分层图像修复填补被抹去区域，得到编辑后的新图像。上述智能图像编辑方法，优选所述预处理步骤中，利用匹配追踪或图像分割检测 和定位枝状物体候选区域。上述智能图像编辑方法，优选所述枝状物体模型建立步骤中，通过建立一个马尔 可夫树模型，描述物体的几何形态、表观颜色和拓扑结构，作为枝状物体的先验分布模型。上述智能图像编辑方法，优选所述结构辞典定义步骤中，通过归纳多种交错和分 叉类型，定义了分枝结构词典。上述智能图像编辑方法，优选所述提取步骤中，使用Ancestralsampling方法，从 所述目标枝的所述起始段开始，通过采样得到其后代基元；在每一步采样过程中推断当前 枝的结构，并在当前枝的结构为分支结构的前提下，推断不同枝之间的分层关系。上述智能图像编辑方法，优选所述剪辑和修补步骤中，在推断和估计出的层次关 系指导下，对被修补区域进行背景层和其它被保留枝状物体的分层修补，恢复和连接原图 中被已删除枝状物遮挡的物体。另一方面，本专利技术还公开了一种适用于枝状物体的智能图像编辑系统，包括预处 理模块，用于检测和定位枝状物体候选区域；枝状物体模型建立模块，用于建立枝状物体模 型，描述枝状物体几何形态、表观颜色、拓扑结构；结构辞典定义模块，用于预定义一组结构 词典，描述珠状物体的交错情况和物体分枝情况；提取模块，用于确定需要提取或者去除的 目标枝，并指示所述目标枝的起始段；从所述起始段所对应的基元开始，利用所述枝状物体 模型和所述结构词典，在所述候选枝状物体区域中检测和提取所述目标枝，推断所述目标 枝与其它枝的遮挡关系，提取所述目标枝所包含的所有子枝。上述智能图像编辑系统，优选所述提取模块后，还连接有剪辑和修补模块，该模块 用于根据用户交互信息，采用分层图像修复填补被抹去区域，得到编辑后的新图像。上述智能图像编辑系统，优选所述预处理模块中，利用匹配追踪或图像分割检测 和定位枝状物体候选区域。上述智能图像编辑系统，优选所述枝状物体模型建立模块中，通过建立一个马尔 可夫树模型，描述物体的几何形态、表观颜色和拓扑结构，作为枝状物体的先验分布模型。5上述智能图像编辑系统，优选所述结构辞典定义模块中，通过归纳多种交错和分 叉类型，定义了分枝结构词典。上述智能图像编辑系统，优选所述提取模块中，使用Ancestralsampling方法，从 所述目标枝的所述起始段开始，通过采样得到其后代基元；在每一步采样过程中推断当前 枝的结构，并在当前枝的结构为分支结构的前提下，推断不同枝之间的分层关系上述智能图像编辑系统，优选所述剪辑和修补模块中，在推断和估计出的层次关 系指导下，对被修补区域进行背景层和其它被保留枝状物体的分层修补，恢复和连接原图 中被已删除枝状物遮挡的物体。相对于现有技术而言，本专利技术的优点在于本专利技术根据该类物体特点(基本形态呈细长状，通常含有分枝，众多的“枝干”投 影到二维图像平面上相互交错，彼此难分)提出了全面的枝状物体建模方法，在推断其分 枝结构、遮挡关系(层次关系)的基础上实现对枝状物体的精确提取；并在简单的用户交互 下实现智能剪辑，剪除用户希望抹去的特定“枝”;并且，能够对用户编辑后的图像进行高质 量的自动修补。附图说明图Ia为本文档来自技高网...

【技术保护点】
一种适用于枝状物体的智能图像编辑方法，其特征在于，包括：预处理步骤，检测和定位枝状物体候选区域；枝状物体模型建立步骤，建立枝状物体模型，描述枝状物体几何形态、表观颜色、拓扑结构；结构辞典定义步骤，预定义一组结构词典，描述珠状物体的交错情况和物体分枝情况；提取步骤，确定需要提取或者去除的目标枝，并指示所述目标枝的起始段；从所述起始段所对应的基元开始，利用所述枝状物体模型和所述结构词典，在所述候选枝状物体区域中检测和提取所述目标枝，推断所述目标枝与其它枝的遮挡关系，提取所述目标枝所包含的所有子枝。

【技术特征摘要】

【专利技术属性】
技术研发人员：王亦洲，郭歌，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：11[中国|北京]