使用最短连线特征的图像标记制造技术

描述了图像标记，例如，以识别医学图像中的身体器官、以标记游戏玩家的深度图像中的身体部分、以标记场景视频中的对象。在各种实施例中，自动化分类器使用图像的最短连线特征，以及可选地其它类型的特征，来按语义分割图像。例如，最短连线特征与图像元素间的距离相关，该距离将与图像元素间的图像内容有关的信息纳入考虑。在某些示例中，自动化分类器是纠缠的随机决策森林，其中在较早的树层次累积的数据被用于在较晚的树层次处作决策。在某些示例中，自动化分类器通过包括两个或更多个随机决策森林而具有自动上下文。在各种示例中，并行处理和查找过程被使用。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】使用最短连线特征的图像标记 图像标记涉及根据图像元素是描绘背景还是前景对象或为了其它任务来向它们 分派标记。例如，语义图像分割是这样的过程，其中图像被解析为语义上有意义的各区域。 例如，医学图像可能需要被分析以允许身体各器官被识别。在另一个示例中，街景的视频可 能需要被解析为描绘车辆、行人、道路、和其它对象的各区域。 许多现有图像标记方法在所产生的结果的精确性以及所需时间和资源方面受限。 通常，需要两个或更多个分开的处理阶段以给予合理的精确性水平但这引入了复杂性和时 间成本。 以下描述的各实施例不限于解决已知图像标记系统的缺点中的任一个或全部的 实现。 麗述 下面呈现了本专利技术的简要概述，以便向读者提供基本理解。本概述不是本公开的 穷尽概览，并且不标识本专利技术的关键/重要元素或描述本说明书的范围。其唯一的目的是 以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。 描述了图像标记，例如，以识别医学图像中的身体器官、以标记游戏玩家的深度图 像中的身体部分、以标记场景视频中的对象。在各种实施例中，自动化分类器使用图像的最 短连线（geodesic)特征，以及可选地其它类型的特征，来按语义分割图像。例如，最短连线 特征与图像元素间的距离相关，该距离将与图像元素间的图像内容有关的信息纳入考虑。 在某些示例中，自动化分类器是纠缠的随机决策森林，其中在较早的树层次累积的数据被 用于在较晚的树层次处作决策。在某些示例中，自动化分类器通过包括两个或更多个随机 决策森林而具有自动上下文。在各种示例中，并行处理和查找过程被使用。 通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。 附图简沐 根据附图阅读以下【具体实施方式】，将更好地理解本专利技术，在附图中： 图1是使用最短连线特征的图像标记引擎的示意图； 图2是头和躯干的医学图像的示意图； 图3是自动分类器的示意图； 图4是纠缠的随机决策森林的示意图； 图5是训练纠缠的随机决策森林的方法的流程图； 图6是图5中方法的一部分的更详细的流程图； 图7是使用经训练的纠缠的随机决策森林以按语义分割图像的方法的流程图； 图8是给予自动上下文的多个随机决策森林的示意图； 图9是训练图8的随机决策森林的方法的流程图； 图10是使用（经训练的）图8的随机决策森林以按语义分割图像的方法的流程 图； 图11示出可在其中实现图像标记引擎的实施例的示例性的基于计算的设备。 在各个附图中使用相同的附图标记来指代相同的部件。 详细描沐 下面结合附图提供的详细描述旨在作为本专利技术示例的描述，并不旨在表示可以构 建或使用本专利技术示例的唯一形式。本描述阐述了本专利技术示例的功能，以及用于构建和操作 本专利技术示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。 尽管此处将本专利技术示例描述和示出为在街景图像分析系统中实现，但是所述系统 是作为示例而非限制提供的。本领域的技术人员将会意识到，本专利技术示例适合在各种不同 类型的图像标记系统中应用。 图1是使用最短连线特征的图像标记引擎102的示意图。最短连线特征描述图 像元素间的距离，该距离将与图像元素间的图像内容有关的信息纳入考虑。最短连线特征 可相对于在概率上定义的图像区域来被计算，并可使用边缘图、使用图像量（诸如亮度、色 彩、纹理或其它关于图像内容的信息）的渐变（包括被标记的图像元素的渐变和/或从其 它图像标记系统获得的概率值）来计算。最短连线特征可被称为连通性特征，因为它们描 述了在图像中的不同位置处的各图像元素如何通过图像中的路径来连接。该路径可以是从 一图像元素到图像的在概率上定义的区域中的最近点的最短路径。该路径考虑图像量（诸 如亮度）的渐变。通过使用最短连线特征，图像标记引擎102产生相比先前使用常规成对 的条件随机场系统或现有随机决策森林分类器而言的可能结果更精确的结果。并行处理和 查找过程可被使用以使得能够降低操作时间。 图像标记系统102接收图像100,诸如数字照片、视频、医学图像、深度图像或任何 其它类型的二维或更高维度图像。在图1所示的示例中，图像100描绘包括房子、汽车和树 的场景。图像标记引擎102将图像100的图像元素标记为属于多个可能的类（诸如建筑 物、天空、地面、树木、机动车、自行车、人）之一。在医学图像的情况中，类可以是例如身体 器官、或诸如瘤之类的异物。 图1还示出了使用最短连线特征108的另一个图像标记系统108。这接收图像108 并输出带经标记图像元素的图像110。图像元素是图像的单元，诸如像素、体素、一组像素或 体素。该图像标记系统108可集成使用带经标记图像元素的图像110的功能性，或与之进 行通信。例如，医学图像分析系统114、视频会议系统116、增强现实系统118、自然用户界面 系统120、数字照片编辑系统122的任何一个。图像标记系统108是使用软件和/或硬件的 计算机实现的。例如，在数字照片编辑系统或视频会议系统的情况中，图像标记系统可在台 式计算机处或在移动通信设备处。图像标记系统可实现在游戏控制台或其它装备中。其可 在某些示例中被提供作为服务，其中数字图像被发送到云中的图像标记引擎，且标记结果 被发送到终端用户装备。 图2是头202和躯干的医学图像200的示意图。该图可被用于示出最短连线特征 如何对图像标记有用。该医学图像描绘具有两肺204、208和部分大动脉的躯干206。该医 学图像包括因组织类型、空气、或其它描绘的物质而具有不同亮度的图像元素。如果大动脉 中两图像元素210、212被检查，它们被发现具有类似亮度，因为它们描绘相同物质。标准分 类器可基于亮度值将这些图像元素分类为属于相同类。如果描绘空气的两图像元素被检 查，它们同样可基于类似的亮度值而被分类为属于同一类。然而，这两个图像元素可在不同 的对象（诸如肺（图像元素214)和围绕身体外的空气（图像元素216))中。标准分类器 可在此情况中给出错误分类。 如果分类器能够看着两个端点之间的像素的图像亮度，那么分类结果将改善。这 例如可通过计算最短连线路径来做到。图像元素214和216之间的最短连线路径可被描绘 为图2的那些图像元素之间的实线。该最短连线路径可跟随在亮度值（或其它量）上具有 最少改变的路线。在此示例中，最短连线路径比直线路径（由214和216之间的虚线指示） 更长。最短连线路径的长度（或与此相关的特征）可被用作在此描述的示例中的特征，以 允许图像标记正确地将图像元素214和216标识为属于不同实体。然而，不直接允许自动 分类器来以将在切实可行的时间标尺上操作的实际的方式计算并使用最短连线特征。 图3是给出图1的图像标记引擎的功能性的自动分类器300的示意图。在本文描 述的各种示例中，自动分类器包括纠缠的随机决策森林302。在其它示例中自动分类器包括 具有自动上下文的多个随机决策森林304。使用使用最短连线特征的其它类型的自动分类 器300 (诸如支持向量机或助推）也是可能的。 随机决策森林包括各自具有根节点、多个分叉节点以及多个叶节点的一个或多个 当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种按语义分割图像的计算机实现的方法，包括：在处理器处接收图像；使用自动分类器将所述图像的图像元素分类为多个可用类；所述自动分类器使用从所接收到的图像计算的最短连线特征，所述最短连线特征是与图像元素间的距离相关的特征，所述距离将与图像元素间的图像内容有关的信息纳入考虑。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：A·克里米尼斯，J·D·J·肖顿，P·孔特席德尔，P·科利，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US