根据图像和位置识别图像环境制造技术

一种用于根据图像以及与所述图像相关联的位置信息来识别图像的环境的方法，包括：获取所述图像和与所述图像相关联的位置信息；使用所述位置信息来获取与所述位置信息相关的航拍图像；根据所获取的航拍图像来识别所述图像的环境；以及将所述图像的环境与所述图像相关联地存储，以供后续使用。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及通过使用图像内容和与拍摄该图像的地点相关联的位置信息来识别 图像的环境。
技术介绍
使用计算机来分析和辨别数字媒体资产的内容的含义(公知为语义理解)是用 于实现利用这些数字资产来创建增强的用户体验的重要方面(field)。数字图像领域中的 一种语义理解类型是导致识别用户已经捕获的事件的类型的分析，所述事件比如是生日聚 会、棒球赛、音乐会、和其中捕获图像的许多其它类型的事件。通常，通过使用概率图模型 来允许计算出新近分析的图像具有特定事件类型的概率，从而识别比如上述事件之类的事 件，其中使用一组训练图像来学习所述概率图模型。在L-J. Li和L. Fei-Fei在2007年的 ICCV学 艮中发表的论文"What,where, and who ？ Classifying event byscene and object recognition”中找到这种类型的模型的一个示例。需要在当前经由比如贝叶斯网络之类的经典方案可获得的对事件类型的识别之 外，改进对事件类型的识别。通常，与地理相关的命名空间数据库中的条目足够专门用来帮 助对事件进行分类。需要获得地点的附加语义知识，以帮助对在该地点处捕获的图像进行 分类。
技术实现思路
根据本专利技术，提供了一种用于根据图像以及与所述图像相关联的位置信息来识别 图像的环境的方法，包括(a)获取所述图像和与所述图像相关联的位置信息；(b)使用所述位置信息来获取与所述位置信息相关的航拍图像(aerialimage)；(c)根据所获取的航拍图像来识别所述图像的环境；以及(d)将所述图像的环境与所述图像相关联地存储，以供后续使用。本专利技术的特征和优点包括使用与图像的位置信息相关联的参考图像来实现对图 像的环境类型的更好理解，并且因此便于理解事件或活动的可能特性。附图说明图1是可以使用本专利技术的系统的图示；图2是实践本专利技术的实施例的流程图；图3是示出示例环境类型的本体结构的表格；和图4a和4b描绘了图像和它们的对应环境航拍图像的示例。具体实施例方式在图1中，所示出的系统10具有实现本专利技术所必需的元件，包括计算设备12、索引服务器14、航拍图像服务器16和通信网络20。计算设备12可以是用于存储图像的个人计 算机，其中图像将被理解为包括静止图像、和运动或视频图像两者。计算设备12与各种类 型的设备通信，比如，数码相机或蜂窝电话相机(未示出)，以用于存储由这些设备捕获的 图像。这些被捕获的图像还可以包括位置信息，比如由捕获设备提供的全球定位系统(GPS) 数据。计算设备12还可以通过通信网络20与互联网服务通信，所述互联网服务使用所捕 获的不包括位置信息的图像，并且允许用户将位置信息添加到图像中。在任一情况下，具有 位置信息的图像在本领域中是广为公知的。索引服务器14是在通信网络20上可以获得的另一计算机处理设备，用于执行形 式为计算机指令的算法，所述算法对图像的内容进行分析以获取比如事件类型之类的语义 信息。将理解的是，经由索引服务器14来在系统10中提供这种功能作为网络服务器，并不 是对本专利技术的限制。计算设备12还可以被配置为执行负责分析被提供来用于索引的图像 的算法。航拍图像服务器16经由通信网络20与其他计算设备通信，并且一旦请求，航拍 图像服务器16提供与所提供的位置信息相关联的航拍图像。在航拍图像服务器16上存 储的航拍图像通过各种各样的载人飞行器或无人飞行器来捕获，所述载人飞行器包括飞 机，所述无人飞行器包括卫星。航拍图像可以利用直接向下看或与特定高线(altitude) 垂直的相机捕获，或者航拍图像可以倾斜地捕获，以保留所捕获的图像的第三维度信息。 PictometryInternational公司是一家提供倾斜捕获的与位置信息相关的航拍图像的公 司。广为公知的互联网服务提供与所提供的位置信息相关的卫星航拍图像，所提供的位置 信息比如是物理地址、GPS数据、或其他形式的位置信息，比如具有已知位置的企业的名称。 航拍图像可以具有与这些信息相关的元数据，所述元数据可以与航拍图像相关联地存储在 航拍图像服务器中。与航拍图像相关联的元数据可以包括比如位于由所述图像表示的物理 区域内的企业的名称、古迹、和停车场之类的信息。一旦请求，可以一起提供这些元数据和 航拍图像。航拍图像还可以以各种分辨率提供，所述分辨率表示从特定高线进行的捕获或 模拟捕获。高分辨率航拍图像示出了更多的细节，并且通常获得的成本更昂贵。高分辨率 航拍图像是要求更高的带宽并因此要求更多的传输时间的较大文件。在图2中，所例示的过程图示出了实践本专利技术所必需的步骤序列。在步骤22中，获 取包括相关位置信息的图像，所述相关位置信息比如是GPS数据。所述位置信息优选以元 数据的形式与图像相关联，但是可以仅仅与图像相关联地提供，而不会背离本专利技术的范围。 所述图像可以由计算设备12从它的内部存储设备提供，或者从可由计算设备12访问的任 何存储设备或系统(比如，本地网络存储设备或在线图像存储站点)提供。在步骤24中， 通过使用在步骤22中提供的位置信息，计算设备12将所述位置信息提供给航拍图像服务 器14，以获取与和所述图像相关联的位置信息相关的航拍图像。在步骤26中，通过使用在步骤24中获取的航拍图像，计算设备12按照下述 方式使用分类器来识别图像的环境。近来，许多人已经揭示了将图像表示为无序图像 碎片(image patch)集或“视觉字包”的功效(参见2005年的CVPR论文集中的F. -F. Li 禾口 P. Perona 的"A Bayesian hierarchical model forlearning natural scene categories”，以及 2006 年的 CVPR 论文集中的 S. Lazebnik, C. Schmid 和 J. Ponce 的 "Beyond bags of features :spatial pyramidmatching for recognizing natural scenecategories”)。为每个训练图像计算合适的描述(例如，所谓的SIFT描述符)，这些描述 被进一步簇集到仓(bin)中，以构建由“视觉字”构成的“视觉词汇”。关注点在于将SIFT 描述符簇集为“视觉字”，然后针对它们在图像中的出现频率来表示图像。广为公知的K-平 均算法和余弦距离测量法一起用于簇集这些描述符。尽管这种表示法丢弃了与这些碎片的空间布置相关的信息，但是在分类或识别任 务时采用这种类型的表示法的系统的性能令人吃惊。特别地，以固定的网格来对图像进行 划分，并且将图像表示为无序图像碎片集。为这些图像碎片计算合适的描述，并且将这些描 述簇集到仓中，以形成“视觉词汇”。在本专利技术中，采用相同的术语，并且将该术语扩展到考 虑颜色特征和纹理特征来表征每个图像网格。为了提取颜色特征，图像网格被进一步划分为具有相等大小的2X2子网格。然 后，对于每个子网格，可以提取平均R、G和B值，以形成一个4X3 = 12特征向量，该12特 征向量表征4个子网格的颜色信息。为了提取纹理特征，可以在每个子网格内应用具有8个 方位仓(orientation bin)的直方图的2X2阵列。因此，可本文档来自技高网...

【技术保护点】
一种用于根据图像以及与所述图像相关联的位置信息来识别图像的环境的方法，包括：（ａ）获取所述图像和与所述图像相关联的位置信息；（ｂ）使用所述位置信息来获取与所述位置信息相关的航拍图像；（ｃ）根据所获取的航拍图像来识别所述图像的环境；以及（ｄ）将所述图像的环境与所述图像相关联地存储，以供后续使用。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：W郝，J罗，DF麦金泰尔，
申请(专利权)人：伊斯曼柯达公司，
类型：发明
国别省市：US[美国]