一种用于自动标注图像和视频的系统将移动设备指向感兴趣的对象，例如建筑物或风景，以供设备将场景的图像及对象的标注一起显示。标注可包括名称、历史信息以及到图像、视频和音频文件的数据库的链接。可使用不同的技术确定标注的位置放置，并且通过使用多种技术，可以使定位更为精确且可靠。可根据所使用技术的精度来调整标注信息的细节级别。所需的计算可分布在标注系统中，包括移动设备、服务器和互连网络，允许加标注图像适应不同复杂度级别的移动设备。可考虑标注精度和通信成本、延迟和／或功耗之间的折衷。标注数据库可以以自组织的方式更新。可将ｗｅｂ上提供的公开信息转换为标注数据。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于在便携式显示设备，特别是无线通信网络中的此类设备上对图像和视频进行标注(annotate)的方法。
技术介绍
手持便携式设备(例如智能电话、掌上电脑、便携式媒体播放器、个人数字助理 (PDA)等)的快速发展导致提出包括涉及图像处理的新颖特征和应用。在这样的应用中，即在图像标注或字幕中，用户将便携式设备指向场景(例如阿尔卑斯山风景、建筑物、或博物馆中的绘画)，并且显示器将图像和关于场景的叠加信息一起显示。此类信息可以包括例如山和住所的名称、建筑物的历史信息以及诸如广告之类的商业信息(例如餐馆菜单)。标注信息可通过无线通信网络中的服务器提供给便携式设备。此处将具有服务器和便携式设备的通信网络的相应功能配置指定为标注系统。在标注系统中，特别关注标注位置的精度和鲁棒性。精度可通过同时使用不同的技术(例如基于传感器和基于图像的技术)得以加强，并且通过选择用于确定标注位置的技术来加强鲁棒性。一旦移动设备获取图像，可使用不同的技术确定图像中标注的放置。使用不同技术来标注图像的方法和系统的示例特别在US6208353和EP1246080中有所描述。EP1622081描述了一种视频对象识别设备，用于识别视频图像中包含的对象并标注该对象。候选搜索装置读取数据库中存储的地理候选对象的位置信息和对象识别设备的位置信息。随后，该设备搜索可能已经成像的地理对象，并执行那些候选对象与图像之间的视觉比较。存在概率计算装置计算候选对象的图像被捕获的概率，并且相似性计算装置计算候选对象和视频图像的视觉特征之间的相似性。随后，使用存在概率和相似性来确定对象的图像是否被捕获。该方法可用于确定特定对象是否应该被标注，但不能指示显著点 (salient point)的最可能位置或者图像中应该添加标注的位置。W005114476描述了一种基于移动图像的信息获取系统，包括移动电话和远程识别服务器。在该系统中，利用移动电话的相机(camera)所拍摄的图像被传输到执行识别过程的远程服务器。这引起对用于传输图像的高带宽需求，并引起在服务器中计算标注并将它们传回移动电话的延迟。再有，该系统给出相似性得分，其与预定义阈值进行比较以确定在图像中对象是否可见，但并不指示该对象在图像中最可能的位置。
技术实现思路
本专利技术的目的是更好地使用在移动标注设备中可用的不同传感器和方法以确定设备和所成像对象的位置和定向。另一目的是改进图像中标注的放置，特别是当可能考虑不同的位置时，或当图像中的最优位置含糊不清时。优选的方法确定2D或3D概率分布，此处称为概率模板(probability mask)，其表示在图像的每个点处表示所指定对象的概率。该概率依赖于用于确定图像中显著对象位置的方法。例如，计算参考候选对象和使用计算机视觉获得的图像特征之间的相似性的基于图像的方法，在正常照明条件下，其可以以很高的精度确定对象的位置。但是当照明太低时，或当许多外观类似的对象出现在同一场景中时，该方法可产生若干候选，即表示候选对象的概率非零的若干区域。其他情况中，计算机视觉方法不能够识别图像中存在的候选对象且产生零或明显统一的概率分布。概率模板也可基于定位传感器所递送的信息而生成。例如，如果在标注设备中可获得诸如GPS之类的定位系统，其与罗盘和倾斜仪一同在三个轴上，则可以以高精度计算设备的位置和定向，且概率模板的高概率值被分布到特定图像点周围。根据位置和定向角的精度来确定非零区域的大小。不同的便携式设备可包括不同组传感器，产生不同形状和大小的概率模板。例如，如果标 注设备具有GPS和倾斜仪，但没有罗盘，则只能确定设备的偏航角和侧倾角，而不能确定方向。这种情况将对应于带状的或3D中盘状的概率模板的非零区域。标注设备中可以具有或附加的其他传感器包括多轴加速仪和/或陀螺仪，从中可以确定设备的过去轨迹，和垂直方向。其他传感器也可被附加到对象以标注并发射由图像采集设备接收的信号。这些传感器可包括RFID标签、信标(beacon)、或无线电发射器(例如蓝牙，WIFI或Zigbee发送器)。标注设备可确定传感器的方向和可能地到该传感器的距离(基于例如飞行时间和/ 或幅度测量)，并且使用无线电信号中包括的信息来识别对象。这种情况中，概率模板的非零区域可以是圆，分别地具有相对大直径的球。进一步使用基于图像的方法和/或传感器，移动设备的位置和定向可通过使用对于通信网络的站或组件而言可用的信息来确定。例如，标注设备的位置可通过三角测量，使用不同位置的网络基站发送或接收的信号的飞行时间和/或幅度来计算。另一种可能性是同时确定多个移动设备的位置和定向。某些设备可能具有不止一种或另一类型的传感器，用于增强精度确定，这还有利于网络中的其他标注设备。例如，一个设备具有GPS并且在没有装备GPS的第二设备附近。如果这两个设备能够通信(例如通过近距离无线接口)，则可使用测距技术确定它们之间的距离，并且第二设备的位置的估计可提供给第一设备。不考虑用于确定位置和定向的技术，结果将产生显著对象到图像平面上的映射， 具有概率模板所表示的精度。独立于每项技术的精度，一些技术比其他技术更为可靠。例如，基于传感器的技术通常比基于图像的技术更可靠，后者可产生错误肯定(false positive)或错误否定(false negative) 0特定技术的可靠性可以是先验已知的，并存储为算法所获取的预定义值。或者其可能依赖于图像和/或条件，且由不同技术使用的相应传感器或算法产生。例如，基于图像的方法的可靠性可作为计算机视觉算法的输出而产生，并依赖于图像采集条件。另一示例中，基于卫星位置传感器的可靠性可由GPS芯片和算法输出，并尤其依赖于接收到的GPS 信号的数目和卫星的位置。进一步，与图像的不同部分和不同候选对象相关联的可靠性可以是不同的；例如， 图像可包括照明良好的部分(对此计算机视觉算法可产生可靠的结果)，和欠曝光或过曝光或未被良好聚焦的部分(对此该方法的可靠性就更成问题)。而且，与不那么独特的对象相比，某些对象更容易以高可靠性识别。另一示例中，基于待标注对象和标注系统之间的无线电路径的方法的可靠性尤其可能依赖于距离、障碍和反射。因此，可以计算可靠性分布函数，其指示在图像的每个点处的测量的可靠性。此外，定位的精度依赖于不同的测量，并且可能依赖于每个候选对象以及图像的每个点。例如，与具有模糊边缘的对象相比，可以更容易地以高精度相对于参考图像定位具有清晰边缘的候选对象。类似地，GPS定位系统的精度一点也不恒定。因此，精度(或平均位置误差)可能与每个图像、每个候选对象和/或图像的每个点相关联。通过结合不同技术产生的估计，考虑到概率模板以及可能地可靠性模板，鲁棒性和精度可被最大化。一种提高鲁棒性的方式是计算不同技术的概率模板之间的交集。如果交集为空，或如果两项技术产生的高概率区域没有重叠，那么这两项技术是不一致的。这种情况下，较不可靠的技术(例如基于图像的技术)所产生的结果应该被丢弃或者至少给予较低的权重。一般地说，可以为不同的技术定义可靠性分级。如果技术的结果不一致，即概率模板的交集为空，则最不可靠的技术(或对于其他技术指示的高概率区域而言较不可靠)应该被丢弃，并且该过程对该组其余技术反复应用。一旦确定一组一致的技术，显本文档来自技高网...
【技术保护点】
１．一种计算机化的方法，用于将标注放置在场景的图像上，包括以下步骤：（ａ）获得场景的原始图像；（ｂ）获得对在图像中表示的场景的特征的标注；（ｃ）对图像中多个位置中的每个位置，确定将标注放置于该位置的可能性；和（ｄ）通过将标注包括在可能性更大的位置处，来形成加标注图像。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：L·斯拜滋，
申请(专利权)人：瑞士联邦理工大学，洛桑EPFL，
类型：发明
国别省市：CH
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。