用于提供增强现实的方法、服务器和便携终端技术

本公开内容提供了用于提供增强现实的方法、服务器和便携终端。增强现实提供服务器提供具有覆盖在捕获的视频上的信息的增强现实，且包括：服务器通信单元，用于与便携终端交互；和服务器控制单元，用于从便携终端接收选择的菜单信息，通过将所选菜单信息同先前储存的与位置关联的信息相比较以生成通过抽取与所选菜单信息匹配的数据来获得的第一菜单信息数据并将其发射给便携终端，其中服务器控制单元通过选择包括在与位置相关联的信息中的多个菜单当中与所选菜单信息匹配的菜单来生成第一菜单信息数据。在一个实施例中，可以获得快速的增强现实操作，因为便携终端可以接收与菜单选择对应的信息，并立即以合成到获取的图像信息上的方式输出信息。

【技术实现步骤摘要】
本申请是2010年6月29日提交的申请号为PCT/KR2010/004191且国家申请号为201080042741.6，标题为“用于提供增强现实的方法、服务器和便携终端”的专利申请的分案申请。相关申请的交叉引用如果适用，本申请要求于2009年7月30日在韩国共同递交的专利申请No.10-2009-0070254、No.10-2009-0070258、No.10-2009-0070269、No.10-2009-0070271的基于35U.S.C§119(a)的优先权，并以引用方式将其全部内容并入本申请。另外，鉴于基于韩文专利申请的相同理由，该非临时申请要求在除美国之外的国家中的优先权，并以引用方式将韩文专利申请的全部内容并入。
本公开内容的各方面涉及一种用于提供增强现实的方法、服务器和便携终端。具体而言，本公开内容涉及一种用于根据用户选择信息提供增强现实的方法、服务器和便携终端，以用于例如从终端接收用户选择的菜单信息并选择性地提供对应的特定菜单，以允许通过用户感兴趣的关于实像图像内的真实对象的附加信息来仅对选择的信息进行选择性的显示。
技术介绍
增强现实(AR)技术是这样一种技术：感测用户的近似位置，并通过诸如附近建筑物数据之类的设施信息与从运行中的摄像机获得的实像图像之间的比较来定位服务地点，以提供相关信息。具体而言，作为虚拟现实(VR)的分支，增强现实是这样一种计算机图形技术：其将虚构对象与真实世界相结合，以向观察者提供对象在真实世界中仿佛存在的虚假场景。不同于仅包括虚拟空间和对象的传统的虚拟现实，其在技术上通过在真实世界的背景上合成虚拟对象获取增加有附加信息的真实世界。当前，增强现实技术正在诸如广播、广告、展览、竞赛、主题公园、军事、教育、促销等之类的各种领域中使用，然而，其尚未完全配给到公共领域。在通信终端中使用移动AR技术的领域内的近年趋势使得将公众目光投放到这种增强现实技术。当前，基于移动AR技术的应用开始出现，并且技术的早期阶段是通过使用基于移动AR技术的标记器或基于移动AR技术的感测器来提供的。基于移动AR技术的标记器将特定的符号并入，以便被拍摄并随后连同这些符号的对应建筑物被识别，同时基于移动AR技术的感测器使用安装在终端中的GPS、数字罗盘等以推断终端的当前位置及其视线方位，在该视线方位中相关联的POI(兴趣点，point of interest)信息覆盖在被拍摄的图像上。这样的传统技术仅通过使用安装在终端中的GPS、数字罗盘等来推断终端的当前位置和其视线方位，然而没有技术被提供用于精确地识别通过终端输入的图像。技术问题根据前述内容，本公开内容在一个方面提出了一种用于提供增强现实服务的方法、服务器和便携终端，以用于精确地确定获取的图像内的真实对象并用于映射对应对象的地理信息或本地信息以提供直观的且便利的基于图像识别的增强现实。此外，本公开内容在一个方面提出了一种用于通过使用特征性的特征点来提供增强现实的方法、服务器和便携终端，以用于精确地确定获取的图像内的真实对象并用于映射其本地信息以提供更精确的增强现实。本公开内容在一个方面提出一种用于基于用户选择的信息提供增强现实的方法、服务器和便携终端，其允许通过用户感兴趣的对于实像图像内的真实对象的附加信息来实现仅对选择的信息的选择性显示。另外，本公开内容在一个方面提出了一种用于基于用户选择的区域提供增强现实的方法、服务器和便携终端，其响应于提供的关于与用户的当前位置无关的用户选择的区域的数据，而用于在终端进入相同区域时立即提供增强现实。
技术实现思路
本公开内容的一个方面提供了一种增强现实提供服务器，其用于提供具有覆盖在捕获的视频上的信息的增强现实，所述服务器包括：服务器通信单元，其用于与便携终端交互；以及服务器控制单元，其用于从所述便携终端接收选择的菜单信息，通过将所选择的菜单信息同先前已储存的与位置相关联的信息进行比较以生成通过抽取与所选择的菜单信息匹配的数据来获得的第一菜单信息数据，并将所述第一菜单信息数据发射给所述便携终端，其中所述服务器控制单元通过选择包括在与位置相关联的信息中的多个菜单当中与所选择的菜单信息匹配的菜单来生成所述第一菜单信息数据。本公开内容的另一个方面提供了一种通过与增强现实提供服务器交互而拥有实时的增强现实的便携终端，所述终端包括：显示单元，其用于显示执行中的应用；终端通信单元，其用于与所述增强现实提供服务器交互；摄像机模块，其用于获取与静止图像或视频对应的图像信息；键输入单元，其用于接收用户命令的输入；以及终端控制单元，其用于将由所述用户命令所选择的菜单信息发射给所述增强现实提供服务器，从所述增强现实提供服务器下载与所述菜单信息对应的第一菜单信息数据，并通过所述显示单元显示与所述第一菜单信息数据合并的所述图像信息。本公开内容的另一个方面提供了一种用于提供具有覆盖在捕获的视频上的信息的增强现实的方法，所述方法包括：从便携终端接收选择的菜单信息；生成通过将所选择的菜单信息同先前已储存的与位置相关联的信息进行比较以抽取而与所选择的菜单信息匹配的数据来获得的第一菜单信息数据；将包括在所述与位置相关联的信息内的实像图像信息发射给所述便携终端；并将归并与所述实像图像信息对应的经纬度坐标信息、兴趣点(POI)信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注(tagging)信息当中的与所选择的菜单信息匹配的一种或多种信息在内的所述第一菜单信息数据发射给所述便携终端。本公开内容的另一个方面提供了一种增强现实提供服务器，其用于提供具有覆盖在捕获的视频上的信息的增强现实，所述服务器包括：服务器通信单元，其用于与便携终端交互；以及服务器控制单元，其用于从所述便携终端接收选择的本地信息，生成通过将所接收的选择的本地信息同先前已储存的与位置相关联的信息进行比较以抽取与所选择的本地信息匹配的数据来获得的第一本地信息数据，并将所述第一本地信息数据发射给所述便携终端，其中所述服务器控制单元在从包含在所述与位置相关联的信息中的多个地点中指定所选择的本地信息后生成包含在指定地点中包括的多个菜单中的全部菜单在内的所述第一本地信息数据。本公开内容的另一个方面提供了一种通过与增强现实提供服务器交互来下载增强现实信息的便携终端，所述终端包括：显示单元，其用于显示执行中的应用；终端通信单元，其用于与所述增强现实提供服务器交互；摄像机模块，其用于获取与静止图像或视频对应的图像信息；键输入单元，其用于接收用户命令的输入；以及终端控制单元，其用于将由所述用户命令所选择的本地信息发射给所述增强现实提供服务器，从所述增强现实提供服务器下载与所述本地信息对应的第一本地信息数据，并通过所述显示单元显示与所述第一本地信息数据合并的所述图像信息。本公开内容的另一个方面提供了一种用于通过交互式便携终端提供增强现实的方法，所述方法包括：从便携终端接收选择的本地信息；生成通过将接收的选择的本地信息同先前已储存的与位置相关联的信息进行比较以抽取与所接收的选择的本地信息匹配的数据来获得的第一本地信息数据；将来自所述与位置相关联的信息中的与所选择的本地信息对应的地点的实像图像信息发射给所述便携终端；并将归并与同所选择的本地信息对应的所述地点的所述实本文档来自技高网...

【技术保护点】
一种用于提供具有覆盖在捕获的视频上的信息的增强现实的增强现实提供服务器，所述服务器包括：服务器通信单元，其用于与便携终端交互；以及服务器控制单元，其用于从所述便携终端接收选择的菜单信息，通过将所选择的菜单信息同先前已储存的与位置相关联的信息进行比较以生成通过抽取与所选择的菜单信息匹配的数据来获得的第一菜单信息数据，并将所生成的第一菜单信息数据发射给所述便携终端，其中所述服务器控制单元通过选择包括在所述与位置相关联的信息中的多个菜单当中与所选择的菜单信息匹配的菜单来生成所述第一菜单信息数据。

【技术特征摘要】
2009.07.30 KR 10-2009-0070254;2009.07.30 KR 10-2001.一种用于提供具有覆盖在捕获的视频上的信息的增强现实的增强现实提供服务器，所述服务器包括：服务器通信单元，其用于与便携终端交互；以及服务器控制单元，其用于从所述便携终端接收选择的菜单信息，通过将所选择的菜单信息同先前已储存的与位置相关联的信息进行比较以生成通过抽取与所选择的菜单信息匹配的数据来获得的第一菜单信息数据，并将所生成的第一菜单信息数据发射给所述便携终端，其中所述服务器控制单元通过选择包括在所述与位置相关联的信息中的多个菜单当中与所选择的菜单信息匹配的菜单来生成所述第一菜单信息数据。2.根据权利要求1所述的增强现实提供服务器，其中所述服务器控制单元将包括在所述与位置相关联的信息内的实像图像信息发射给所述便携终端。3.根据权利要求2所述的增强现实提供服务器，其中所述服务器控制单元将通过抽取在同所述实像图像信息对应的经纬度坐标信息、兴趣点(POI)信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的同所选择的菜单信息匹配的一种或多种信息来获得的所述第一菜单信息发射给所述便携终端。4.根据权利要求1所述的增强现实提供服务器，其中所述服务器控制单元通过使用从所述便携终端接收的位置信息来计算所述便携终端的当前位置信息，通过抽取与根据所述当前位置信息的预设半径内的范围相关的所述与位置相关联的信息当中的与所述当前位置信息和所选择的菜单信息匹配的数据来生成第三菜单信息数据，并将所述第三菜单信息数据发送给所述便携终端。5.根据权利要求1所述的增强现实提供服务器，其中所述服务器控制单元基于与所述便携终端同步的基站的位置信息计算所述便携终端的当前位置信息，通过抽取与根据所述当前位置信息的预设半径内的范围相关的所述与位置相关联的信息当中的与所述当前位置信息和所选择的菜单信息匹配的数据来生成第四菜单信息数据，并将所述第四菜单信息数据发送给所述便携终端。6.根据权利要求1所述的增强现实提供服务器，其中所述服务器控制单元将从所述便携终端接收的特征点与预存的与位置相关联的信息进行比较以抽取与所述特征点匹配的本地信息数据，并进一步将所述本地信息数据发射给所述便携终端。7.根据权利要求1所述的增强现实提供服务器，其中所述服务器控制单元从自所述便携终端接收的图像信息中抽取特征点，通过将抽取的特征点同所述与位置相关联的信息进行比较以抽取与所抽取的特征点匹配的本地信息数据，并进一步将所述本地信息数据发射给所述便携终端，以及所述便携终端通过仅将所捕获的视频的一部分作为所述图像信息进行发送来将所述图像信息发射给所述服务器通信单元。8.根据权利要求7所述的增强现实提供服务器，其中所述图像信息是通过抽取选择的包括初始的帧1或帧2、关键帧以及在偏离于预设条件的特定事件发生时的视频帧在内的一个或多个帧而获得的信息。9.根据权利要求7所述的增强现实提供服务器，其中所述服务器控制单元基于从包含在所述图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取所述特征点。10.根据权利要求6或7所述的增强现实提供服务器，其中所述服务器控制单元将包含包括名字信息、电话号码信息、POI信息、广告信息、促销信息、因特网链路信息以及标注信息在内的一种或多种信息在内的所述本地信息数据发射给所述便携终端。11.根据权利要求6或7所述的增强现实提供服务器，进一步包括：服务器储存单元，其用于储存所述与位置相关联的信息，所述与位置相关联的信息包括包含实像图像信息、与所述实像图像信息对应的经纬度坐标信息、兴趣点(POI)信息以及广告信息在内的一种或多种信息。12.根据权利要求6或7所述的增强现实提供服务器，其中所述服务器控制单元通过使用从所述便携终端接收的位置信息来计算所述便携终端的当前位置信息，并基于所计算的当前位置信息抽取所述本地信息数据。13.根据权利要求6或7所述的增强现实提供服务器，其中所述服务器控制单元基于与所述便携终端同步的基站的位置信息抽取所述本地信息数据。14.一种通过与增强现实提供服务器交互而拥有增强现实的便携终端，所述终端包括：显示单元，其用于显示执行中的应用；终端通信单元，其用于与所述增强现实提供服务器交互；摄像机模块，其用于获取与静止图像或视频对应的图像信息；键输入单元，其用于接收用户命令的输入；以及终端控制单元，其用于将由所述用户命令所选择的菜单信息发射给所述增强现实提供服务器，从所述增强现实提供服务器下载与所述菜单信息对应的第一菜单信息数据，并通过所述显示单元显示与所述第一菜单信息数据合并的所述图像信息。15.根据权利要求14所述的便携终端，其中所述终端控制单元将所获取的图像信息与同去往所述便携终端的实像图像信息对应的经纬度坐标信息、兴趣点(POI)信息、广告信息、名字信息、电话号码信息、促销信息、因特网链路信息以及标注信息当中的同所选择的菜单信息匹配的一种或多种信息进行合并。16.根据权利要求14所述的便携终端，其中所述终端控制单元从所获取的图像信息中抽取特征点，生成通过将抽取的特征点同所下载的第一菜单信息数据进行比较以抽取与所抽取的特征点匹配的数据来获得的第二菜单信息数据，并将生成的第二菜单信息数据与所获取的图像信息进行合并。17.根据权利要求16所述的便携终端，其中所述终端控制单元基于从包含在所获取的图像信息中的就特定对象而论的颜色信息、边缘信息、轮廓信息、纹理信息、文本信息以及取决于指定角度的等高线信息中选择的一种或多种信息抽取所述特征点。18.根据权利要求16所述的便携终端，进一步包括：GPS模块，其用于基于包括在无线电波内的导航数据生成位置信息，其中所述终端控制单元将所述位置信息发射给所述增强现实提供服务器，从所述增强现实提供服务器下载与所述菜单信息和所述位置信息对应的第三菜单信息数据，并将下载的第三菜单信息数据与所述图像信息进行合并。19.根据权利要求14所述的便携终端...

【专利技术属性】
技术研发人员：金南勋，任廷彬，
申请(专利权)人：SK普兰尼特有限公司，
类型：发明
国别省市：韩国;KR