实现增强现实应用的方法及设备技术

本发明专利技术公开了一种实现增强现实应用的方法，包括：收集用户上传的图片和所述图片的标签信息；根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；从所述评论信息中提取出现频率大于第一门限值的关键词；根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。本发明专利技术还公开了一种实现增强现实应用的设备。本发明专利技术实施例能够解决增强现实应用中对无标记物环境中随机对象的识别问题。

Method and apparatus for implementing augmented reality applications

The invention discloses a method for enhancing practical application, including: collecting users to upload pictures and the picture label information; the user according to the social graph and the map of interest in the Internet, social networking contacts released the pictures and the tag information to the user, the social network the picture comment contact information; extraction frequency is greater than the first threshold value of the keywords from the comment information; according to the picture label information and the keywords, and adding the picture to a picture set; according to the picture set image features all the pictures and the key generation the picture describes the object model augmented reality and augmented reality content. The invention also discloses a device for realizing augmented reality application. The embodiment of the invention can solve the recognition problem of random objects in unmarked environment in augmented reality applications.

【技术实现步骤摘要】
实现增强现实应用的方法及设备
本专利技术涉及计算机
，尤其涉及一种实现增强现实应用的方法及设备。
技术介绍
增强现实(AugmentedReality，简称AR)的概念产生于20世纪90年代。1994年，保罗·米尔格拉姆(PaulMilgram)和岸野文郎(FumioKishino)提出现实-虚拟连续统一体(Milgram′sReality-VirtualityContinuum)，他们将真实环境和虚拟环境分别作为连续系统的两端，位于它们中间的被称为“混合现实(MixedReality)”。其中靠近真实环境的是增强现实(AugmentedReality)，靠近虚拟环境的则是增强虚境(AugmentedVirtuality)。增强现实AR是一种用于帮助人们以更直观、更形象的方式获取关于现实世界中物体的相关信息的技术。增强现实应用(简称AR应用)的处理流程可以简单描述为感知、识别、匹配和渲染四个步骤，具体如下：感知，是指用户使用终端设备提供的摄像头和各种传感器感知身边真实世界中的各种对象，采集图片或图像、位置、方向、速度、温度、光照强度等等各种参数，供AR软件使用。识别，是指AR软件处理传感器所收集的数据，例如，对摄像头捕捉到的图片进行分析和处理，尝试识别出照片中的对象。AR软件将从图片中提取到的对象特征模式，与本地或者在线的模式库中保存的模式进行匹配，如果匹配到则识别成功，否则识别失败。匹配，是指识别成功后，AR软件准备好与某个模式相关的多媒体内容，如图文信息、音视频、3D模型等等。这些媒体信息可以保存在终端本地，也可以在线获得。渲染，是指AR软件将多媒体内容同摄像头捕获的真实世界影像合并起来，渲染在用户的终端显示设备上。目前，针对标志性建筑物、书籍、著名画作、条码、商标和文本等特殊类型的图片，AR应用具有很好的识别效果。然而，对于不属于上述特殊类型的图片，AR应用的识别成功率不高，其可识别对象的种类有限，应用场景是受限制的。
技术实现思路
本专利技术实施例的多个方面提供了一种实现增强现实应用的方法及设备，能够解决增强现实应用中对无标记物环境中随机对象的识别问题。第一方面，本专利技术实施例提供了一种实现增强现实应用的方法，包括：收集用户上传的图片和所述图片的标签信息；根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；从所述评论信息中提取出现频率大于第一门限值的关键词；根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。结合第一方面，在第一种实现方式下，所述标签信息包括所述图片所描述对象的地理位置信息；则所述根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集，包括：根据所述图片所描述对象的地理位置信息，将所述图片添加到图片库中，所述图片库内的图片所描述对象具有相同的地理位置信息，所述图片库内包含有至少一个图片集；根据所述关键词，将所述图片添加到所述图片库的一图片集中，所述图片集内的图片具有相同的关键词。结合第一方面或第一方面的第一种实现方式，在第二种实现方式下，所述根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容，包括：从所述图片集内所有图片中提取图像特征，根据所述图像特征确定共有图像特征；所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的图像特征；结合所述共有图像特征和所述关键词，生成所述图片所描述对象的增强现实模式，并添加到可识别模式库中；根据所述关键词，从搜索引擎或者第三方内容提供商获得所述图片所描述对象的增强现实内容；建立所述增强现实内容与所述增强现实模式的关联关系，并将所述增强现实内容添加到增强现实内容库。结合第一方面的第二种实现方式，在第三种实现方式下，在生成图片所描述对象的增强现实模式和增强现实内容之后，还包括：接收用户发送的增强现实应用服务请求消息，所述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息；根据所述待识别的图片的图像特征和/或所述标签信息，从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现实模式；若搜索到所述待识别的图片所描述对象的增强现实模式，根据所述增强现实模式从增强现实内容库中获取相关联的增强现实内容，将所述增强现实内容发送给所述用户；若搜索不到相关的增强现实模式，将所述待识别的图片标记为不可识别的图片。结合第一方面的第三种实现方式，在第四种实现方式下，在所述收集用户上传的图片和所述图片的标签信息的步骤中，所收集的图片是用户上传的被标记为不可识别的图片。第二方面，本专利技术实施例提供了一种实现增强现实应用的设备，包括：图片收集单元，用于收集用户上传的图片和所述图片的标签信息；评论获取单元，用于根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；关键词获取单元，用于从所述评论信息中提取出现频率大于第一门限值的关键词；图片归类单元，用于根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；和，增强现实处理单元，用于根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。结合第二方面，在第一种实现方式下，所述标签信息包括所述图片所描述对象的地理位置信息；所述图片归类单元包括：第一归类子单元，用于根据所述图片所描述对象的地理位置信息，将所述图片添加到图片库中，所述图片库内的图片所描述对象具有相同的地理位置信息，所述图片库内包含有至少一个图片集；和，第二归类子单元，用于根据所述关键词，将所述图片添加到所述图片库的一图片集中，所述图片集内的图片具有相同的关键词。结合第二方面或第二方面的第一种实现方式，在第二种实现方式下，所述增强现实处理单元包括：图像优选子单元，用于从所述图片集内所有图片中提取图像特征，根据所述图像特征确定共有图像特征；所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的图像特征；增强现实模式生成子单元，用于结合所述共有图像特征和所述关键词，生成所述图片所描述对象的增强现实模式，并添加到可识别模式库中；增强现实内容获取子单元，用于根据所述关键词，从搜索引擎或者第三方内容提供商获得所述图片所描述对象的增强现实内容；和，增强现实内容存储子单元，用于建立所述增强现实内容与所述增强现实模式的关联关系，并将所述增强现实内容添加到增强现实内容库。结合第二方面的第二种实现方式，在第三种实现方式下，所述设备还包括：请求接收单元，用于接收用户发送的增强现实应用服务请求消息，所述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息；增强现实模式匹配单元，用于根据所述待识别的图片的图像特征和/或所述标签信息，从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现实模式；增强现实内容提供单元，用于若搜索到所述待识别的图片所描述对象的增强现实模式，根据所述增强现实模式从增强现实内容库中获取相关联的增强现实内容，将所述增强现实内容发送给所述用户；和，图片本文档来自技高网...

【技术保护点】
一种实现增强现实应用的方法，其特征在于，包括：收集用户上传的图片和所述图片的标签信息；根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；从所述评论信息中提取出现频率大于第一门限值的关键词；根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。

【技术特征摘要】
1.一种实现增强现实应用的方法，其特征在于，包括：收集用户上传的图片和所述图片的标签信息；根据所述用户在互联网的社交图谱和兴趣图谱，发布所述图片和所述标签信息给所述用户的社交网络联系人，获得所述社交网络联系人对所述图片的评论信息；从所述评论信息中提取出现频率大于第一门限值的关键词；根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集；根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容。2.如权利要求1所述的实现增强现实应用的方法，其特征在于，所述标签信息包括所述图片所描述对象的地理位置信息；则所述根据所述图片的标签信息和所述关键词，将所述图片添加到一图片集，包括：根据所述图片所描述对象的地理位置信息，将所述图片添加到图片库中，所述图片库内的图片所描述对象具有相同的地理位置信息，所述图片库内包含有至少一个图片集；根据所述关键词，将所述图片添加到所述图片库的一图片集中，所述图片集内的图片具有相同的关键词。3.如权利要求1或2所述的实现增强现实应用的方法，其特征在于，所述根据所述图片集内所有图片的图像特征和所述关键词，生成所述图片所描述对象的增强现实模式和增强现实内容，包括：从所述图片集内所有图片中提取图像特征，根据所述图像特征确定共有图像特征；所述共有图像特征是指所述图片集内超过第一百分比的图片都具有的图像特征；结合所述共有图像特征和所述关键词，生成所述图片所描述对象的增强现实模式，并添加到可识别模式库中；根据所述关键词，从搜索引擎或者第三方内容提供商获得所述图片所描述对象的增强现实内容；建立所述增强现实内容与所述增强现实模式的关联关系，并将所述增强现实内容添加到增强现实内容库。4.如权利要求3所述的实现增强现实应用的方法，其特征在于，在生成图片所描述对象的增强现实模式和增强现实内容之后，还包括：接收用户发送的增强现实应用服务请求消息，所述增强现实应用服务请求消息包含待识别的图片和所述图片的标签信息；根据所述待识别的图片的图像特征和/或所述标签信息，从所述可识别模式库中搜索所述待识别的图片所描述对象的增强现实模式；若搜索到所述待识别的图片所描述对象的增强现实模式，根据所述增强现实模式从增强现实内容库中获取相关联的增强现实内容，将所述增强现实内容发送给所述用户；若搜索不到相关的增强现实模式，将所述待识别的图片标记为不可识别的图片。5.如权利要求4所述的实现增强现实应用的方法，其特征在于，在所述收集用户上传的图片和所述图片的标签信息的步骤中，所收集的图片是用户上传的被标记为不可识别的图片。6.一种实现增强现实应用的设备，其特征在于，包括：图片收集单元...

【专利技术属性】
技术研发人员：李国庆，
申请(专利权)人：华为终端有限公司，
类型：发明
国别省市：广东,44