图像处理的方法和装置制造方法及图纸

技术编号:14846274 阅读:86 留言:0更新日期:2017-03-17 12:41
本发明专利技术实施例提供了一种图像处理的方法和装置,能够改善用户体验。该方法包括:增强现实设备在第一时段,通过该摄像头对当前物体进行拍摄,并基于所拍摄到的该当前物体的第一图像,获取该当前物体的特征数据;当该摄像头停止对该当前物体的拍摄时,该增强现实设备向该服务器发送丢失指令,该丢失指令携带该当前物体的特征数据;该增强现实设备接收该服务器发送的第一三维模型;该增强现实设备获取用户的输入信息,该输入信息用于指示虚拟图像以及该虚拟图像与该第一三维模型的相对位置;该增强现实设备根据该输入信息,对该虚拟图像和该第一三维模型进行叠加显示。

【技术实现步骤摘要】

本专利技术涉及图像领域,并且更具体地,涉及图像处理的方法和装置
技术介绍
增强现实(AugmentedReality,AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。用户通过增强现实设备,可以将虚拟的信息叠加到真实世界,使得真实世界和虚拟的信息在同一个画面或空间同时存在,从而达到超越现实的感官体验。目前,基于增强现实技术的增强现实设备主要有手持式和头戴式两种。如图1所示,使用手持式增强现实设备时,用户需要长时间对准目标物体进行交互操作,易于疲劳,用户体验不好。又如图2所示,使用头戴式增强现实设备时,用户的身体朝向与视野必须是面向目标物体的,用户的行为受到约束,不能自由行动,用户体验也比较差。
技术实现思路
本专利技术实施例提供一种处理图像的方法和装置,能够改善用户体验。第一方面,提供了一种图像处理的方法,应用于包括增强现实设备和服务器的系统中,该增强现实设备包括摄像头,该服务器中存储有三维模型数据库和映射信息,该三维模型数据库中预存有与多个物体一一对应的多个三维模型,该映射信息用于指示该多个三维模型与该多个物体的特征数据之间的映射关系,该方法包括:该增强现实设备在第一时段,通过该摄像头对当前物体进行拍摄,并基于所拍摄到的该当前物体的第一图像,获取该当前物体的特征数据;当该摄像头停止对该当前物体的拍摄时,该增强现实设备向该服务器发送丢失指令,该丢失指令携带该当前物体的特征数据;该增强现实设备接收该服务器发送的第一三维模型,该第一三维模型是该服务器根据该当前物体的特征数据和该映射信息从该三维模型数据库中确定的;该增强现实设备获取用户的输入信息,该输入信息用于指示虚拟图像以及该虚拟图像与该第一三维模型的相对位置;该增强现实设备根据该输入信息,对该虚拟图像和该第一三维模型进行叠加显示。结合第一方面,在第一方面的第一种实现方式中,如果该三维模型图像数据库中未保存该第一三维模型图像,则该方法还包括:该增强现实设备接收该服务器发送的重建指示信息,该重建指示信息是该服务器在确定该三维模型数据库中未保存该第一三维模型后发送的;该增强现实设备根据该重建指示信息,在第二时段,通过该摄像头对该当前物体进行拍摄,以获取该当前物体的第二图像,其中,该第二图像包括多个图像,该多个图像的拍摄角度相异;该增强现实设备根据该第二图像,生成该第一三维模型;该增强现实设备将该第一三维模型发送给该服务器。结合第一方面,在第一方面的第二种实现方式中,该系统还包括数据传感器,该数据传感器预先配置在该当前物体上,该方法还包括:该增强现实设备接收该服务器发送的该当前物体的状态数据,该当前物体的状态数据是该服务器从该数据传感器获取的;该增强现实设备对该虚拟图像和该第一三维模型进行叠加显示,包括:该增强现实设备该增强现实设备对该当前物体的状态数据、该虚拟图像和该第一三维模型进行叠加显示。结合第一方面,在第一方面的第三种实现方式中,该增强现实设备获取用户的输入信息之后,该方法还包括:该增强现实设备在第三时段,通过该摄像头对当前物体进行拍摄,以获取该当前物体的第三图像;该增强现实设备根据叠加显示后的该虚拟图像与该第一三维模型的相对位置,将该虚拟图像叠加显示在该第三图像上。第二方面,提供了一种处理图像的方法,应用于包括增强现实设备和服务器的系统中,该服务器中存储有三维模型数据库和映射信息,该三维模型数据库中预存有与多个物体一一对应的多个三维模型,该映射信息用于指示该多个三维模型与该多个物体的特征数据之间的映射关系,该方法包括:该服务器接收该增强现实设备发送的丢失指令,该丢失指令携带该当前物体的特征数据,该当前物体的特征数据是该增强现实设备在第一时段,通过该摄像头对该当前物体进行拍摄,并基于所拍摄到的该当前物体的第一图像获取的;该服务器根据该映射信息,从该三维模型数据库中确定与该当前物体的特征数据对应的第一三维模型;该服务器将该第一三维模型发送给该增强现实设备,以便于该增强现实设备根据用户指示的虚拟图像与该第一三维模型的相对位置,对该虚拟图像和该第一三维模型进行叠加显示。结合第二方面,在第二方面的第一种实现方式中,如果该三维模型图像数据库中未保存该第一三维模型,则该方法还包括:该服务器根据该映射信息,确定该三维模型数据库中未保存该第一三维模型;该服务器向该增强现实设备发送重建指示信息,该重建指示信息用于指示该增强现实设备重建该第一三维模型;该服务器接收该增强现实设备发送的该第一三维模型,该第一三维模型是该增强现实设备根据该重建指示信息,在第二时段通过该摄像头对该当前物体进行拍摄,并基于所拍摄到的该当前物体的第二图像生成的,其中,该第二图像包括多个图像,该多个图像的拍摄角度相异;该服务器保存该第一三维模型图像。结合第二方面,在第二方面的第二种实现方式中,该系统还包括数据传感器,该数据传感器预先配置在该当前物体上,该方法还包括:该服务器从该数据传感器获取该当前物体的状态数据;该服务器将该当前物体的状态数据发送给该增强现实设备,以便于该增强现实设备对该当前物体的状态数据、该虚拟图像和该第一三维模型进行叠加显示。结合第二方面,在第二方面的第三种实现方式中,该服务器上存储有物体标识数据库,该物体标识数据库中存储有多个物体标识,该多个物体标识与该多个三维模型之间一一对应,该多个物体的特征数据与该多个物体标识之间一一对应,该服务器根据该映射信息,从该三维模型数据库中确定与该当前物体的特征数据对应的该第一三维模型图像,包括:该服务器根据特征数据与物体标识之间的对应关系,确定与该当前物体的特征数据对应的第一物体标识;该服务器根据物体标识与三维模型之间的对应关系,确定与该第一物体标识对应的该第一三维模型。第三方面,提供了一种图像处理的装置,该装置包括存储器和与该存储器连接的处理器,该存储器用于存储指令,该处理器用于执行该存储器的指令,当该处理器执行该存储器中存储的指令时,该处理器具体用于执行第一方面中的方法。第四方面,提供了一种图像处理的装置,该装置包括存储器和与该存储器连接的处理器,该存储器用于存储指令,该处理器用于执行该存储器的指令,当该处理器执行该存储器中存储的指令时,该处理器具体用于执行第二方面中的方法。根据本专利技术实施例的图像处理的方法和装置,通过在系统的服务器上预先存储多个物体的三维模型和三维模型与特征数据之间的映射信息,使得用户在对当前本文档来自技高网...

【技术保护点】
一种图像处理的方法,其特征在于,应用于包括增强现实设备和服务器的系统中,所述增强现实设备包括摄像头,所述服务器中存储有三维模型数据库和映射信息,所述三维模型数据库中预存有与多个物体一一对应的多个三维模型,所述映射信息用于指示所述多个三维模型与所述多个物体的特征数据之间的映射关系,所述方法包括:所述增强现实设备在第一时段,通过所述摄像头对当前物体进行拍摄,并基于所拍摄到的所述当前物体的第一图像,获取所述当前物体的特征数据;当所述摄像头停止对所述当前物体的拍摄时,所述增强现实设备向所述服务器发送丢失指令,所述丢失指令携带所述当前物体的特征数据;所述增强现实设备接收所述服务器发送的与所述当前物体的特征数据对应的第一三维模型,所述第一三维模型是所述服务器根据所述当前物体的特征数据和所述映射信息从所述三维模型数据库中确定的;所述增强现实设备获取用户的输入信息,所述输入信息用于指示虚拟图像以及所述虚拟图像与所述第一三维模型的相对位置;所述增强现实设备根据所述输入信息,对所述虚拟图像和所述第一三维模型进行叠加显示。

【技术特征摘要】
1.一种图像处理的方法,其特征在于,应用于包括增强现实设备和服
务器的系统中,所述增强现实设备包括摄像头,所述服务器中存储有三维模
型数据库和映射信息,所述三维模型数据库中预存有与多个物体一一对应的
多个三维模型,所述映射信息用于指示所述多个三维模型与所述多个物体的
特征数据之间的映射关系,所述方法包括:
所述增强现实设备在第一时段,通过所述摄像头对当前物体进行拍摄,
并基于所拍摄到的所述当前物体的第一图像,获取所述当前物体的特征数
据;
当所述摄像头停止对所述当前物体的拍摄时,所述增强现实设备向所述
服务器发送丢失指令,所述丢失指令携带所述当前物体的特征数据;
所述增强现实设备接收所述服务器发送的与所述当前物体的特征数据
对应的第一三维模型,所述第一三维模型是所述服务器根据所述当前物体的
特征数据和所述映射信息从所述三维模型数据库中确定的;
所述增强现实设备获取用户的输入信息,所述输入信息用于指示虚拟图
像以及所述虚拟图像与所述第一三维模型的相对位置;
所述增强现实设备根据所述输入信息,对所述虚拟图像和所述第一三维
模型进行叠加显示。
2.根据权利要求1所述的方法,其特征在于,如果所述三维模型图像
数据库中未保存所述第一三维模型图像,
则所述方法还包括:
所述增强现实设备接收所述服务器发送的重建指示信息,所述重建指示
信息是所述服务器在确定所述三维模型数据库中未保存所述第一三维模型
后发送的;
所述增强现实设备根据所述重建指示信息,在第二时段,通过所述摄像
头对所述当前物体进行拍摄,以获取所述当前物体的第二图像,其中,所述
第二图像包括多个图像,所述多个图像的拍摄角度相异;
所述增强现实设备根据所述第二图像,生成所述第一三维模型;
所述增强现实设备将所述第一三维模型发送给所述服务器。
3.根据权利要求1或2所述的方法,其特征在于,所述系统还包括数

\t据传感器,所述数据传感器预先配置在所述当前物体上,
所述方法还包括:
所述增强现实设备接收所述服务器发送的所述当前物体的状态数据,所
述当前物体的状态数据是所述服务器从所述数据传感器获取的;
所述增强现实设备对所述虚拟图像和所述第一三维模型进行叠加显示,
包括:
所述增强现实设备对所述当前物体的状态数据、所述虚拟图像和所述第
一三维模型进行叠加显示。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述增强
现实设备获取用户的输入信息之后,所述方法还包括:
所述增强现实设备在第三时段,通过所述摄像头对当前物体进行拍摄,
以获取所述当前物体的第三图像;
所述增强现实设备根据叠加显示后的所述虚拟图像与所述第一三维模
型的相对位置,将所述虚拟图像叠加显示在所述第三图像上。
5.一种处理图像的方法,其特征在于,应用于包括增强现实设备和服
务器的系统中,所述增强现实设备包括摄像头,所述服务器中存储有三维模
型数据库和映射信息,所述三维模型数据库中预存有与多个物体一一对应的
多个三维模型,所述映射信息用于指示所述多个三维模型与所述多个物体的
特征数据之间的映射关系,所述方法包括:
所述服务器接收所述增强现实设备发送的丢失指令,所述丢失指令携带
所述当前物体的特征数据,所述当前物体的特征数据是所述增强现实设备在
第一时段,通过所述摄像头对所述当前物体进行拍摄,并基于所拍摄到的所
述当前物体的第一图像获取的;
所述服务器根据所述映射信息,从所述三维模型数据库中确定与所述当
前物体的特征数据对应的第一三维模型;
所述服务器将所述第一三维模型发送给所述增强现实设备,以便于所述
增强现实设备根据用户指示的虚拟图像与所述第一三维模型的相对位置,对
所述虚拟图像和所述第一三维模型进行叠加显示。
6.根据权利要求5所述的方法,其特征在于,如果所述三维模型图像
数据库中未保存所述第一三维模型,
则所述方法还包括:
所述服务器根据所述映射信息,确定所述三维模型数据库中未保存所述
第一三维模型;
所述服务器向所述增强现实设备发送重建指示信息,所述重建指示信息
用于指示所述增强现实设备重建所述第一三维模型;
所述服务器接收所述增强现实设备发送的所述第一三维模型,所述第一
三维模型是所述增强现实设备根据所述重建指示信息,在第二时段通过所述
摄像头对所述当前物体进行拍摄,并基于所拍摄到的所述当前物体的第二图
像生成的,其中,所述第二图像包括多个图像,所述多个图像的拍摄角度相
异;
所述服务器保存所述第一三维模型图像。
7.根据权利要求5或6所述的方法,其特征在于,所述系统还包括数
据传感器,所述数据传感器预先配置在所述当前物体上,
所述方法还包括:
所述服务器从所述数据传感器获取所述当前物体的状态数据;
所述服务器将所述当前物体的状态数据发送给所述增强现实设备,以便
于所述增强现实设备对所述当前物体的状态数据、所述虚拟图像和所述第一
三维模型进行叠加显示。
8.根据权利要求5至7中任一项所述的方法,其特征在于,所述服务
器上存储有物体标识数据库,所述物体标识数据库中存储有多个物体标识,
所述多个物体标识与所述多个三维模型之间一一对应,所述多个物体的特征
数据与所述多个物体标识之间一一对应,
所述服务器根据所述映射信息,从所述三维模型数据库中确定与所述当
前物体的特征数据对应的所述第一三维模型图像,包括:
所述服务器根据特征数据与物体标识之间的对应关系,确定与所述当前
物体的特征数据对应的第一物...

【专利技术属性】
技术研发人员:孙喆
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1