3D剪切图像修改制造技术

本公开内容的各方面涉及一种系统，该系统包括存储至少一个程序的计算机可读存储介质和用于执行操作的方法，所述操作包括：由消息收发应用接收由用户的摄像装置生成的图像；显示用于裁剪图像中描绘的对象的选项；确定图像中是否描绘了对象；基于确定图像中是否描绘了对象，选择性地启用对用于裁剪对象的选项的选择；当启用该选项时，接收选择用于裁剪图像中描绘的对象的选项的输入；响应于接收到输入，分割图像以使对象与图像中描绘的其他部分分开；从图像中提取对象；以及将所提取的对象作为虚拟对象添加到新图像。为虚拟对象添加到新图像。为虚拟对象添加到新图像。

【技术实现步骤摘要】
【国外来华专利技术】3D剪切图像修改
[0001]优先权声明
[0002]本申请要求于2020年4月28日提交的美国专利申请序列号15/929,355和于2020年3月16日提交的美国临时申请序列号62/990,413的优先权的权益，这两个申请中的每一个都通过引用整体并入本文。


[0003]本公开内容总体上涉及视觉呈现，更具体地，涉及渲染在计算设备的摄像装置馈送中捕获的现实世界环境中的虚拟对象。

技术介绍

[0004]增强现实(AR)是指用计算机生成的图形内容补充现实世界对象和环境的视图。虚拟渲染系统可以用于创建、查看引人入胜且具有娱乐性的AR体验并与之交互，在AR体验中，3D虚拟对象图形内容似乎存在于现实世界中。虚拟渲染系统经常在诸如智能电话和平板计算机的移动设备中实现。
附图说明
[0005]在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相同的部件。为了容易地标识对任何特定要素或动作的讨论，附图标记中的一个或多个最高有效数字是指该要素首次被介绍时的图号。在附图的图中通过示例而非限制的方式示出了一些实施方式，在附图中：
[0006]图1是示出根据示例实施方式的用于通过网络交换数据(例如，消息和相关联的内容)的消息收发系统的框图。
[0007]图2是示出根据示例实施方式的关于消息收发系统的另外的细节的框图。
[0008]图3是示出根据示例实施方式的可以存储在消息收发系统的数据库中的数据的示意图。
[0009]图4是示出根据示例实施方式的由消息收发客户端应用生成的用于通信的消息的结构的示意图。
[0010]图5是示出根据示例实施方式的3D剪切图像修改系统的各种组件的框图，这些组件可以作为消息收发系统的一部分而设置。
[0011]图6和图7是示出根据示例实施方式的3D剪切图像修改系统在执行用于生成包括3D剪切的消息的方法时的示例操作的流程图。
[0012]图8至图17是示出根据一些示例实施方式的由消息收发系统提供的各种界面的界面图。
[0013]图18是示出根据示例实施方式的可以结合本文中描述的各种硬件架构使用的代表性软件架构的框图。
[0014]图19是示出根据示例实施方式的能够从机器可读介质(例如，机器可读存储介质)
读取指令并执行本文中讨论的方法中的任何一种或更多种的机器的部件的框图。
具体实施方式
[0015]下面的描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节以提供对专利技术主题的各种实施方式的理解。然而，对于本领域技术人员而言将明显的是，可以在没有这些具体细节的情况下实践本专利技术主题的实施方式。一般地，公知的指令实例、协议、结构和技术不一定详细地被示出。
[0016]由于环境条件、用户动作、摄像装置与正在渲染的对象之间的未预料到的视觉中断等，传统的虚拟渲染系统可能会遇到呈现问题。这会导致虚拟对象消失或以其他方式表现异常，这打破虚拟对象存在于现实世界中的错觉。例如，当用户在现实世界中四处走动时，虚拟渲染系统可能不会以相对于现实世界项目的一致的方式呈现虚拟对象。
[0017]此外，传统虚拟渲染系统通常缺乏与创作AR内容相关的功能，因为这些常规系统没有针对移动计算设备的有限显示尺寸进行优化。作为示例，常规的虚拟渲染系统通常仅限于预定义的3D虚拟对象，并且不向用户提供创建或编辑这些虚拟对象的能力。作为另一个示例，常规虚拟渲染系统的用户界面通常需要用户在各种视图或窗口之间导航以访问某些内容创作功能。这些系统通常提供按钮或其他交互元素来促进视图和窗口之间的导航，但按钮和其他交互元素通常会利用许多可用显示空间，这可能会遮蔽正在创作的AR内容或需要用户导航到另一个窗口或视图以检查正在创作的AR内容。因此，常规虚拟渲染系统提供的AR内容创作过程可能是耗时且乏味的过程，该过程需要用户在各种视图和窗口之间反复切换，最终产生可能无法满足用户期望的内容。
[0018]本公开内容的各方面包括如下系统、方法、技术、指令序列和计算机器程序产品，所述系统、方法、技术、指令序列和计算机器程序产品用于创建图像修改效果(例如，包括3D剪切的虚拟三维(3D)对象)以及渲染包括摄像装置馈送中的虚拟3D对象的图像修改效果，就好像它们存在于现实世界环境中一样。例如，所公开的技术包括用于由消息收发应用从用户设备的摄像装置接收图像的操作。所公开的技术接收选择用于裁剪图像中描绘的对象的选项的输入。响应于接收到输入，所公开的技术分割图像以将对象与图像中描绘的其他部分分开并从图像中提取该对象。所公开的技术将提取的对象作为虚拟对象添加到新图像。
[0019]以这些方式，这些用户界面改进了现有系统的界面，并通过提供更大的功能和增强的交互机制(例如，通过提供用户可定制的图像修改效果，例如通过裁剪在描绘现实世界环境的实时视频馈送上呈现的图像部分而生成的3D剪切)来改进设备的操作。鉴于这些改进，该系统可能特别适用于显示屏幕尺寸有限的移动设备实现。
[0020]图1是示出用于通过网络106交换数据(例如，消息和相关联的内容)的示例消息收发系统100的框图。消息收发系统100包括多个客户端设备102，所述多个客户端设备102中的每一个托管包括消息收发客户端应用104的若干应用。每个消息收发客户端应用104经由网络106(例如，因特网)通信地耦接至消息收发客户端应用104和消息收发服务器系统108的其他实例。
[0021]因此，每个消息收发客户端应用104可以经由网络106与另一消息收发客户端应用
104和消息收发服务器系统108进行通信并交换数据。在消息收发客户端应用104之间以及在消息收发客户端应用104与消息收发服务器系统108之间交换的数据包括功能(例如，激活功能的命令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。
[0022]消息收发服务器系统108经由网络106向特定消息收发客户端应用104提供服务器端功能。虽然消息收发系统100的某些功能在本文中被描述为由消息收发客户端应用104或由消息收发服务器系统108执行，但是应当理解，某些功能的位置在消息收发客户端应用104或消息收发服务器系统108内是设计选择。例如，在技术上优选的是：可以最初将某些技术和功能部署在消息收发服务器系统108内，但是稍后将该技术和功能迁移至客户端设备102具有足够处理能力的消息收发客户端应用104。
[0023]消息收发服务器系统108支持向消息收发客户端应用104提供的各种服务和操作。这样的操作包括：向消息收发客户端应用104发送数据、从消息收发客户端应用104接收数据、以及对由消息收发客户端应用104生成的数据进行处理。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体注释和覆盖、消息内容持久性条件、社交网络信息和实时事件信息。通过经由消息收发客户端应用104的用户界面(UI)可用的功能来激活和控制消息收发系本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：至少一个硬件处理器；存储器，所述存储器存储指令，所述指令当由所述至少一个硬件处理器执行时使所述至少一个硬件处理器执行操作，所述操作包括：由消息收发应用接收由用户设备的摄像装置生成的图像；显示用于裁剪所述图像中描绘的对象的选项；确定所述图像中是否描绘了所述对象；基于确定所述图像中是否描绘了所述对象，选择性地启用对用于裁剪所述对象的选项的选择；当启用所述选项时，接收选择用于裁剪所述图像中描绘的对象的选项的输入；响应于接收到所述输入，分割所述图像以使所述对象与所述图像中描绘的其他部分分开；从所述图像中提取所述对象；以及将所提取的对象作为虚拟对象添加到新图像。2.根据权利要求1所述的系统，其中，所述对象包括人或面部，并且其中，所述其他部分包括所述图像的背景。3.根据权利要求1至2中任一项所述的系统，其中，所述图像包括视频的帧。4.根据权利要求1至3中任一项所述的系统，其中，所述操作还包括：生成用于传输给接收者的消息，所述消息包括具有所述虚拟对象的新图像。5.根据权利要求1至4中任一项所述的系统，其中，所述图像是第一图像，并且其中，所述操作还包括：确定所述第一图像中没有检测到所述对象；以及响应于确定在所述第一图像中没有检测到所述对象，禁用对所述选项的选择。6.根据权利要求5所述的系统，其中，用于禁用对所述选项的选择的操作包括：显示具有第一视觉属性的选项以指示所述选项被禁用；在所述第一图像之后接收到的第二图像中检测所述对象；以及显示具有第二视觉属性的选项以指示所述选项被启用以供选择。7.根据权利要求6所述的系统，其中，所述第二视觉属性呈现与所述第一视觉属性相比具有更高不透明度水平的选项。8.根据权利要求1至7中任一项所述的系统，其中，所述操作还包括：将半透明滤色器应用于所述图像中描绘的其他部分，以在视觉上将所述图像中描绘的其他部分与所述图像中描绘的对象区分开，其中，所述其他部分包括所述图像的背景和与所述消息收发应用相关联的一个或更多个图标。9.根据权利要求1至8中任一项所述的系统，其中，所述操作还包括：响应于接收到所述输入，呈现与要从所述图像中裁剪的对象类似的图标，其中，所述图标指示用户在所述图像中的环境中定位所述对象的位置。10.根据权利要求1至9中任一项所述的系统，其中，所述操作还包括：确定用户先前没有从其他图像中裁剪对象；响应于确定所述用户先前没有从其他图像中裁剪对象，检索描绘默认裁剪的角色的默
认虚拟对象；以及使得所述用户能够将所述默认虚拟对象定位在所述图像内的三维空间中。11.根据权利要求10所述的系统，其中，所述操作还包括：响应于确定所述用户先前没有从其他图像中裁剪对象而显示选择所述选项的动画手指。12.根据权利要求1至11中任一项所述的系统...

【专利技术属性】
技术研发人员：凯尔，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：