用于学习可组合的三维(3D)对象的高阶函数网络及其操作方法技术

一种用于表示三维(3D)对象的装置，该装置包括：存储指令的存储器；以及处理器，该处理器被配置为执行指令以：将二维2D图像发送到外部设备；在发送了2D图像的基础上，从外部设备接收使用第一神经网络获得的映射函数参数；基于接收到的映射函数参数，设置第二神经网络的映射函数；以及基于3D样本，使用其映射函数被设置的第二神经网络来获得与2D图像相对应的3D对象。对象。对象。

【技术实现步骤摘要】
【国外来华专利技术】用于学习可组合的三维(3D)对象的高阶函数网络及其操作方法


[0001]本公开涉及表示三维(3D)对象，并且更具体地，涉及用于学习可组合的(composable)3D对象的高阶函数网络及其操作方法。

技术介绍

[0002]在纯几何项中，3D对象O是的子集。然而，在存储器中直接地表示该无穷的点的集合并不简单。
[0003]基于体素的方法使用该集合的均匀离散化来将基于卷积神经网络(convolutional neural network，CNN)的方法扩展到3D世界。然而，3D表面的固有稀疏性使得体素化在内存和计算时间两者方面都是低效的。
[0004]基于分割的方法(诸如八叉树)解决了体素化的空间效率缺点，但是其实现起来繁琐并且查询效率低。
[0005]点集表示(O的离散和有限子集)也由于以下事实而得到了普及：其保留了基于体素的方法的简单性，同时消除了基于体素的方法的存储和计算负担。尽管点云比体素更灵活，但是仍然不清楚如何使其适应产生任意分辨率或变化的分辨率预测的任务。

技术实现思路

[0006]技术问题的解决方案
[0007]根据实施例，一种用于表示三维(3D)对象的装置，包括：存储指令的存储器，以及处理器，该处理器被配置为执行指令以：将二维(2D)图像发送到外部设备；在发送了2D图像的基础上，从外部设备接收使用第一神经网络获得的映射函数参数；基于接收到的映射函数参数，设置第二神经网络的映射函数；以及基于3D样本，使用其映射函数被设置的第二神经网络来获得与2D图像相对应的3D对象。
[0008]3D样本可以是3D标准域(canonical domain)的表面或内部。
[0009]3D标准域可以是单位球体或单位立方体。
[0010]3D对象可以是包括在2D图像中的对象的表面或内部。
[0011]第一神经网络可以是被训练为基于在CNN中输入的2D图像来输出映射函数参数的卷积神经网络(CNN)，并且可以结合第二神经网络来训练。
[0012]第二神经网络可以是被训练为基于在CNN中输入的3D样本来输出3D对象的卷积神经网络(CNN)，并且可以结合第一神经网络来训练。
[0013]装置可以是与外部设备分离并在外部设备外部的客户端设备。
[0014]外部设备可以是与装置分离并且在装置外部的服务器设备。
[0015]根据实施例，一种表示三维(3D)对象的方法，该方法由装置执行，并且包括：将二维(2D)图像发送到外部设备；在发送了2D图像的基础上，从外部设备接收使用第一神经网络获得的映射函数参数；基于接收到的映射函数参数，设置第二神经网络的映射函数；以及
基于3D样本，使用其映射函数被设置的第二神经网络来获得与2D图像相对应的3D对象。
[0016]3D样本可以是3D标准域的表面或内部。
[0017]3D标准域可以是单位球体或单位立方体。
[0018]3D对象可以是包括在2D图像中的对象的表面或内部。
[0019]第一神经网络可以是被训练为基于在CNN中输入的2D图像来输出映射函数参数的卷积神经网络(CNN)，并且可以结合第二神经网络来训练。
[0020]第二神经网络可以是被训练为基于在CNN中输入的3D样本来输出3D对象的卷积神经网络(CNN)，并且可以结合第一神经网络来训练。
[0021]装置可以是与外部设备分离并在外部设备外部的客户端设备。
[0022]外部设备可以是与装置分离并且在装置外部的服务器设备。
[0023]根据实施例，一种非暂时性计算机可读存储介质存储指令，该指令被配置为使处理器：将二维(2D)图像发送到外部设备；在发送了2D图像的基础上，从外部设备接收使用第一神经网络获得的映射函数参数；基于接收到的映射函数参数，设置第二神经网络的映射函数；以及基于3D样本，使用其映射函数被设置的第二神经网络来获得与2D图像相对应的3D对象。
[0024]3D样本可以是3D标准域的表面或内部。
[0025]3D标准域可以是单位球体或单位立方体。
[0026]3D对象可以是包括在2D图像中的对象的表面或内部。
[0027]附加的方面将在下面的描述中被部分地被阐述，并且将部分地根据描述变得清楚、或者可以通过对本公开所呈现的实施例的实践来获知。
附图说明
[0028]根据以下结合附图的描述，本公开的实施例的以上和其他方面、特征以及方面将更加清楚，其中：
[0029]图1是根据实施例的用于表示3D对象的装置的框图；
[0030]图2A是实现图1中所示的装置的客户端设备的框图；
[0031]图2B是实现图1中所示的装置的系统的框图；
[0032]图3是根据实施例的分别被输入到用于表示3D对象的装置以及从用于表示3D对象的装置输出的二维(2D)图像和3D对象的图；
[0033]图4是根据实施例的使用表示映射函数的神经网络对3D标准域的不同子集进行采样来获得3D对象的方法的图；
[0034]图5是根据实施例的分别与3D标准域的3D样本相对应的3D对象的图；
[0035]图6是根据实施例的表示3D对象的方法的流程图，该方法由客户端设备来实现；
[0036]图7是根据实施例的表示3D对象的方法的流程图，该方法由系统来实现；
[0037]图8A是根据实施例的用于表示第一3D对象和第二3D对象的装置的框图；
[0038]图8B是根据实施例的通过函数复合来在第一3D对象和第二3D对象之间进行插值的方法的图；
[0039]图8C是根据实施例的利用高阶k映射在第一3D对象和第二3D对象之间进行插值的方法的图；
[0040]图8D是图8A中所示的装置的使用情况的图；
[0041]图9是图2B中所示的系统的使用情况的图，其中，机器人实现包括在系统中的客户端设备；
[0042]图10是图2B中示出的系统的使用情况的图，其中，增强现实(augmented reality，AR)眼镜实现包括在系统中的客户端设备；以及
[0043]图11是根据实施例的实现用于表示3D对象的装置的电子设备的框图。
具体实施方式
[0044]本公开的实施例提供了用于学习可组合的3D对象的高阶函数网络及其操作方法。也就是说，3D对象可以使用高阶函数(即，小神经网络的权重和偏置)来表示。这种表示可以用于通过从标准空间映射点以定义3D对象来重构3D对象。经重构的3D对象可以比通过现有技术重构方法产生的那些3D对象更准确。此外，当与将感兴趣对象编码为潜在向量码字的对象表示相比较时，将3D对象直接编码为神经网络是高度参数高效的。
[0045]实施例还提供了一种在潜在函数空间中的对象插值的方法，其中，为各种对象复合重构函数的根来生成新的、相干的对象。
[0046]由于本公开允许各种变化和多种示例，所以将在附图中示出并在书面描述中详细描述实施例。然而，这并非本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于表示三维3D对象的装置，所述装置包括：存储指令的存储器；以及处理器，被配置为执行所述指令以：将二维2D图像发送到外部设备；在发送了2D图像的基础上，从外部设备接收使用第一神经网络获得的映射函数参数；基于接收到的映射函数参数，设置第二神经网络的映射函数；以及基于3D样本，使用其映射函数被设置的第二神经网络来获得与2D图像相对应的3D对象。2.根据权利要求1所述的装置，其中，所述3D样本是3D标准域的表面或内部。3.根据权利要求2所述的装置，其中，所述3D标准域是单位球体或单位立方体。4.根据权利要求1所述的装置，其中，所述3D对象是包括在2D图像中的对象的表面或内部。5.根据权利要求1所述的装置，其中，所述第一神经网络是卷积神经网络CNN并且结合第二神经网络来训练，所述CNN被训练为基于在CNN中输入的2D图像来输出映射函数参数。6.根据权利要求1所述的装置，其中，所述第二神经网络是卷积神经网络CNN并且结合第一神经网络来训练，所述CNN被训练为基于在CNN中输入的3D样本来输出3D对象。7.根据权利要求1所述的装置，其中，所述装置是与所述外部设备分离并在所述外部设备外部的客户端设备。8.根据权利要求1所述的装置，其中，所述外部设...

【专利技术属性】
技术研发人员：E米歇尔，S恩吉恩，V伊斯勒，D李，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：