【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及用于分割神经网络的方法、系统和介质。
技术介绍
1、虚拟现实(virtual reality，vr)系统和增强现实(augmented reality，ar)系统可以使用多个传感器(例如，摄像头等)，其中该多个传感器的输出可用于做出各种确定。例如，可以对来自头戴式视图器设备上的多个摄像头的图像数据进行组合，以确定该头戴式视图器设备的佩戴者的手的手部位置。这样的确定是计算上复杂的，并且需要大量的计算资源，特别是当使用多个传感器并且必须实时或接近实时地做出确定时。在一些情况下，可以将传感器数据提供给复杂神经网络，例如，该复杂的神经网络包括许多(例如，数十到数百)层。使用这种复杂网络是计算密集的。
技术实现思路
1、提供了用于分割神经网络的方法、系统和介质。在一些实施例中，一种方法可以涉及：获取训练集，其中，该训练集包括一组输入训练图像和对应的目标输出。该方法可以涉及：训练多个神经网络，该多个神经网络中的每个神经网络是使用该训练集训练的，并且其中，该多个神经网络中的各神经网络至少部分地基于各神经网络的一个或多个层的维度、以及位于神经网络的第一组层与该神经网络的第二组层之间的压缩块的位置而不同。该方法可以涉及：基于该多个神经网络相对于该训练集的性能和要在其上实现神经网络的系统的硬件约束，来选择多个经过训练的神经网络中的神经网络，其中，所选择的神经网络的第一组层由该系统的一个或多个传感器设备执行，并且其中，所选择的神经网络的第二组层由该系统的聚合器计算设备执行。
2、在
3、在一些示例中，该一个或多个传感器设备包括多个传感器设备，并且其中，所选择的神经网络包括：一组头模型，该组头模型中的每个头模型被配置为将来自该多个传感器设备中的一传感器的传感器数据作为输入；以及尾模型，该尾模型被配置为生成最终输出，其中，该尾模型对应于第二组层，其中，压缩块包括融合块，该融合块被配置为对该组头模型的输出进行聚合，并向尾模型提供所聚合的输出。在一些示例中，所选择的神经网络是至少部分地基于该融合块的位置来选择的。
4、在一些示例中，选择神经网络包括：(a)对多个经训练的神经网络进行随机采样，以识别该多个经训练的神经网络的子集；(b)基于该多个经训练的神经网络的子集的性能和该系统的硬件约束来评估该多个经训练的神经网络的子集；(c)至少部分地基于对该多个经训练的神经网络的子集的评估，来生成第二多个神经网络；以及(d)重复(a)-(c)，直到识别出该神经网络。在一些示例中，该第二多个神经网络包括该多个经训练的神经网络的子集的、基于对该多个经训练的神经网络的子集的评估而选择的一部分。在一些示例中，该第二多个神经网络包括该多个经训练的神经网络中的未包括在该多个经训练的神经网络的子集中的至少一个神经网络。在一些示例中，(a)中的随机采样包括：对第一次生成的该多个经过训练的神经网络进行随机采样，以识别该多个神经网络的子集，其中(c)生成第二多个神经网络包括：使用随机采样、突变(mutation)、以及对在(b)中的评估中识别到的经随机采样的第一次生成的多个经训练的神经网络中的的性能最佳的神经网络进行的交叉来生成该第二多个神经网络。
5、在一些示例中，该系统的硬件约束包括向聚合器计算设备上的第二组层发送从一个或多个传感器设备上的第一组层生成的特征信息的通信时延。
6、在一些示例中，该系统的硬件约束包括内存使用、带宽或它们的任意组合。
7、在一些示例中，该多个神经网络中的至少一个神经网络包括至少100层。
8、在一些示例中，压缩块包括减小由第一组层生成的特征尺寸的压缩和在向第二组层提供特征之前增大这些特征尺寸的扩充。
9、在一些实施例中，一种系统包括传感器和聚合器计算设备，该传感器与传感器计算设备相关联。在一些实施例中，该传感器计算设备被配置为实现神经网络的第一组层，并且其中，该聚合器计算设备被配置为实现神经网络的第二组层，并且其中，在该第一组层与该第二组层之间存在压缩块，该压缩块在向第二组层提供由第一组层生成的特征集之前减小了该特征集的特征尺寸大小。在一些实施例中，该神经网络是至少部分地基于压缩块相对于第一组层和第二组层的位置对传感器计算设备和聚合器计算设备的硬件使用的影响来从多个神经网络中选择的。
10、在一些示例中，该传感器包括摄像头。
11、在一些示例中，该系统包括多个传感器，该多个传感器包括该传感器，每个传感器与传感器计算设备相关联，并且其中，压缩块在融合层之后进行，该融合层对与多个传感器中的各个传感器相关联的特征集进行组合。
12、在一些示例中，该硬件使用包括从传感器设备向聚合器计算设备发送特征集的通信时延。
13、在一些示例中，该硬件使用包括传感器计算设备和/或聚合器计算设备的内存使用、带宽或它们的任意组合。
14、应当理解是，本文所描述的适于并入本公开的一个或多个方面或实施例的任何特征旨在在本公开的任何和所有方面和实施例上具有普遍性。本领域技术人员可以根据本公开的说明书、权利要求和附图来理解本公开的其它方面。上述总体描述和以下详细描述仅是示例性和说明性的，而不是对权利要求的限制。
本文档来自技高网...【技术保护点】
1.一种分割神经网络的方法，包括：
2.根据权利要求1所述的方法，其中，训练所述多个神经网络包括：对于一系列迭代中的每次迭代，训练第二多个神经网络，其中，所述第二多个神经网络包括：至少一个具有所包括的多个潜在参数中的所有潜在参数的神经网络；至少一个不具有压缩块的神经网络；至少一个具有多个压缩块的神经网络；以及至少一个具有所述多个潜在参数的随机采样的神经网络。
3.根据权利要求2所述的方法，其中，所述至少一个具有所包括的所述多个潜在参数中的所有潜在参数的神经网络包括以下项中的一项或多项：
4.根据权利要求2或3所述的方法，其中，所述至少一个具有多个压缩块的神经网络包括所述多个潜在参数的子集。
5.根据前述权利要求中任一项所述的方法，其中，所述一个或多个传感器设备包括多个传感器设备，并且其中，所选择的所述神经网络包括：
6.根据前述权利要求中任一项所述的方法，其中，选择所述神经网络包括：
7.根据权利要求6所述的方法，其中，所述第二多个神经网络包括以下各项中的一项或多项：
8.根据权利要求6或7所述的
9.根据前述权利要求中任一项所述的方法，其中，所述系统的所述硬件约束包括以下各项中的一项或多项：
10.根据前述权利要求中任一项所述的方法，其中，所述多个神经网络中的至少一个神经网络包括至少100层。
11.根据前述权利要求中任一项所述的方法，其中，所述压缩块包括减小由所述第一组层生成的特征尺寸的压缩和在向所述第二组层提供特征之前增大所述特征尺寸的扩充。
12.一种系统，包括：
13.根据权利要求12所述的系统，其中，所述传感器包括摄像头。
14.根据权利要求12或13所述的系统，其中，所述系统包括多个传感器，所述多个传感器包括所述传感器，每个传感器与传感器计算设备相关联，并且其中，所述压缩块在融合层之后进行，所述融合层对与所述多个传感器中的各个传感器相关联的特征集进行组合。
15.根据权利要求12、13或14所述的系统，其中，所述硬件使用包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种分割神经网络的方法，包括：
2.根据权利要求1所述的方法，其中，训练所述多个神经网络包括：对于一系列迭代中的每次迭代，训练第二多个神经网络，其中，所述第二多个神经网络包括：至少一个具有所包括的多个潜在参数中的所有潜在参数的神经网络；至少一个不具有压缩块的神经网络；至少一个具有多个压缩块的神经网络；以及至少一个具有所述多个潜在参数的随机采样的神经网络。
3.根据权利要求2所述的方法，其中，所述至少一个具有所包括的所述多个潜在参数中的所有潜在参数的神经网络包括以下项中的一项或多项：
4.根据权利要求2或3所述的方法，其中，所述至少一个具有多个压缩块的神经网络包括所述多个潜在参数的子集。
5.根据前述权利要求中任一项所述的方法，其中，所述一个或多个传感器设备包括多个传感器设备，并且其中，所选择的所述神经网络包括：
6.根据前述权利要求中任一项所述的方法，其中，选择所述神经网络包括：
7.根据权利要求6所述的方法，其中，所述第二多个神经网络包括以下各项中的一项或多项：
8.根据权利要求6或7所述的方法，其中，(a)中的所述随机采样包括：对第一次生成的所述多个经训练的神经网络进行随机采...
【专利技术属性】
技术研发人员：刘新桥，李子云，董鑫，芭芭拉·德·萨尔沃，
申请(专利权)人：元平台技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。