神经网络训练方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了神经网络训练方法、装置，该方法包括：将多个训练样本分别输入多个子网络中，其中，每个子网络对应一个训练样本，每个子网络对应的训练样本不同；对目标子网络的目标网络单元输出的第一特征图和对应于第一特征图的第二特征图执行特征融合操作，得到图像融合结果，第二特征图为目标网络单元的关联网络单元输出的特征图或者目标网络单元的关联网络单元的融合特征图；根据图像融合结果得到预测结果；根据预测结果和最后一个目标子网络的监督信息，确定目标损失，以及至少基于目标损失，更新多个子网络。更新多个子网络。更新多个子网络。

【技术实现步骤摘要】
神经网络训练方法、装置、电子设备及存储介质


[0001]本申请涉及领域，具体涉及神经网络训练方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，对多个子网络同时进行训练的框架，例如对多个主干网络同时进行训练的CBNet框架中，在每一次对多个子网络进行训练时，采用同一个输入分别输入到每一个子网络中，对相关的网络单元的输出进行融合得到相应的融合结果，利用相应的融合结果对多个子网络进行训练，以使得每一个子网络学习到互补的特征信息。

技术实现思路

[0003]本申请实施例提供一种神经网络训练方法、装置、电子设备及存储介质。
[0004]本申请实施例提供一种神经网络训练方法，包括：
[0005]将多个训练样本分别输入多个子网络中，其中，每个子网络对应一个训练样本，每个子网络对应的训练样本的不同；
[0006]对所述目标子网络的目标网络单元输出的第一特征图和对应于所述第一特征图的第二特征图执行特征融合操作，得到图像融合结果，所述第二特征图为所述目标网络单元的关联网络单元输出的特征图或者所述目标网络单元的关联网络单元的融合特征图，所述关联网络单元在所述目标子网络的关联子网络中的位置与所述目标网络单元在所述目标子网络中的位置相同，所述目标子网络的关联子网络为所述目标子网络的前一个子网络；
[0007]根据所述图像融合结果得到预测结果；
[0008]根据所述预测结果和所述最后一个目标子网络的监督信息，确定目标损失，以及至少基于所述损失，更新多个子网络。
[0009]本申请实施例提供一种神经网络训练装置，包括：
[0010]并行输入单元，被配置为将多个训练样本分别输入多个子网络中，其中，每个子网络对应一个训练样本，每个子网络对应的训练样本的不同；
[0011]融合单元，被配置为对所述目标子网络的目标网络单元输出的第一特征图和对应于所述第一特征图的第二特征图执行特征融合操作，得到图像融合结果，所述第二特征图为所述目标网络单元的关联网络单元输出的特征图或者所述目标网络单元的关联网络单元的融合特征图，所述关联网络单元在所述目标子网络的关联子网络中的位置与所述目标网络单元在所述目标子网络中的位置相同，所述目标子网络的关联子网络为所述目标子网络的前一个子网络；根据所述图像融合结果得到预测结果；
[0012]预测单元，被配置为根据所述图像融合结果得到预测结果；
[0013]更新单元，被配置为根据所述预测结果和所述最后一个目标子网络的监督信息，确定目标损失，以及至少基于所述目标损失，更新多个子网络。
[0014]本申请实施例提供的神经网络训练方法、装置，实现了在对多个子网络进行训练
时，将多个子网络中的每一个子网络的输入分别输入到每一个子网络。相较于在每一次对多个子网络进行训练时，采用同一个输入分别输入到每一个子网络，每一次对多个子网络进行训练时，多个不同的输入并行地输入，使得对相关的网络单元的输出进行预设特征融合操作得到相应的图像融合结果包括特征更丰富，相应的，使得每一个子网络学习到互补的特征信息更丰富。在完成对多个子网络的训练之后，提升每一个子网络的性能。
附图说明
[0015]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0016]图1示出了本申请实施例提供的神经网络训练方法的流程图；
[0017]图2示出了对多个子网络进行训练的一个效果示意图；
[0018]图3示出了本申请实施例提供的神经网络训练装置的结构框图；
[0019]图4示出了本申请实施例提供的电子设备的结构框图。
具体实施方式
[0020]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0021]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0022]图1示出了本申请实施例提供的神经网络训练方法的流程图，该方法包括：
[0023]步骤101，将多个子网络中的每一个子网络的输入分别输入到每一个子网络。
[0024]在本申请实施例中，多个子网络的网络结构相同，多个子网络可以为多个结构相同的主干网络。例如，多个子网络可以为多个主干网络ResNeXt
‑
152。
[0025]在本申请实施例中，每一次对多个子网络进行训练，均对多个子网络执行步骤101
‑
104。步骤101
‑
步骤104中的操作为示例性地描述在一次同时对多个子网络进行训练的过程中进行的操作。
[0026]通过重复地执行步骤101
‑
步骤104，不断地对多个子网络进行训练，直至满足完成训练条件，以完成对多个子网络的训练。
[0027]在本申请实施例中，完成训练条件可以为训练次数大于指示完成训练的次数阈值，完成训练条件也可以为每一个子网络的精度均达到精度阈值，完成训练条件也可以为最后一个目标子网络的精度达到精度阈值。
[0028]在实践中，由于参与训练的子网络的数量并不与训练效率、训练之后每一个子网络的精度成正比关系，因此，优选地，多个子网络的数量为2个或3个。
[0029]在本申请实施例中，在一次对多个子网络进行训练的过程中，多个子网络中的每一个子网络的输入不同。
[0030]在本申请实施例中，在一次对多个子网络进行训练的过程中，多个子网络中的每一个子网络各自对应一个训练图像即训练样本，每一个子网络对应的训练图像不同。在该次对多个子网络进行训练的过程中，每一个子网络对应的训练图像来自在该次对多个子网
络进行训练所利用的训练图像集合。
[0031]在本申请实施例中，在一次对多个子网络进行训练的过程中，首先确定确定多个子网络中的每一个子网络的输入。多个子网络中的每一个子网络的输入不同即输入到每一个子网络的训练样本不同。
[0032]在一次对多个子网络进行训练的过程中，对于多个子网络中的每一个子网络，可以将在该次对多个子网络进行训练的过程中，该子网络对应的训练图像作为在该次对多个子网络进行训练的过程中该子网络的输入。
[0033]在一些实施例中，在将多个训练样本分别输入多个子网络中之前，还包括：利用预训练图像集对多个子网络中的一个子网络进行预训练；利用在对被预训练的子网络的预训练完成之后被预训练的子网络的参数的参数值，对除了被预训练的子网络之外的每一个其他的子网络的参数的参数值进行初始化。
[0034]在本申请实施例中，可以在第1次对多个子网络进行训练之前，可以利用预训练图像集对多个子网络中的一个子网络进行预训练。
[0035]例如，多个子网络为多个结构相同的主干网络ResNeXt
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络训练方法，其特征在于，所述方法包括：将多个训练样本分别输入多个子网络中，其中，每个子网络对应一个训练样本，每个子网络对应的训练样本不同；对所述目标子网络的目标网络单元输出的第一特征图和对应于所述第一特征图的第二特征图执行特征融合操作，得到图像融合结果，所述第二特征图为所述目标网络单元的关联网络单元输出的特征图或者所述目标网络单元的关联网络单元的融合特征图；根据所述图像融合结果得到预测结果；根据所述预测结果和所述最后一个目标子网络的监督信息，确定目标损失，以及至少基于所述目标损失，更新所述多个子网络。2.根据权利要求1所述的方法，其特征在于，目标子网络中的每一个网络单元均为目标网络单元，图像融合结果包括：最后一个目标子网络中的每一个目标网络单元的融合特征图；以及对所述目标子网络的目标网络单元输出的第一特征图和对应于所述第一特征图的第二特征图执行特征融合操作，得到图像融合结果包括：对于所述目标子网络中的每一个目标网络单元，对所述目标网络单元的输出的第一特征图和对应于所述第一特征图的第二特征图进行预设特征融合操作，得到所述目标网络单元的融合特征图，其中，所述融合特征图作为所述目标网络单元的后一个网络单元的输入。3.根据权利要求2所述的方法，其特征在于，所述预设特征融合操作为耦合操作，所述目标网络单元的融合特征图为目标网络单元的耦合特征图；对所述目标网络单元的输出的第一特征图和对应于所述第一特征图的第二特征图进行预设特征融合操作，以得到所述目标网络单元的融合特征图包括：对所述第一特征图中的每一个像素，将所述第一特征图像素的像素值与所述第二特征图对应像素的像素值相加，以得到所述耦合特征图。4.根据权利要求2所述的方法，其特征在于，所述预设特征融合操作为解耦操作，所述目标网络单元的融合特征图为目标网络单元的解耦特征图；对所述目标网络单元的输出的第一特征图和对应于所述第一特征图的第二特征图进行预设特征融合操作，以得到所述目标网络单元的融合特征图包括：对于所述第一特征图中的每一个像素，将所述第一特征图像素的像素值与所述第二特征图对应像素的像素值相减，以得到所述解耦特征图。5.根据权利要求1所述的方法，其特征在于，在将多个训练样本分别输入多个子网络中之前，所述方法还包括：利用预训练图像集对多个子网络中的一个子网络进行预训练；利用在对被预训练的子网络的预训练完成之后，被预训练的子网络的参数的参数值，对除了被预训练的...

【专利技术属性】
技术研发人员：张培圳，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：