一种神经网络训练方法技术

本发明专利技术提供了一种神经网络训练方法和系统，可应用于机器人等边缘设备挂载或集成微型图形计算单元GPU中的深度神经网络，以解决现有技术中机器人等边缘设备所携带的微型CPU计算能力有限，导致深度学习不能实时的运行，抑或深度学习量化压缩后难以满足准确率的问题。本发明专利技术在不增加部署网络计算量的前提下，提升机器人等边缘端设备中深度神经网络的性能，通过将原始深度神经网络的卷积层卷积层旁接一个通道数相同卷积核大小较小卷积层，提升了深度神经网络的复杂度，在训练完毕后，再将旁接的卷积核的卷积模块融合到原始网络中去，达到不增加计算量的目的。

【技术实现步骤摘要】
一种神经网络训练方法
本专利技术实施例涉及神经网络训练
，尤其涉及一种神经网络训练方法。
技术介绍
随着计算机视觉技术的不断更新发展，目标检测技术在智能交通、图像检索、人脸识别多个领域有着重要的地位。近年发展越来越火热的深度学习作为一个更高效的工具帮助我们在目标检测领域进行研究和发现。目前，深度学习在目标检测领域极大超越了传统视觉算法，深度学习在大数据下能够自主学习得到有效的特征，学习到的特征在数量和性能上远远超出了通过手工设计的算法特征。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：深度学习虽然有着超越传统视觉算法的性能优势，但是深度学习的缺点也是显而易见。使用深度学习的模型包含了大量的参数，带来了训练时计算量的大幅提升，降低了模型的计算效率，同时大量的计算增加了模型计算的误差率，降低了模型计算的准确率，且训练深度模型的庞大的计算量导致深度学习不能实时的运行在机器人等边缘端设备中，这类边缘端微型GPU算力有限，需要对网络精心设计，量化压缩以满足识别准确率前提下的实时性要求。
技术实现思路
本专利技术实施例提供一种神经网络训练方法，以解决现有技术中机器人等边缘设备所携带的微型CPU计算能力有限，导致深度学习不能实时的运行，抑或深度学习量化压缩后难以满足准确率的问题。第一方面，本专利技术实施例提供一种神经网络训练方法，包括：采集待分析样本作为训练样本，基于所述训练样本对原始深度神经网络进行第一次训练；对所述深度神经网络的卷积层进行扩展，得到扩展深度神经网络；基于所述第一次训练中相同的配置参数对所述扩展深度神经网络进行第二次训练，融合第二次训练后的扩展深度神经网络卷积层并进行批归一化处理。作为优选的，所述深度神经网络至少包括第一卷积层，所述第一卷积层连接有第一批归一化层和激活层，所述第一卷积层、第一批归一化层和激活层组成卷积块；对所述深度神经网络的卷积层进行扩展，具体包括：在所述第一卷积层上旁接第二卷积层，所述第一卷积层连接第一批归一化层，所述第二卷积层连接第二批归一化层，所述第一批归一化层和所述第二批归一化层连接激活层，得到扩展深度神经网络；所述第一卷积层与所述第二卷积层的通道数相同，且所述第一卷积层的卷积核大小大于所述第二卷积层的卷积核大小。作为优选的，所述第一卷积层与所述第一批归一化层的参数继承所述原始深度神经网络的卷积块参数，所述第二卷积层和所述第二批归一化层的参数随机初始化。作为优选的，融合第二次训练后的扩展深度神经网络卷积层并进行批归一化处理，具体包括：确定卷积层的输入输出关系：Outconv＝Wconv*In+Bconv其中，In为输入；Wconv为卷积核参数，大小为[Cout,Cin,K,K]，K为卷积核的大小；Bconv为卷积层的偏置量；确定批归一化层的输入输出的关系：Inbn为批归一化层的输入，μ、σ、γ、β分别为当前训练样本训练得到均值、方差、放缩系数、平移系数；μn、σn、γn、βn为第n个训练样本训练得到均值、方差、放缩系数、平移系数；令Inbn＝Outconv，Bconv＝0，得到融合后的表达式为：Out＝Wbn*Wconv*In+bbn＝Wf*In+bf式中，In为输入，Wf和bf为融合后的卷积层参数；进行批归一化处理。作为优选的，还包括：确定融合后第一卷积层和第二卷积层的计算公式，基于第一卷积层和第二卷积层的计算公式确定所述第二卷积层的扩展方式，以将所述第二卷积层扩展为与所述第一卷积层相同大小，并确定第一卷积层和第二卷积层融合后得到的融合卷积块结构参数。第二方面，本专利技术实施例提供一种神经网络训练系统，包括：初始训练模块，采集待分析样本作为训练样本，基于所述训练样本对原始深度神经网络进行第一次训练；扩展模块，对所述深度神经网络的卷积层进行扩展，得到扩展深度神经网络；增强训练模块，基于所述第一次训练中相同的配置参数对所述扩展深度神经网络进行第二次训练，融合第二次训练后的扩展深度神经网络卷积层并进行批归一化处理。作为优选的，所述深度神经网络至少包括第一卷积层，所述第一卷积层连接有第一批归一化层和激活层，所述第一卷积层、第一批归一化层和激活层组成卷积块；对所述深度神经网络的卷积层进行扩展，具体包括：在所述第一卷积层上旁接第二卷积层，所述第一卷积层连接第一批归一化层，所述第二卷积层连接第二批归一化层，所述第一批归一化层和所述第二批归一化层连接激活层，得到扩展深度神经网络；所述第一卷积层与所述第二卷积层的通道数相同，且所述第一卷积层的卷积核大小大于所述第二卷积层的卷积核大小。作为优选的，所述第一卷积层与所述第一批归一化层的参数继承所述原始深度神经网络的卷积块参数，所述第二卷积层和所述第二批归一化层的参数随机初始化。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术第一方面实施例所述神经网络训练方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本专利技术第一方面实施例所述神经网络训练方法的步骤。本专利技术实施例提供的一种神经网络训练方法和系统，在不增加部署网络计算量的前提下，提升网络的性能，通过将原始深度神经网络的卷积层卷积层旁接一个通道数相同卷积核大小较小卷积层，提升了深度神经网络的复杂度，在训练完毕后，再将旁接的卷积核的卷积模块融合到原始网络中去，达到不增加计算量的目的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的神经网络训练方法流程框图；图2为本专利技术实施例提供的卷积块结构示意图；图3为本专利技术实施例提供的扩展后的卷积块结构示意图；图4为本专利技术实施例提供的卷积块融合优化后结构示意图；图5为本专利技术实施例提供的融合扩展深度神经网络的扩展旁路分支后的卷积块结构示意图图6为本专利技术实施例提供的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个本文档来自技高网...

【技术保护点】
1.一种神经网络训练方法，其特征在于，包括：/n采集待分析样本作为训练样本，基于所述训练样本对原始深度神经网络进行第一次训练；/n对所述深度神经网络的卷积层进行扩展，得到扩展深度神经网络；/n基于所述第一次训练中相同的配置参数对所述扩展深度神经网络进行第二次训练，融合第二次训练后的扩展深度神经网络卷积层并进行批归一化处理。/n

【技术特征摘要】
1.一种神经网络训练方法，其特征在于，包括：
采集待分析样本作为训练样本，基于所述训练样本对原始深度神经网络进行第一次训练；
对所述深度神经网络的卷积层进行扩展，得到扩展深度神经网络；
基于所述第一次训练中相同的配置参数对所述扩展深度神经网络进行第二次训练，融合第二次训练后的扩展深度神经网络卷积层并进行批归一化处理。


2.根据权利要求1所述的神经网络训练方法，其特征在于，所述深度神经网络至少包括第一卷积层，所述第一卷积层连接有第一批归一化层和激活层，所述第一卷积层、第一批归一化层和激活层组成卷积块；
对所述深度神经网络的卷积层进行扩展，具体包括：
在所述第一卷积层上旁接第二卷积层，所述第一卷积层连接第一批归一化层，所述第二卷积层连接第二批归一化层，所述第一批归一化层和所述第二批归一化层连接激活层，得到扩展深度神经网络；所述第一卷积层与所述第二卷积层的通道数相同，且所述第一卷积层的卷积核大小大于所述第二卷积层的卷积核大小。


3.根据权利要求2所述的神经网络训练方法，其特征在于，所述第一卷积层与所述第一批归一化层的参数继承所述原始深度神经网络的卷积块参数，所述第二卷积层和所述第二批归一化层的参数随机初始化。


4.根据权利要求2所述的神经网络训练方法，其特征在于，融合第二次训练后的扩展深度神经网络卷积层并进行批归一化处理，具体包括：
确定卷积层的输入输出关系：
Outconv＝Wconv*In+Bconv
其中，In为输入；Wconv为卷积核参数，大小为[Cout,Cin,K,K]，K为卷积核的大小；Bconv为卷积层的偏置量；
确定批归一化层的输入输出的关系：









Inbn为批归一化层的输入，μ、σ、γ、β分别为当前训练样本训练得到均值、方差、放缩系数、平移系数；μn、σn、γn、βn为第n个训练样本训练得到均值、方差、放缩系数、平移系数；
令Inbn＝Outconv，Bconv＝0，得到融合后的表达式为：
Out＝Wbn*Wconv*In+bbn＝Wf*In+bf
式中，...

【专利技术属性】
技术研发人员：秦豪，赵明，
申请(专利权)人：上海有个机器人有限公司，
类型：发明
国别省市：上海;31