一种适应目标数据集的网络模型微调方法、系统、终端和存储介质技术方案

本发明专利技术提供一种适应目标数据集的网络模型微调方法、系统、终端和存储介质，原神经网络，所述原神经网络包括统一神经网络和输出层，所述原神经网络的作用是先使用原数据集预训练原神经网络，获得预训练后原神经网络各个层的参数，标记这些参数；目标神经网络，所述目标神经网络包括与原神经网络相互匹配的网络层数，目标神经网络也包括输出层和统一神经网络层，所述目标神经网络中统一神经网络层的各个参数沿用原神经网络中统一神经网络层的各个参数；微调模块，所述微调模块用于微调目标神经网络中除输出层之外的各个层特征参数以适应识别目标。

【技术实现步骤摘要】
一种适应目标数据集的网络模型微调方法、系统、终端和存储介质
本专利技术涉及汽车电子
，特别是涉及一种适应目标数据集的网络模型微调方法、系统、终端和存储介质。
技术介绍
立体停车库，是用来最大量存取储放车辆的机械或机械设备系统。针对专业车场管理公司，立体车库是提高停车场容量、增加停车费收入的有效手段。立体停车库在建筑形式分为独立的类型和内置两个，独立停车建筑适合地下广场和现有建筑补建停车设施、规划和建设应该留意一下周围的环境。内置式立体车库适用于与新建筑同步规划和建设，停车设备附在建筑物内，对区域环境规划和建筑观瞻没有影响。现代停车产业的发展已具有一定规模，并积极拓展停车设施的辅助功能，为社区提供多种服务。在有些停车设施的规划建设中，以建筑机械停车设施为中心，充分考虑周边环境、地形地貌、服务群体的多种需求，把停车设施建成区域服务中心，开发其综合效益。自主代客泊车(autonomousvaletparking)作为一项高级辅助驾驶系统的重要功能，已经基本能够实现停车场、园区等场景的泊车功能，但是仍然存在较多局限性，例如同一停车位识别网络模型只能对训练集相同类型的作用明显，但针对区别类型车位例如草地车位、砖地车位、立体车位识别效果差。
技术实现思路
为了解决上述的以及其他潜在的技术问题，本专利技术提供了一种适应目标数据集的网络模型微调方法、系统、终端和存储介质，避免重头开始训练，需要大量的数据，计算时间和计算资源。另外，避免存在模型不收敛，参数不够优化，准确率低，模型泛化能力低，容易过拟合等风险。一种适应目标数据集的网络模型微调方法，包括：S01：以原数据集为基础，预训练原网络模型，创建目标网络模型，沿用原网络模型上除了输出层外的所有模型层数架构及其统一神经网络各个层的参数；S02：为目标网络模型设置输出层，输出层个数与目标数据集匹配；目标网络模型参数初始化随机设置；S03：除了输出层之外的统一神经网络各个层的参数都均是基于原模型的参数微调获得，以设置好的目标数据集二次训练输出层至目标网络模型。优选地，对于目标数据集的数据量少的情况下：如果数据相似度非常高的话，只修改最后几层或最终的softmax图层的输出类别，但若数据相似度低的话，可以冻结预训练模型的初始层(比如k层)，并再次训练剩余的(n-k)层。由于新数据集的相似度较低，因此根据新数据集对较高层进行重新训练具有重要意义。优选地，对于目标数据集的数据量大的情况下：如果数据相似度低的话，我们的神经网络训练将会很有效。但是，由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。使用预训练模型进行的预测不会有效。因此，最好根据你的数据从头开始训练神经网络。但是如果数据相似度高的话，预训练模型应该是最有效的。使用模型的最好方法是保留模型的体系结构和模型的初始权重。然后，我们可以使用在预先训练的模型中的权重来重新训练该模型。优选地，步骤S01还包括原数据集准备步骤S011：准备两个图像文档文件，放成清单的形式，在每一个图像文档文件之后标记该文档文件的类别ID编码，原数据集中图像文档文件的ID编码应当连续。例如，原数据集准备步骤S011可以参考caffe下的example，图像路径之后一个空格之后跟着类别的ID，如下，这里记住ID必须从0开始，要连续，否则会出错，loss不下降，按照要求写就OK。这个是训练的图像label，测试的也同理微调网络，是指我们在训练好目标网络模型参数的基础上，根据我们的分类识别任务进行特定的微调。进一步地，所述微调的具体步骤是：S031：在原网络模型上运行预先训练的参数值，使用比初始化学习率比用于从头开始训练，以数值低于额定值的学习率来确保执行交叉验证；检测目标数据集的数据量，当监测到目标数据集的数据量大于额定值时，截断预先训练好神经网络的最后一层(softmax层)，并用微调的softmax层替换；S032：当检测到目标数据集的数据量小于额定值时，只训练最后一层，如果数据集数量中等，冻结预训练网络的前一层或几层的权重，仅调整数据集高维层的权重。例如，ImageNet上预先训练好的网络带有1000个类别的softmax图层。如果我们的任务是对10个类别的分类，则网络的新softmax层将由10个类别组成，而不是1000个类别。然后，我们在网络上运行预先训练的权重。确保执行交叉验证，以便网络能够很好地推广。所述步骤S032中冻结预训练网络的前一层或几层的权重，仅调整数据集高维层权重这是因为前几个图层捕捉了与我们的新问题相关的通用特征，如曲线和边。我们希望保持这些权重不变。相反，我们会让网络专注于学习后续深层中特定于数据集的特征。进一步地，所述步骤S02中为目标网络模型设置输出层，输出层个数与目标数据集匹配；在运行环境CaffeNet下，首先在输入层data层，修改我们的source和meanfile，根据之前生成的lmdb和mean.binaryproto修改与输入data层匹配，生成输出层，这样输出层个数与目标数据集匹配。在步骤S02中应该注意：为目标网络模型设置输出层时，S021：首先修改原网络模型的名称，这样预训练的原网络模型赋值的时候这里就会因为名字不匹配从而重新训练，也就达成了适应新任务的目的；S022：调整学习速率，仅仅输出层重新学习，输出层以外的统一神经网络层因此需要有更快的学习速率，因此weight和bias的学习速率加快3～15倍，加快学习率的同时将跟输出层的名字都要修改成适应学习速率的表达。其中，步骤S02实际操作时，其他的调整包括对测试集数据量的调整、基本学习速率的调整、步长的调整和最大的迭代次数的调整，对于动量和权重衰减项都没有修改，网络模型文件和快照的路径做自适应修改。一种立体停车库的泊车系统，包括：原数据集，所述原数据集包括训练集、测试集和验证集；所述原数据集用于训练整个原神经网络；目标数据集，所述目标数据集包括目标训练集、目标测试集和目标验证集；所述目标数据集用于训练目标神经网络的输出层；原神经网络，所述原神经网络包括统一神经网络和输出层，所述原神经网络的作用是先使用原数据集预训练原神经网络，获得预训练后原神经网络各个层的参数，标记这些参数；目标神经网络，所述目标神经网络包括与原神经网络相互匹配的网络层数，目标神经网络也包括输出层和统一神经网络层，所述目标神经网络中统一神经网络层的各个参数沿用原神经网络中统一神经网络层的各个参数；微调模块，所述微调模块用于微调目标神经网络中除输出层之外的各个层特征参数以适应识别目标。进一步地，当所述目标数据集的数据量少于额定数据量时：若目标数据集的数据相似度高，只修改最后几层或最终的softmax图层的输出类别；若目标数据集的数据相似度低，可以冻结预训练模型的初始层，并再次训练除初始层之外剩余的层。进一步地，当所述目标数据集的数据量大于额定数据量本文档来自技高网...

【技术保护点】
1.一种适应目标数据集的网络模型微调方法，其特征在于，包括：/nS01：以原数据集为基础，预训练原网络模型，创建目标网络模型，沿用原网络模型上除了输出层外的所有模型层数架构及其统一神经网络各个层的参数；/nS02：为目标网络模型设置输出层，输出层个数与目标数据集匹配；目标网络模型参数初始化随机设置；/nS03：除了输出层之外的统一神经网络各个层的参数都均是基于原模型的参数微调获得，以设置好的目标数据集二次训练输出层至目标网络模型。/n

【技术特征摘要】
20190531 CN 20191046688191.一种适应目标数据集的网络模型微调方法，其特征在于，包括：
S01：以原数据集为基础，预训练原网络模型，创建目标网络模型，沿用原网络模型上除了输出层外的所有模型层数架构及其统一神经网络各个层的参数；
S02：为目标网络模型设置输出层，输出层个数与目标数据集匹配；目标网络模型参数初始化随机设置；
S03：除了输出层之外的统一神经网络各个层的参数都均是基于原模型的参数微调获得，以设置好的目标数据集二次训练输出层至目标网络模型。


2.根据权利要求1所述的适应目标数据集的网络模型微调方法，其特征在于，对于目标数据集的数据量少的情况下：如果数据相似度非常高的话，只修改最后几层或最终的softmax函数图层的输出类别，但若目标数据集的数据相似度低的话，可以冻结预训练模型的初始层数目，并再次训练除初始层之外剩余的层。


3.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，对于目标数据集的数据量大的情况下：如果数据相似度低的话，我们的神经网络训练将会很有效。


4.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，步骤S01还包括原数据集准备步骤S011：准备两个图像文档文件，放成清单的形式，在每一个图像文档文件之后标记该文档文件的类别ID编码，原数据集中图像文档文件的ID编码应当连续。


5.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，所述微调的具体步骤是：
S031：在原网络模型上运行预先训练的参数值，使用比初始化学习率比用于从头开始训练，以数值低于额定值的学习率来确保执行交叉验证；检测目标数据集的数据量，当监测到目标数据集的数据量大于额定值时，截断预先训练好神经网络的最后一层(softmax层)，并用微调的softmax层替换；
S032：当检测到目标数据集的数据量小于额定值时，只训练最后一层，如果数据集数量中等，冻结预训练网络的前一层或几层的权重，仅调整数据集高维层的权重。


6.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，所述步骤S032中冻结预训练原神经网络的前一层或几层的权重，仅调整数据集高维层的权重。


7.根据权利要求6所述的适应目标数据集的网络模型微调方法，其特征在于，在步骤S02中应该注意：为目标网络模型设置输出层时，
S021：首先修改原网络模型的名称，这样预训练的原网络模型赋值的时候这里就会...

【专利技术属性】
技术研发人员：王晓权，唐锐，王凡，
申请(专利权)人：纵目科技上海股份有限公司，
类型：发明
国别省市：上海;31