模型训练方法、行人分析方法、装置、设备及存储介质制造方法及图纸

本申请提供一种模型训练方法、行人分析方法、装置、设备及存储介质，涉及数据处理技术领域。其模型训练方法通过对每级网络中的网络参数进行逐层更新，从而可对参数实现更好的梯度更新，获得更好的训练效果。并且在训练过程中更新参数的同时更新权重，相比于人工凭借经验进行权重设置的方式，本申请的方案能在训练过程中基于参数的更新获得更好的权重，有利于提高模型的训练精度。高模型的训练精度。高模型的训练精度。

【技术实现步骤摘要】
模型训练方法、行人分析方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，具体而言，涉及一种模型训练方法、行人分析方法、装置、设备及存储介质。

技术介绍

[0002]随着深度学习技术研究取得了重大突破以及海量大数据支撑、计算能力提升与成本下降等因素的出现，多任务模型的网络规模越来越大，任务的类型和数量也越来越多，因此多任务之间难免存在竞争关系，这种竞争关系会极大的影响模型性能。
[0003]目前在对多任务模型进行训练时，大多数的做法是把多个任务对应的损失值直接做非负加权求和转化为一个总损失，然后利用总损失来反向更新参数。这种做法可以在一定程度上缓解训练过程中多任务竞争所带来的影响，但是其各个损失值对应的权重一般是人为设置权重，这种方式依赖人为经验，这样设置的权重可能并不是合适的，从而影响模型训练精度。

技术实现思路

[0004]本申请实施例的目的在于提供一种模型训练方法、行人分析方法、装置、设备及存储介质，用以改善现有技术中通过人为经验设置权重的方式影响模型训练精度的问题。
[0005]第一方面，本申请实施例提供了一种模型训练方法，用于对多任务模型进行训练，所述多任务模型包括至少一级网络，每级网络包括一个共享分支和与共享分支连接的至少两个下级网络，每个下级网络基于本级网络的共享分支所提取的特征执行对应分组中的预测任务并输出结果，其中，最后一级网络中的每个下级网络对应执行一个预测任务，第一级网络中的共享分支为所述多任务模型的主干网络，所述方法包括：
[0006]将获得的源领域训练样本和目标领域训练样本输入所述多任务模型中，获取所述多任务模型针对每个预测任务的输出结果；
[0007]基于每个预测任务的输出结果计算每个预测任务对应的损失值；
[0008]根据每个预测任务对应的损失值更新该预测任务对应的下级网络的任务独占参数；
[0009]基于所述任务独占参数计算获得每个下级网络对应的损失权重；
[0010]根据每个预测任务对应的损失值和所述损失权重，计算获得总损失值；
[0011]根据所述总损失值更新共享分支的共享参数；
[0012]循环执行上面过程，直至满足模型训练终止条件，结束训练；
[0013]其中，在更新所述主干网络的共享参数时，所述方法还包括：
[0014]获取所述主干网络输出的所述源领域训练样本的第一特征以及所述目标领域训练样本的第二特征；
[0015]获取将所述第一特征与所述第二特征进行域对齐的域对齐损失值；
[0016]根据所述总损失值和所述域对齐损失值更新所述主干网络的共享参数。
[0017]在上述实现过程中，在模型训练过程中通过对每级网络中的网络参数进行逐层更新，从而可对参数实现更好的梯度更新，获得更好的训练效果。并且在训练过程中更新参数的同时更新权重，相比于人工凭借经验进行权重设置的方式，本申请的方案能在训练过程中基于参数的更新获得更好的权重，有利于提高模型的训练精度。并且，考虑到两个训练样本的特征进行域对齐的域对齐损失值，使得模型可以解决领域偏移的问题，通过域对齐损失值来更新主干网络的参数，可以使得整体的域对齐达到最优。
[0018]可选地，所述获取将所述第一特征与所述第二特征进行域对齐时的域对齐损失值，包括：
[0019]通过所述多任务模型中的域判别器预测所述第一特征与所述第二特征进行域对齐的对齐结果；
[0020]根据所述对齐结果计算获得域对齐损失值。
[0021]在上述实现过程中，通过对第一特征与第二特征进行域对齐，在模型训练的过程中，考虑到域对齐损失，从而可以使得模型可以适应不同领域的样本，提高模型在不同领域的预测精度。
[0022]可选地，所述第一特征包括第一底层特征、第一中层特征和第一高层特征，所述第二特征包括第二底层特征、第二中层特征和第二高层特征，所述主干网络的底层网络输出底层特征，所述主干网络的中层网络输出中层特征，所述主干网络的高层网络输出高层特征，所述通过所述多任务模型中的域判别器预测所述第一特征与所述第二特征进行域对齐的对齐结果，包括：
[0023]通过所述多任务模型中的域判别器预测所述第一底层特征与所述第二底层特征进行域对齐的底层特征对齐结果；
[0024]通过所述多任务模型中的域判别器预测所述第一中层特征与所述第二中层特征进行域对齐的中层特征对齐结果；
[0025]通过所述多任务模型中的域判别器预测所述第一高层特征与所述第二高层特征进行域对齐的高层特征对齐结果；
[0026]所述根据所述对齐结果计算获得域对齐损失值，包括：
[0027]根据所述底层特征对齐结果计算获得所述底层网络的底层损失值；
[0028]根据所述中层特征对齐结果计算获得所述中层网络的中层损失值；
[0029]根据所述高层特征对齐结果计算获得所述高层网络的高层损失值；
[0030]根据所述底层损失值、所述中层损失值以及所述高层损失值，计算获得域对齐损失值。
[0031]在上述实现过程中，通过计算获得各个层网络的损失值，以利用各个层网络的损失值来更新各个层网络的参数，从而促使模型能够更好地学习到域对齐特征，提高模型的泛化能力。
[0032]可选地，所述根据所述底层损失值、所述中层损失值以及所述高层损失值，计算获得域对齐损失值，包括：
[0033]根据所述底层损失值更新所述底层网络的底层参数；
[0034]根据所述底层参数计算获得所述底层网络的底层损失权重；
[0035]根据所述中层损失值更新所述中层网络的中层参数；
[0036]根据所述中层参数计算获得所述中层网络的中层损失权重；
[0037]根据所述高层损失值更新所述高层网络的高层参数；
[0038]根据所述高层参数计算获得所述高层网络的高层损失权重；
[0039]根据所述底层损失值、所述底层损失权重、所述中层损失值、所述中层损失权重、所述高层损失值以及所述高层损失权重，计算获得域对齐损失值。
[0040]在上述实现过程中，通过对底层网络、中层网络和高层网络的参数进行逐级更新，以及对每层网络的损失权重进行逐级更新，使得可以在更新参数的同时获得更好的损失权重，这样可在域对齐损失值最小的情况下获得最优的参数和损失权重，有效提高模型的训练精度。
[0041]可选地，所述至少一级网络包括第一级网络和至少两个第二级网络，每个第二级网络中的共享分支为所述第一级网络中的下级网络，所述任务独占参数为所述第二级网络中每个下级网络的网络参数，还包括：
[0042]基于所述任务独占参数以及所述第一级网络中共享分支的共享参数，计算获得第二级网络中每个下级网络对应的第一损失权重；
[0043]根据每个预测任务对应的损失值和所述第一损失权重，计算获得第一总损失值；
[0044]根据所述第一总损失值更新每个第二级网络中共享分支对应的组内共享参数；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，用于对多任务模型进行训练，所述多任务模型包括至少一级网络，每级网络包括一个共享分支和与共享分支连接的至少两个下级网络，每个下级网络基于本级网络的共享分支所提取的特征执行对应分组中的预测任务并输出结果，其中，最后一级网络中的每个下级网络对应执行一个预测任务，第一级网络中的共享分支为所述多任务模型的主干网络，所述方法包括：将获得的源领域训练样本和目标领域训练样本输入所述多任务模型中，获取所述多任务模型针对每个预测任务的输出结果；基于每个预测任务的输出结果计算每个预测任务对应的损失值；根据每个预测任务对应的损失值更新该预测任务对应的下级网络的任务独占参数；基于所述任务独占参数计算获得每个下级网络对应的损失权重；根据每个预测任务对应的损失值和所述损失权重，计算获得总损失值；根据所述总损失值更新共享分支的共享参数；循环执行上面过程，直至满足模型训练终止条件，结束训练；其中，在更新所述主干网络的共享参数时，所述方法还包括：获取所述主干网络输出的所述源领域训练样本的第一特征以及所述目标领域训练样本的第二特征；获取将所述第一特征与所述第二特征进行域对齐的域对齐损失值；根据所述总损失值和所述域对齐损失值更新所述主干网络的共享参数。2.根据权利要求1所述的方法，其特征在于，所述获取将所述第一特征与所述第二特征进行域对齐时的域对齐损失值，包括：通过所述多任务模型中的域判别器预测所述第一特征与所述第二特征进行域对齐的对齐结果；根据所述对齐结果计算获得域对齐损失值。3.根据权利要求2所述的方法，其特征在于，所述第一特征包括第一底层特征、第一中层特征和第一高层特征，所述第二特征包括第二底层特征、第二中层特征和第二高层特征，所述主干网络的底层网络输出底层特征，所述主干网络的中层网络输出中层特征，所述主干网络的高层网络输出高层特征，所述通过所述多任务模型中的域判别器预测所述第一特征与所述第二特征进行域对齐的对齐结果，包括：通过所述多任务模型中的域判别器预测所述第一底层特征与所述第二底层特征进行域对齐的底层特征对齐结果；通过所述多任务模型中的域判别器预测所述第一中层特征与所述第二中层特征进行域对齐的中层特征对齐结果；通过所述多任务模型中的域判别器预测所述第一高层特征与所述第二高层特征进行域对齐的高层特征对齐结果；所述根据所述对齐结果计算获得域对齐损失值，包括：根据所述底层特征对齐结果计算获得所述底层网络的底层损失值；根据所述中层特征对齐结果计算获得所述中层网络的中层损失值；根据所述高层特征对齐结果计算获得所述高层网络的高层损失值；根据所述底层损失值、所述中层损失值以及所述高层损失值，计算获得域对齐损失值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述底层损失值、所述中层损失值以及所述高层损失值，计算获得域对齐损失值，包括：根据所述底层损失值更新所述底层网络的底层参数；根据所述底层参数计算获得所述底层网络的底层损失权重；根据所述中层损失值更新所述中层网络的中层参数；根据所述中层参数计算获得所述中层网络的中层损失权重；根据所述高层损失值更新所述高层网络的高层参数；根据所述高层参数计算获得所述高层网络的高层损失权重；根据所述底层损失值、所述底层损失权重、所述中层损失值、所述中层损失权重、所述高层损失值以及所述高层损失权重，计算获得域对齐损失值。5.根据权利要求1所述的方法，其特征在于，所述至少一级网络包括第一级网络和至少两个第二级网络，每个第二级网络中的共享分支为所述第一级网络中的下级网络，所述任务独占参数为所述第二级网络中每个下级网络的网络参数，还包括：基于所述任务独占参数以及所述第一级网络中共享分支的共享参数，计算获得第二级网络中每个下级网络对应的第一损失权重；根据...

【专利技术属性】
技术研发人员：董帅，冯子钜，叶润源，毛永雄，王伟，戴坤龙，周博伦，邹昆，李文生，
申请(专利权)人：中山市希道科技有限公司，
类型：发明
国别省市：