多任务处理方法、介质及电子设备技术

本申请涉及图像处理领域，公开了一种多任务处理方法、介质及电子设备，能够提升多任务交互效率和多任务预测精度。该方法包括：获取输入图像；针对输入图像，通过神经网络获取M个任务对应的至少两个任务无关特征，以及各个任务分别对应的至少两个任务相关特征，其中任意两个任务互不相同，至少两个任务无关特征为M个任务处理过程中共享的特征，每个任务相关特征为对应任务处理过程中独立使用的特征；针对M个任务中的每个任务，将至少两个任务无关特征中的至少一个任务无关特征与对应的至少一个任务相关特征在通道维堆叠并融合得到各个任务对应的主干特征；针对M个任务，利用各个任务对应的主干特征获取各个任务对应的输出结果。果。果。

【技术实现步骤摘要】
多任务处理方法、介质及电子设备


[0001]本申请涉及图像处理
，特别涉及一种多任务处理方法、介质及电子设备。

技术介绍

[0002]目前基于深度学习的计算机视觉模型在终端设备上得到了广泛应用，并且随着应用场景的拓展，应用的种类也发展迅速。而实际的应用场景往往是多种视觉任务模型同时使用。例如，手机拍照场景中需要同时识别拍摄场景和被摄物体，从而进行针对性的图像增强；智慧屏体感运动场景中，需要同时识别运动主体和姿势动作；智能眼镜的增强现实场景中，需要同时进行物体识别和主体目标分割等任务。
[0003]然而，多个单任务模型在丰富了计算机视觉应用场景的同时，带来了带宽、计算量、延迟和功耗等一系列严重影响用户体验的问题，阻碍了视觉任务应用场景的进一步拓展。而多任务学习方法试图利用多种任务在特征提取过程中的冗余性和互补性，在精度优于各个单任务模型的情况下，将多任务模型融合，并且大幅降低计算量、延迟和功耗。因此，如何在智能感知等业务中实现高效的多任务学习，这成为亟待解决的问题。

技术实现思路

[0004]本申请实施例提供了一种多任务处理方法、介质及电子设备，能够提升多任务交互效率和多任务预测精度。
[0005]第一方面，本申请实施例提供了一种多任务处理方法，用于电子设备，包括：获取输入图像；针对输入图像，通过神经网络获取M个任务对应的至少两个任务无关特征，以及M个任务中各个任务分别对应的至少两个任务相关特征，其中，M个任务均为图像处理任务且任意两个任务互不相同，并且至少两个任务无关特征为M个任务处理过程中共享的特征，每个任务相关特征为对应任务处理过程中独立使用的特征；针对M个任务中的每个任务，将至少两个任务无关特征中的至少一个任务无关特征与对应的至少一个任务相关特征在通道维堆叠并融合得到各个任务对应的主干特征；针对M个任务，利用各个任务对应的主干特征获取各个任务对应的输出结果。
[0006]如此，本申请实施例中，本申请提供的多任务处理方法，可以基于偏共享结构将卷积层分解为任务无关卷积和任务相关卷积，做到端到端的任务关联解耦；并且，利用偏共享结构，将前一层任务无关卷积的抽象特征融入当前层任务相关卷积，该偏共享结构作为基础结构，可直接融入任意视觉任务模型中，提升了本申请的多任务处理在不同场景中的适应度，并且避免了针对各个任务计算任务无关特征。此外，本申请中基于掩码的二级交互结构将多任务信息交互过程可以用任务注意力将其他任务主干特征补充到当前任务主干特征，进而将各个其他任务的初级预测结果首先转化为任务掩码，然后将掩码与当前任务初级预测结果融合，获得多任务预测结果，实现了高效的多任务处理。从而，提升了多任务交互效率和多任务预测精度。
[0007]在上述第一方面的一种可能的实现中，上述神经网络中包括主干模块，主干模块
中包括N层偏共享卷积(即下文中的N层偏共享卷积层)，每层偏共享卷积中包括用于获取任务无关特征的任务无关卷积和用于获取任务相关特征的任务相关卷积。如此，可以实现基于偏共享结构将卷积层分解为任务无关卷积和任务相关卷积，做到端到端的任务关联解耦。
[0008]在上述第一方面的一种可能的实现中，上述通过神经网络获取M个任务对应的至少两个任务无关特征，以及M个任务中各个任务分别对应的至少两个任务相关特征，包括：将输入图像输入神经网络的主干模块的第1层偏共享卷积中，输出第1级任务无关特征和第1级任务相关特征；将第i
‑
1级任务无关特征输入第i层偏共享卷积的任务无关卷积，输出第i级任务无关特征，并且将第i
‑
1级任务无关特征和第i
‑
1级任务相关特征在通道维堆叠后输入第i层偏共享卷积的任务相关卷积，输出第i级任务相关特征，直至到达第N层偏共享卷积，2≤i≤N；其中，至少两个任务无关特征包括第1至N级任务无关特征，各个任务分别对应的至少两个任务相关特征包括第1至N级任务相关特征中对应各个任务的特征。
[0009]如此，本申请利用偏共享结构，能够将前一层任务无关卷积的抽象特征融入当前层的任务相关卷积，该偏共享结构作为基础结构，可直接融入任意视觉任务模型中，提升了本申请的多任务处理在不同场景中的适应度。
[0010]在上述第一方面的一种可能的实现中，上述各个任务对应的至少一个任务无关特征包括第1至N级任务无关特征中一级或多级任务无关特征；各个任务对应的至少一个任务相关特征包括第1至N级任务相关特征中一级或多级任务相关特征。如此，有利于提升多任务交互效率。
[0011]在上述第一方面的一种可能的实现中，上述N层偏共享卷积对应预设的N个剥离系数，每个剥离系数用于指示一个偏共享卷积中的任务无关卷积的算力与任务相关卷积的算力的比重，并且剥离系数随着神经网络的模型深度增加剥离系数增加。如此，平衡了任务无关特征和任务相关特征的模型容量(即对应卷积层的算力)，建立了多任务模型容量分配随模型深度逐步变化的过程，做到了端到端渐进式任务关联解耦。
[0012]在上述第一方面的一种可能的实现中，上述N层偏共享卷积中的起始卷积层中包括M+1个第一卷积层，M个第一卷积层包括M个任务依次对应的第一任务相关卷积和1个第一任务无关卷积，并且，M个第一卷积层中的每个卷积层中分别输入上述输入图像，M个第一卷积层中的各个第一任务相关卷积分别输出对应的一级任务相关特征，M个第一卷积层中的第一任务无关卷积输出一级任务无关特征。
[0013]在上述第一方面的一种可能的实现中，第i层偏共享卷积中包括M+1个第二卷积层，M+1个第二卷积层包括M个任务依次对应的第二任务相关卷积和1个第二任务无关卷积，并且，第j个第二任务相关卷积中输入第i
‑
1级任务相关特征中第j个任务对应的任务相关特征以及第i
‑
1级任务无关特征中的特征，并输出第i级任务相关特征中与第j个任务对应的任务相关特征中的特征，1≤j≤M；第i层偏共享卷积中的第二任务无关卷积输入第i
‑
1级任务无关特征中的特征，并输出第i
‑
1级任务无关特征中的特征。
[0014]在上述第一方面的一种可能的实现中，上述主干模块中还包括N层目标网络层，目标网络层为批规范化层、激活层或池化层；第i层目标网络层中包括M+1个目标网络层，M+1个目标网络层包括M个任务依次对应的第一目标网络层和1个与任务无关的第二目标网络层，并且，第j个第一目标网络层中输入第i
‑
1级任务相关特征中第j个任务对应的任务相关
特征中的特征，并输出第i级任务相关特征中与第j个任务对应的任务相关特征中的特征，1≤j≤M；第i层目标网络层中的第二目标网络层中输入第i
‑
1级任务无关特征中的特征，并输出第i
‑
1级任务无关特征中的特征。
[0015]在上述第一方面的一种可能的实现中，上述主干模块的N层偏共享卷积还包括融合卷积层分组；融合卷积层分组中包括M个融合卷积层，M个融合卷积层中的第j个融合卷积层用于输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务处理方法，用于电子设备，其特征在于，包括：获取输入图像；针对所述输入图像，通过神经网络获取M个任务对应的至少两个任务无关特征，以及所述M个任务中各个任务分别对应的至少两个任务相关特征，其中，所述M个任务均为图像处理任务且任意两个任务互不相同，并且所述至少两个任务无关特征为所述M个任务处理过程中共享的特征，每个任务相关特征为对应任务处理过程中独立使用的特征；针对所述M个任务中的每个任务，将所述至少两个任务无关特征中的至少一个任务无关特征与对应的至少一个任务相关特征在通道维堆叠并融合得到各个任务对应的主干特征；针对所述M个任务，利用各个任务对应的主干特征获取各个任务对应的输出结果。2.根据权利要求1所述的方法，其特征在于，所述神经网络中包括主干模块，所述主干模块中包括N层偏共享卷积，每层偏共享卷积中包括用于获取任务无关特征的任务无关卷积和用于获取任务相关特征的任务相关卷积。3.根据权利要求2所述的方法，其特征在于，所述通过神经网络获取M个任务对应的至少两个任务无关特征，以及所述M个任务中各个任务分别对应的至少两个任务相关特征，包括：将所述输入图像输入所述神经网络的主干模块的第1层偏共享卷积中，输出第1级任务无关特征和第1级任务相关特征；将第i
‑
1级任务无关特征输入第i层偏共享卷积的任务无关卷积，输出第i级任务无关特征，并且将第i
‑
1级任务无关特征和第i
‑
1级任务相关特征在通道维堆叠后输入第i层偏共享卷积的任务相关卷积，输出第i级任务相关特征，直至到达第N层偏共享卷积，2≤i≤N；其中，所述至少两个任务无关特征包括第1至N级任务无关特征，所述各个任务分别对应的至少两个任务相关特征包括所述第1至N级任务相关特征中对应各个任务的特征。4.根据权利要求3所述的方法，其特征在于，所述各个任务对应的至少一个任务无关特征包括所述第1至N级任务无关特征中一级或多级任务无关特征；所述各个任务对应的至少一个任务相关特征包括所述第1至N级任务相关特征中一级或多级任务相关特征。5.根据权利要求2至4中任一项所述的方法，其特征在于，所述N层偏共享卷积对应预设的N个剥离系数，每个剥离系数用于指示一个偏共享卷积中的任务无关卷积的算力与任务相关卷积的算力的比重，并且所述剥离系数随着神经网络的模型深度增加剥离系数增加。6.根据权利要求5所述的方法，其特征在于，所述N层偏共享卷积中的起始卷积层中包括M+1个第一卷积层，所述M个第一卷积层包括所述M个任务依次对应的第一任务相关卷积和1个第一任务无关卷积，并且，所述M个第一卷积层中的每个卷积层中分别输入所述输入图像，所述M个第一卷积层中的各个第一任务相关卷积分别输出对应的一级任务相关特征，所述M个第一卷积层中的第一任务无关卷积输出一级任务无关特征。7.根据权利要求5所述的方法，其特征在于，第i层偏共享卷积中包括M+1个第二卷积层，所述M+1个第二卷积层包括所述M个任务依次对应的第二任务相关卷积和1个第二任务
无关卷积，并且，第j个第二任务相关卷积中输入第i
‑
1级任务相关特征中所述第j个任务对应的任务相关特征以及第i
‑
1级任务无关特征中的特征，并输出第i级任务相关特征中与所述第j个任务对应的任务相关特征中的特征，1≤j≤M；所述第i层偏共享卷积中的所述第二任务无关卷积输入第i
‑
1级任务无关特征中的特征，并输出第i
‑
1级任务无关特征中的特征。8.根据权利要求5或6所述的方法，其特征在于，所述主干模块中还包括N层目标网络层，所述目标网络层为批规范化层、激活层或池化层；第i层目标网络层中包括M+1个目标网络层，所述M+1个目标网络层包括所述M个任务依次对应的第一目标网络层和1个与任务无关的第二目标网络层，并且...

【专利技术属性】
技术研发人员：李勇，陈畅，宋风龙，崔松，郭勇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：