基于多任务学习神经网络的道路场景识别方法和系统技术方案

本发明专利技术提供了一种基于多任务学习神经网络的道路场景识别方法和系统，其中，所述方法包括以下步骤：获取道路场景的图像信息；对图像信息分别进行语义分割和目标检测标注以得到训练数据集；对训练数据集进行数据增强处理；构建多任务学习神经网络；根据增强处理后的训练数据集对多任务学习神经网络进行训练；根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割。本发明专利技术能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。

【技术实现步骤摘要】
基于多任务学习神经网络的道路场景识别方法和系统
本专利技术涉及道路场景识别
，具体涉及一种基于多任务学习神经网络的道路场景识别方法和一种基于多任务学习神经网络的道路场景识别系统。
技术介绍
目前常用于道路场景识别的网络，往往只能单独进行语义分割或着目标检测，因此在实际执行道路场景识别任务时，需要分别执行语义分割和目标检测，并且在进行网络训练时也需要分别训练语义分割网络和目标检测网络，由此，容易导致识别过程和训练过程均占用较多的显存资源，并且耗时较长。
技术实现思路
本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于多任务学习神经网络的道路场景识别方法，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。本专利技术的第二个目的在于提出一种基于多任务学习神经网络的道路场景识别系统。本专利技术的第三个目的在于提出一种计算机设备。为达到上述目的，本专利技术第一方面实施例提出了一种基于多任务学习神经网络的道路场景识别方法，包括以下步骤：获取所述道路场景的图像信息；对所述图像信息分别进行语义分割和目标检测标注以得到训练数据集；对所述训练数据集进行数据增强处理；构建所述多任务学习神经网络；根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练；根据训练后的所述多任务学习神经网络对所述道路场景图像进行目标检测和语义分割。根据本专利技术实施例提出的基于多任务学习神经网络的道路场景识别方法，通过获取道路场景的图像信息，并对图像信息分别进行语义分割和目标检测标注以得到训练数据集，以及对训练数据集进行数据增强处理，然后构建多任务学习神经网络，并根据增强处理后的训练数据集对多任务学习神经网络进行训练，然后根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割，由此，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。另外，根据本专利技术上述实施例提出的基于多任务学习神经网络的道路场景识别方法还可以具有如下附加的技术特征：根据本专利技术的一个实施例，所述多任务学习神经网络包括主干网络、语义分割网络和目标检测网络，其中，所述语义分割网络和所述目标检测网络分别与所述主干网络相连。根据本专利技术的一个实施例，所述语义分割网络包括第一卷积层、第二卷积层、第一激活层、归一化层和上采样层，其中，所述第一卷积层分别与所述主干网络和所述第一激活层相连，所述第一激活层通过所述归一化层连接到所述上采样层，所述上采样层与所述第二卷积层相连。根据本专利技术的一个实施例，所述目标检测网络包括第三卷积层、第四卷积层、第五卷积层、第六卷积层、第二激活层、第三激活层和解码层，其中，所述第三卷积层和所述第四卷积层分别与所述主干网络相连，所述第五卷积层和所述第六卷积层分别与所述解码层相连，所述第二激活层分别与所述第三卷积层和所述第五卷积层相连，所述第三激活层分别与所述第四卷积层和所述第六卷积层相连。根据本专利技术的一个实施例，所述主干网络为CenterNet-DLA34。根据本专利技术的一个实施例，所述第一激活层、所述第二激活层和所述第三激活层均为非线性响应单元。根据本专利技术的一个实施例，对所述训练数据集进行数据增强处理，包括以下步骤：设定多种数据增强处理方法，所述方法包括中值滤波、图像锐化、旋转、镜像、亮度调整；对所述中值滤波、所述图像锐化、所述旋转、所述镜像、所述亮度调整进行随机组合；根据随机组合后的方法对所述训练数据集进行数据增强处理。根据本专利技术的一个实施例，根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练，包括采用随机梯度下降法对所述多任务学习神经网络进行训练。为达到上述目的，本专利技术第二方面实施例提出了一种基于多任务学习神经网络的道路场景识别系统，包括：获取模块，所述获取模块用于获取所述道路场景的图像信息；标注模块，所述标注模块用于对所述图像信息分别进行语义分割和目标检测标注以得到训练数据集；数据增强模块，所述数据增强模块用于对所述训练数据集进行数据增强处理；网络构建模块，所述网络构建模块用于构建所述多任务学习神经网络；网络训练模块，所述网络训练模块用于根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练；识别模块，所述识别模块用于根据训练后的所述多任务学习神经网络对所述道路场景图像进行目标检测和语义分割。根据本专利技术实施例提出的基于多任务学习神经网络的道路场景识别系统，通过设置获取模块、标注模块、数据增强模块、网络构建模块、网络训练模块和识别模块，其中，通过获取模块获取道路场景的图像信息，并通过标注模块对图像信息分别进行语义分割和目标检测标注以得到训练数据集，以及通过数据增强模块对训练数据集进行数据增强处理，然后通过网络构建模块构建多任务学习神经网络，并通过网络训练模块根据增强处理后的训练数据集对多任务学习神经网络进行训练，然后通过识别模块根据训练后的多任务学习神经网络对道路场景图像进行目标检测和语义分割，由此，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。为达到上述目的，本专利技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于多任务学习神经网络的道路场景识别方法。根据本专利技术实施例提出的计算机设备，通过实现上述的基于多任务学习神经网络的道路场景识别方法，能够通过训练一个神经网络来同时实现语义分割和目标检测两个任务，从而能够有效减道路场景识别的时间，以提高道路场景识别效率，并能够节省显存资源。附图说明图1为本专利技术实施例的基于多任务学习神经网络的道路场景识别方法的流程图；图2为本专利技术一个实施例的多任务学习神经网络的结构示意图；图3为本专利技术一个实施例的语义分割网络和目标检测网络的结构示意图；图4为本专利技术一个实施例的主干网络的结构示意图；图5(a)本专利技术一个具体实施例的道路场景图像；图5(b)本专利技术一个具体实施例的道路场景图像的目标检测结果图；图5(c)本专利技术一个具体实施例的道路场景图像的语义分割结果图；图6为本专利技术实施例的基于多任务学习神经网络的道路场景识别系统的方框示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例的基于多任务学习神经网络的道路场景识别方法的流程图。如图1所示，本专利技术实施例的基于多任务本文档来自技高网...

【技术保护点】
1.一种基于多任务学习神经网络的道路场景识别方法，其特征在于，包括以下步骤：/n获取所述道路场景的图像信息；/n对所述图像信息分别进行语义分割和目标检测标注以得到训练数据集；/n对所述训练数据集进行数据增强处理；/n构建所述多任务学习神经网络；/n根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练；/n根据训练后的所述多任务学习神经网络对所述道路场景图像进行目标检测和语义分割。/n

【技术特征摘要】
1.一种基于多任务学习神经网络的道路场景识别方法，其特征在于，包括以下步骤：
获取所述道路场景的图像信息；
对所述图像信息分别进行语义分割和目标检测标注以得到训练数据集；
对所述训练数据集进行数据增强处理；
构建所述多任务学习神经网络；
根据增强处理后的所述训练数据集对所述多任务学习神经网络进行训练；
根据训练后的所述多任务学习神经网络对所述道路场景图像进行目标检测和语义分割。


2.根据权利要求1所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，所述多任务学习神经网络包括主干网络、语义分割网络和目标检测网络，其中，所述语义分割网络和所述目标检测网络分别与所述主干网络相连。


3.根据权利要求2所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，所述语义分割网络包括第一卷积层、第二卷积层、第一激活层、归一化层和上采样层，其中，所述第一卷积层分别与所述主干网络和所述第一激活层相连，所述第一激活层通过所述归一化层连接到所述上采样层，所述上采样层与所述第二卷积层相连。


4.根据权利要求3所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，所述目标检测网络包括第三卷积层、第四卷积层、第五卷积层、第六卷积层、第二激活层、第三激活层和解码层，其中，所述第三卷积层和所述第四卷积层分别与所述主干网络相连，所述第五卷积层和所述第六卷积层分别与所述解码层相连，所述第二激活层分别与所述第三卷积层和所述第五卷积层相连，所述第三激活层分别与所述第四卷积层和所述第六卷积层相连。


5.根据权利要求4所述的基于多任务学习神经网络的道路场景识别方法，其特征在于，所述主干网络为CenterNet-DLA34。


6.根据权利要...

【专利技术属性】
技术研发人员：陈海波，武玉琪，
申请(专利权)人：深兰人工智能深圳有限公司，
类型：发明
国别省市：广东;44