基于深度学习的细粒度车身颜色分类方法、装置和设备制造方法及图纸

本公开提供一种基于深度学习的细粒度车身颜色分类方法、装置和设备，其中的方法包括：将获取的待分类车辆图像输入到预设的细粒度车身颜色分类模型，以得到所述待分类车辆图像对应的类别标签。本公开通过构建基于深度残差神经网络的细粒度车身颜色分类模型，提高了监控道路场景中细粒度车身颜色分类的准确性。控道路场景中细粒度车身颜色分类的准确性。控道路场景中细粒度车身颜色分类的准确性。

【技术实现步骤摘要】
基于深度学习的细粒度车身颜色分类方法、装置和设备


[0001]本公开涉及智能识别
，尤其涉及一种基于深度学习的细粒度车身颜色分类方法、装置和设备。

技术介绍

[0002]家用汽车作为服务于家庭单位的便捷性交通工具，在我国人民的出行方式中已然成为了主流，近几年，智能交通系统的概念被提出，旨在发展将智能技术与现有交通系统相结合的下一代交通系统。在车辆颜色、型号、车牌等常见被研究属性中，对于长时间车辆视频追踪任务，车辆颜色属性以其车身占比大，抗干扰性强(模糊、遮挡或视角变化)以及识别专业性低等特点，被视作更具有价值的属性信息。如果智能监控平台可以精准且尽可能细粒度的识别车辆颜色，则会对车辆追踪等任务产生巨大帮助。
[0003]在车身颜色分类方面，大规模引入神经网络之前，人工选择并提取特征进而与分类器结合的方法占据主流地位：有些方法考虑了各种颜色空间内不同分量的所有可能组合，以此作为特征集，同时分别结合了多种不同的分类方法；有些方法使用HSI颜色空间替换RGB颜色空间，首先计算相对误差距离，进而根据匹配结果完成车辆的颜色分类任务；有些方法使用HS二维直方图，其根据车辆运动方向定位颜色识别关键区域。上述传统方法的技术存在一定的弊端，如人工提取的特征适应性不强，在不同的任务中难以有稳定的表达性能，提取的特征之间关联性低，另外，进行特征工程也会耗费大量的人力资源。近年来，深度学习技术在图像处理领域取得很大进展，深度学习技术也被广泛应用于车身颜色分类领域。有些方法通过对比试验首次证明了卷积神经网络可用于车身颜色识别；有些方法采用深度学习的思想，并在原始的卷积神经网络中融合了空间金字塔策略。然而，上述两种方法所设计的网络均过于简单，难以准确定位车辆图像中包含主体颜色的关键性区域，尤其对于细粒度级别的车身颜色分类会产生较大误差。

技术实现思路

[0004]有鉴于此，本公开的目的在于提出一种基于深度学习的细粒度车身颜色分类方法、装置和设备。
[0005]基于上述目的，本公开提供了一种基于深度学习的细粒度车身颜色分类方法，包括：
[0006]将获取的待分类车辆图像输入到预设的细粒度车身颜色分类模型，以得到所述待分类车辆图像对应的类别标签；
[0007]其中，所述细粒度车身颜色分类模型基于深度残差神经网络得到，所述深度残差神经网络包括局部特征提取网络和嵌入自注意力编码器的车身颜色分类网络，构建所述细粒度车身颜色分类模型包括：
[0008]将基于监控场景的车辆图像作为训练样本，输入到所述车身颜色分类网络后得到融合特征信息；
[0009]将所述融合特征信息输入车身颜色分类网络，得到不同粒度的车身颜色标签；
[0010]根据所述车身颜色分类网络输出的车身颜色标签和对应真实颜色标签之间的差异，调整所述局部特征提取网络以及所述车身颜色分类网络的参数，当迭代次数达到预设次数时，终止训练，得到所述细粒度车身颜色分类模型。
[0011]结合上述说明，在本公开实施例另一种可能的实施方式中，所述得到所述待分类车辆图像对应的类别标签包括：
[0012]将所述待分类车辆图像输入到所述局部特征提取网络，对待分类车辆图像进行预设卷积运算，以将待分类车辆图像映射到编码空间，得到固定尺度大小的特征图像；
[0013]将所述固定尺度大小的特征图像按照像素点为单位切分，重新排列后得到固定长度的像素点序列，再添加位置编码与分类标志位，输入到所述车身颜色分类网络，所述车身颜色分类网络对最后三层编码器提取的特征信息进行特征融合，得到融合后的特征信息；
[0014]将所述融合后的特征信息输入到车身颜色分类网络的后续层中，结合线性操作与非线性操作得到两种不同粒度的车身颜色标签。
[0015]结合上述说明，在本公开实施例另一种可能的实施方式中，所述嵌入自注意力编码器的车身颜色分类网络包括自注意力编码器以及特征融合分类模块，输入的固定长度像素点序列经过注意力编码器，得到各层转换编码器子模块对应的分类标志位，将最后三层编码器的分类标志位输入到特征融合分类模块，得到融合后的特征信息，将所述融合后的特征信息输入到后续分类层中，以得到两种不同粒度的车身颜色标签。
[0016]结合上述说明，在本公开实施例另一种可能的实施方式中，所述车身颜色分类网络的自注意力编码器包括若干个转换编码器子模块堆叠而成，所述转换编码器子模块由多头自注意力模块和前向传播网络组成，输入的固定长度像素点序列在多个不同的子空间进行融合，以得到任意两个特征像素点之间的关联权重关系，以通过所述关联权重关系使拼接的子空间信息得到充分融合。
[0017]结合上述说明，在本公开实施例另一种可能的实施方式中，所述前向传播网络包括双层线性变换以及GeLU激活函数，其中的双层线性变换用于降维和升维，同时GeLU激活函数通过非线性变换用于增强模型表达能力。
[0018]结合上述说明，在本公开实施例另一种可能的实施方式中，所述局部特征提取网络包括多个卷积层，所述待分类车辆图像每经过一个卷积层都会得到一个特定尺度的特征图像，最终得到包括有原始图像高层特征的特征图像。
[0019]结合上述说明，在本公开实施例另一种可能的实施方式中，所述将所述融合后的特征信息输入到后续分类层中，以得到两种不同粒度的车身颜色标签，包括：
[0020]将最后三层编码器的分类标志位进行维度拼接操作，再传入后续分类层进行颜色类别分类，经过预设卷积操作得到对应不同粒度的两个结果向量，以对应于两种不同粒度的车身颜色标签。
[0021]第二方面，本公开还提供了一种基于深度学习的细粒度车身颜色分类装置，包括：
[0022]图像获取模块，用于获取待分类车辆图像；
[0023]车身颜色分类模块，用于将获取的待分类车辆图像输入到预设的细粒度车身颜色分类模型，以得到所述待分类车辆图像对应的类别标签；
[0024]其中，所述细粒度车身颜色分类模型基于深度残差神经网络得到，所述深度残差
神经网络包括局部特征提取网络和嵌入自注意力编码器的车身颜色分类网络，构建所述细粒度车身颜色分类模型包括：
[0025]将基于监控场景的车辆图像作为训练样本，输入到所述车身颜色分类网络后得到融合特征信息；
[0026]将所述融合特征信息输入车身颜色分类网络，得到不同粒度的车身颜色标签；
[0027]根据所述车身颜色分类网络输出的车身颜色标签和对应真实颜色标签之间的差异，调整所述局部特征提取网络以及所述车身颜色分类网络的参数，当迭代次数达到预设次数时，终止训练，得到所述细粒度车身颜色分类模型。
[0028]第三方面，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于深度学习的细粒度车身颜色分类方法。
[0029]第四方面，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的细粒度车身颜色分类方法，包括：将获取的待分类车辆图像输入到预设的细粒度车身颜色分类模型，以得到所述待分类车辆图像对应的类别标签；其中，所述细粒度车身颜色分类模型基于深度残差神经网络得到，所述深度残差神经网络包括局部特征提取网络和嵌入自注意力编码器的车身颜色分类网络，构建所述细粒度车身颜色分类模型包括：将基于监控场景的车辆图像作为训练样本，输入到所述车身颜色分类网络后得到融合特征信息；将所述融合特征信息输入车身颜色分类网络，得到不同粒度的车身颜色标签；根据所述车身颜色分类网络输出的车身颜色标签和对应真实颜色标签之间的差异，调整所述局部特征提取网络以及所述车身颜色分类网络的参数，当迭代次数达到预设次数时，终止训练，得到所述细粒度车身颜色分类模型。2.根据权利要求1所述的基于深度学习的细粒度车身颜色分类方法，其中，所述得到所述待分类车辆图像对应的类别标签包括：将所述待分类车辆图像输入到所述局部特征提取网络，对待分类车辆图像进行预设卷积运算，以将待分类车辆图像映射到编码空间，得到固定尺度大小的特征图像；将所述固定尺度大小的特征图像按照像素点为单位切分，重新排列后得到固定长度的像素点序列，再添加位置编码与分类标志位，输入到所述车身颜色分类网络，所述车身颜色分类网络对最后三层编码器提取的特征信息进行特征融合，得到融合后的特征信息；将所述融合后的特征信息输入到车身颜色分类网络的后续层中，结合线性操作与非线性操作得到两种不同粒度的车身颜色标签。3.根据权利要求1所述的基于深度学习的细粒度车身颜色分类方法，其中，所述嵌入自注意力编码器的车身颜色分类网络包括自注意力编码器以及特征融合分类模块，输入的固定长度像素点序列经过注意力编码器，得到各层转换编码器子模块对应的分类标志位，将最后三层编码器的分类标志位输入到特征融合分类模块，得到融合后的特征信息，将所述融合后的特征信息输入到后续分类层中，以得到两种不同粒度的车身颜色标签。4.根据权利要求3所述的基于深度学习的细粒度车身颜色分类方法，其中，所述车身颜色分类网络的自注意力编码器包括若干个转换编码器子模块堆叠而成，所述转换编码器子模块由多头自注意力模块和前向传播网络组成，输入的固定长度像素点序列在多个不同的子空间进行融合，以得到任意两个特征像素点...

【专利技术属性】
技术研发人员：傅慧源，马华东，王英瑾，王川铭，郑宇超，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：