一种多视角多任务车辆属性识别方法及装置制造方法及图纸

本发明专利技术公开了一种多视角多任务车辆属性识别方法及装置，涉及人工智能和计算机视觉技术领域。该多视角多任务车辆属性识别方法，包括以下步骤：S1，收集同一时刻同一场景的多个视角的图片；S2，分别对多个视角的图片进行车辆目标检测；S3，将多个视角下车辆目标的坐标转换到统一的坐标系中；S4，将同一辆车的多个视角图片输入多视角多任务识别模型中进行识别；S5，输出车辆的多个属性。本发明专利技术通过将多个视角下车辆目标的坐标转换到统一的坐标系中，将同一辆车的多个视角图片输入多视角多任务识别模型中进行识别，达到了提高整体车辆属性识别准确率的效果，解决了只利用车辆的部分视角画面导致得到的车辆属性准确率不高的问题。角画面导致得到的车辆属性准确率不高的问题。角画面导致得到的车辆属性准确率不高的问题。

【技术实现步骤摘要】
一种多视角多任务车辆属性识别方法及装置


[0001]本专利技术涉及人工智能和计算机视觉
，尤其涉及一种多视角多任务车辆属性识别方法及装置。

技术介绍

[0002]智慧交通是在智能交通的基础上，融入人工智能、物联网、云计算、大数据、移动互联等高新IT技术，通过高新技术汇集交通信息，提供实时交通数据下的交通信息服务。车辆属性(颜色、类型、型号等)识别是智慧交通场景的核心技术之一。
[0003]目前的车辆属性识别技术主要有以下几种：1)通过带有抓拍功能的摄像机，对行驶的车辆进行抓拍，使用多个深度神经网络对车辆进行分类，可以获取车辆所属颜色、型号等类别；2)使用硬共享参数的多任务属性网络，从骨干网络中直接连出多个属性分支；3)输入同一个视频下的多帧图片进行属性识别。
[0004]但本申请专利技术人在实现本申请实施例中专利技术技术方案的过程中，发现上述技术至少存在如下技术问题：
[0005]已有的技术没有使用同一时刻同一辆车不同视角的图片进行属性识别，多任务分支也比较直接，只是简单增加多个属性分支，并未考虑各个任务对特征的侧重。综上所述，现有技术只利用车辆的部分视角画面导致得到的车辆属性准确率不高。

技术实现思路

[0006]本申请实施例通过提供一种多视角多任务车辆属性识别方法及装置，解决了现有技术中只利用车辆的部分视角画面导致得到的车辆属性准确率不高的技术问题，实现了能够同时使用多个视角的图片进行车辆属性的识别，并能够同时识别车辆的多个属性。
[0007]本申请实施例提供了一种多视角多任务车辆属性识别方法，包括以下步骤：
[0008]S1，收集同一时刻同一场景的多个视角的图片；
[0009]S2，分别对多个视角的图片进行车辆目标检测；
[0010]S3，将多个视角下车辆目标的坐标转换到统一的坐标系中；
[0011]S4，将同一辆车的多个视角图片输入多视角多任务识别模型中进行识别；
[0012]S5，输出车辆的多个属性。
[0013]进一步的，所述S3中的坐标转换到统一的坐标系中的具体步骤为：
[0014]S31，在一个场景中，标注4个点，在视角1中，其坐标为P1、P2、P3、P4，在视角2中，其坐标为P1
’
、P2
’
、P3
’
、P4
’
；
[0015]S32，使用P1
’
、P2
’
、P3
’
、P4
’
和P1、P2、P3、P4计算视角2到视角1的透视变换矩阵T；
[0016]S33，对于视角2中新检测到的坐标P，计算T*P即得到在视角1中的表示；
[0017]S34，重复S31至S33，将其它视角中的坐标统一到一个视角中。
[0018]进一步的，所述S32中计算透视变换矩阵T使用的函数为opencv中的getPerspectiveTransform函数。
[0019]进一步的，所述S4中的多个视角下同一辆车指转换坐标系后最近邻欧式距离小于阈值的车辆。
[0020]进一步的，所述S4中的多视角多任务识别模型的训练步骤为：
[0021]S41，输入2个视角的图片，分别经过深度卷积神经网络，得到初级特征图feature map；
[0022]S42，feature map通过连接的视图注意力模块，获得加权的特征图；
[0023]S43，将多个视角的特征图按通道进行连接，得到一个整体的特征图；
[0024]S44，通过整体的特征图之后连接的任务注意力模块对整体的特征图进行加权，得到对该任务有用的特征，并进行标签分类；
[0025]S45，通过整体的特征图之后连接的辅助模块对该任务的标签进行独热编码，再进行拼接；
[0026]S46，计算损失函数，并使用反向传播对深度卷积神经网络进行优化，得到多视角多任务识别模型。
[0027]进一步的，所述步骤一中的深度卷积神经网络使用的结构是ResNet50。
[0028]进一步的，所述步骤二中的视图注意力模块和步骤四中的任务注意力模块均为卷积注意力模块。
[0029]进一步的，所述步骤四中进行标签分类之前需要通过连接在任务注意力模块中的flatten层对多维的输入进行一维化。
[0030]进一步的，所述步骤六中的计算损失函数时使用的损失函数为交叉熵损失函数。
[0031]本申请实施例提供了一种多视角多任务车辆属性识别装置，包括收集模块、检测模块、转换模块、识别模块和输出模块：
[0032]收集模块：用于收集同一时刻同一场景的多个视角的图片；
[0033]检测模块：用于分别对多个视角的图片进行车辆目标检测；
[0034]转换模块：用于将多个视角下车辆目标的坐标转换到统一的坐标系中；
[0035]识别模块：用于将同一辆车的多个视角图片输入多视角多任务识别模型中进行识别；
[0036]输出模块：用于输出车辆的多个属性。
[0037]本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0038]1、由于采用了将多个视角下车辆目标的坐标转换到统一的坐标系中，将同一辆车的多个视角图片输入多视角多任务识别模型中进行识别的技术，所以增加输入的信息量，避免信息不全导致误判，有效解决了现有技术只利用车辆的部分视角画面导致得到的车辆属性准确率不高的问题，进而实现了整体车辆属性识别准确率的提高。
[0039]2、由于采用了多视角多任务识别模型对多个视角的图片进行处理，获得多个标签的技术，所以可以利用一次识别过程得到车辆的多个属性，有效解决了现有技术中一次识别过程只能识别出车辆的单个属性的问题，进而实现了减少计算量，可使得相同硬件下支持更多的视频流。
[0040]3、由于在多视角多任务识别模型中采用了视图注意力模块和任务注意力模块的技术，所以可以分别学习视角有效特征和任务有效特征，有效解决了现有技术中识别的车辆属性特征难以进行很好地融合的问题，进而实现了能够高效地进行特征融合。
附图说明
[0041]图1为本申请实施例一提供的多视角多任务车辆属性识别方法流程图；
[0042]图2为本申请实施例二提供的多视角多任务车辆属性识别装置结构图；
[0043]图3为本申请实施例一提供的识别车辆属性流程图；
[0044]图4为本申请实施例一提供的视角1检测图；
[0045]图5为本申请实施例一提供的视角2检测图；
[0046]图6为本申请实施例一提供的视角1输入图；
[0047]图7为本申请实施例一提供的视角2输入图；
[0048]图8为本申请实施例一提供的坐标系转换坐标标注图；
[0049]图9为本申请实施例一提供的视角1坐标系转换坐标标注图；
[0050]图10为本申请实施例一提供的视角2坐标系转换坐标标注图；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视角多任务车辆属性识别方法，其特征在于，包括以下步骤：S1，收集同一时刻同一场景的多个视角的图片；S2，分别对多个视角的图片进行车辆目标检测；S3，将多个视角下车辆目标的坐标转换到统一的坐标系中；S4，将同一辆车的多个视角图片输入多视角多任务识别模型中进行识别；S5，输出车辆的多个属性。2.根据权利要求1所述多视角多任务车辆属性识别方法，其特征在于，所述S3中的坐标转换到统一的坐标系中的具体步骤为：S31，在一个场景中，标注4个点，在视角1中，其坐标为P1、P2、P3、P4，在视角2中，其坐标为P1
’
、P2
’
、P3
’
、P4
’
；S32，使用P1
’
、P2
’
、P3
’
、P4
’
和P1、P2、P3、P4计算视角2到视角1的透视变换矩阵T；S33，对于视角2中新检测到的坐标P，计算T*P即得到在视角1中的表示；S34，重复S31至S33，将其它视角中的坐标统一到一个视角中。3.根据权利要求2所述多视角多任务车辆属性识别方法，其特征在于：所述S32中计算透视变换矩阵T使用的函数为opencv中的getPerspectiveTransform函数。4.根据权利要求1所述多视角多任务车辆属性识别方法，其特征在于：所述S4中的多个视角下同一辆车指转换坐标系后最近邻欧式距离小于阈值的车辆。5.根据权利要求1所述多视角多任务车辆属性识别方法，其特征在于，所述S4中的多视角多任务识别模型的训练步骤为：S41，输入2个视角的...

【专利技术属性】
技术研发人员：周伟伟，王卫锋，唐中平，林翔鹏，林瑞玉，覃元锋，龚啸云，陆嘉达，凌承昆，郭逸豪，黄宇生，赵邢瑜，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：