车载目标匹配方法及装置、系统、计算设备和存储介质制造方法及图纸

本申请实施例涉及人工智能技术领域，且涉及一种车载目标匹配方法及装置、系统、计算设备和存储介质。该方法具体方案为：接收激光定位装置检测到的目标物与车辆的距离以及目标物的方位信息；接收摄像装置采集到的目标物的图像信息；将距离、方位信息和图像信息输入到神经网络模型，利用神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息；神经网络模型是利用增广数据进行训练，并利用知识蒸馏对模型进行压缩得到的。本申请实施例结合激光定位装置和摄像装置采集到的信息，利用神经网络模型实现快速高效的精确识别及辅助目标匹配的目的，能够为驾驶员提供可靠、多维、精确的辅助操作指引，从而可以轻松地完成复杂操作，提高作业精度。提高作业精度。提高作业精度。

【技术实现步骤摘要】
车载目标匹配方法及装置、系统、计算设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及车载目标匹配方法及装置、系统、计算设备和存储介质。

技术介绍

[0002]传统的车辆在执行各种操作时，通常需要依靠地面指引人员与车辆驾驶员的交互、调整，才能完成操作动作。尤其是传统大型特种车辆，一般情况下需要依靠地面指引人员通过指挥与车辆驾驶员实现多次交互、多次调整才能完成的各类操作动作。对于大型车辆，环境复杂、视野不佳的场所，例如：矿区、危险品车辆、大型军用特种车辆，在执行操作时往往需要多人多次协同工作，在多人交互的过程中往往由于环境复杂，导致操作指引不够精确可靠，使得完成复杂操作十分困难，且作业精度不够理想。

技术实现思路

[0003]鉴于现有技术的以上问题，本申请实施例提供一种车载目标匹配方法及装置、系统、计算设备和存储介质，结合激光定位装置和摄像装置采集到的信息，利用神经网络模型可实现快速高效的精确识别及辅助目标匹配的目的，能够为驾驶员提供可靠、多维、精确的辅助操作指引，从而可以轻松地完成复杂操作，提高作业精度。
[0004]达到上述目的，本申请第一方面提供了一种车载目标匹配方法，包括：
[0005]接收激光定位装置检测到的目标物与车辆的距离以及目标物的方位信息；
[0006]接收摄像装置采集到的目标物的图像信息；
[0007]将所述距离、所述方位信息和所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息；
[0008]其中，所述神经网络模型是利用增广数据进行训练，并利用知识蒸馏对模型进行压缩得到的。
[0009]作为第一方面的一种可能的实现方式，所述将所述距离与方位信息、所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息，包括：
[0010]所述将所述距离与方位信息、所述图像信息输入到所述神经网络模型的卷积层，利用所述卷积层生成目标物的掩膜；
[0011]将所述目标物的掩膜输入到所述神经网络模型的全连接层，利用所述全连接层得到所述目标物的位置和姿态的标记信息。
[0012]作为第一方面的一种可能的实现方式，生成所述增广数据的方式包括以下至少之一：
[0013]对训练图像进行随机旋转；
[0014]对训练图像进行平移和尺度变化；
[0015]对训练图像的饱和度和亮度进行指数运算；
[0016]对训练图像添加噪声扰动。
[0017]作为第一方面的一种可能的实现方式，所述利用知识蒸馏对模型进行压缩，包括：
[0018]利用压缩之前的源网络的预测输出和温度参数，获得软标签；
[0019]将样本的真实标注作为硬标签；
[0020]将所述软标签与所述硬标签的交叉熵的加权平均作为损失函数，训练得到压缩之后的目标网络。
[0021]本申请第二方面提供了一种车载目标匹配装置，包括：
[0022]第一接收单元，用于接收激光定位装置检测到的目标物与车辆的距离以及目标物的方位信息；
[0023]第二接收单元，用于接收摄像装置采集到的目标物的图像信息；
[0024]匹配单元，用于将所述距离、所述方位信息和所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息；
[0025]其中，所述神经网络模型是利用增广数据进行训练，并利用知识蒸馏对模型进行压缩得到的。
[0026]作为第二方面的一种可能的实现方式，所述匹配单元用于：
[0027]所述将所述距离与方位信息、所述图像信息输入到所述神经网络模型的卷积层，利用所述卷积层生成目标物的掩膜；
[0028]将所述目标物的掩膜输入到所述神经网络模型的全连接层，利用所述全连接层得到所述目标物的位置和姿态的标记信息。
[0029]作为第二方面的一种可能的实现方式，所述装置还包括数据生成单元，所述数据生成单元用于采用以下至少之一的方式生成所述增广数据：
[0030]对训练图像进行随机旋转；
[0031]对训练图像进行平移和尺度变化；
[0032]对训练图像的饱和度和亮度进行指数运算；
[0033]对训练图像添加噪声扰动。
[0034]作为第二方面的一种可能的实现方式，所述装置还包括训练单元，所述训练单元用于：
[0035]利用压缩之前的源网络的预测输出和温度参数，获得软标签；
[0036]将样本的真实标注作为硬标签；
[0037]将所述软标签与所述硬标签的交叉熵的加权平均作为损失函数，训练得到压缩之后的目标网络。
[0038]本申请第三方面提供了一种车载目标匹配系统，包括激光定位装置、摄像装置和上述任一项所述的目标匹配装置。
[0039]作为第三方面的一种可能的实现方式，所述系统还包括：
[0040]控制装置，用于接收来自所述匹配装置的目标物的位置和姿态的标记信息，根据所述目标物的位置和姿态的标记信息生成控制信息。
[0041]作为第三方面的一种可能的实现方式，所述系统还包括：
[0042]显示装置，用于展示所述目标物的位置和姿态的标记信息、所述控制信息中的至少之一。
[0043]本申请第四方面提供了一种计算设备，包括：
[0044]通信接口；
[0045]至少一个处理器，其与所述通信接口连接；以及
[0046]至少一个存储器，其与所述处理器连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行上述第一方面任一所述的方法。
[0047]本申请第五方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行上述第一方面任一所述的方法。
[0048]本专利技术的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
[0049]以下参照附图来进一步说明本专利技术的各个特征和各个特征之间的联系。附图均为示例性的，一些特征并不以实际比例示出，并且一些附图中可能省略了本申请所涉及领域的惯常的且对于本申请非必要的特征，或是额外示出了对于本申请非必要的特征，附图所示的各个特征的组合并不用以限制本申请。另外，在本说明书全文中，相同的附图标记所指代的内容也是相同的。具体的附图说明如下：
[0050]图1为本申请实施例提供的车载目标匹配方法的一实施例的示意图；
[0051]图2为本申请实施例提供的车载目标匹配方法的一实施例的硬件结构组成示意图；
[0052]图3为本申请实施例提供的车载目标匹配方法的一实施例的软件平台架构图；
[0053]图4为本申请实施例提供的车载目标匹配方法的一实施例的神经网络模型处理流程示意图；
[0054]图5为本申请实施例提供的车载目标匹配方法的一实施例的数据增广示意图；
[0055]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载目标匹配方法，其特征在于，包括：接收激光定位装置检测到的目标物与车辆的距离以及目标物的方位信息；接收摄像装置采集到的目标物的图像信息；将所述距离、所述方位信息和所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息；其中，所述神经网络模型是利用增广数据进行训练，并利用知识蒸馏对模型进行压缩得到的。2.根据权利要求1所述的方法，其特征在于，所述将所述距离与方位信息、所述图像信息输入到神经网络模型，利用所述神经网络模型进行图像匹配，得到目标物的位置和姿态的标记信息，包括：所述将所述距离与方位信息、所述图像信息输入到所述神经网络模型的卷积层，利用所述卷积层生成目标物的掩膜；将所述目标物的掩膜输入到所述神经网络模型的全连接层，利用所述全连接层得到所述目标物的位置和姿态的标记信息。3.根据权利要求1或2所述的方法，其特征在于，生成所述增广数据的方式包括以下至少之一：对训练图像进行随机旋转；对训练图像进行平移和尺度变化；对训练图像的饱和度和亮度进行指数运算；对训练图像添加噪声扰动。4.根据权利要求1或2所述的方法，其特征在于，所述利用知识蒸馏对模型进行压缩，包括：利用压缩之前的源网络的预测输出和温度参数，获得软标签；将样本的真实标注作为硬标签；将所述软标签与所述硬标签的交叉熵的加权平均作为损失函数，训练得到压缩之后的目标网络。5.一种车载目标匹配装置，其特征在于，包...

【专利技术属性】
技术研发人员：魏岩，杜建东，
申请(专利权)人：东土华盛科技有限公司，
类型：发明
国别省市：