运动状态估计模型的训练方法、运动状态估计方法及装置制造方法及图纸

本公开实施例公开了一种运动状态估计模型的训练方法、运动状态估计方法及装置。该方法包括：利用特征提取网络，基于第一时刻拍摄的第一样本图像和第二时刻拍摄的第二样本图像，得到第一样本图像对应的第一图像特征和第二样本图像对应的第二图像特征；利用第一图像特征和第二图像特征，进行特征融合，得到第一融合特征；利用运动状态预测网络对第一融合特征进行预测，得到样本图像集中的目标物体的预测运动状态流；基于预测运动状态流和基准运动状态流，确定模型损失；基于模型损失，对运动状态估计模型进行训练。这样，训练好的运动状态估计模型可以直接利用车载相机拍摄的多张图像估计目标物体的运动状态，提高了对目标物体运动状态的估计效率。运动状态的估计效率。运动状态的估计效率。

【技术实现步骤摘要】
运动状态估计模型的训练方法、运动状态估计方法及装置


[0001]本申请涉及自动驾驶
，尤其涉及一种运动状态估计模型的训练方法、运动状态估计方法、装置、存储介质及电子设备。

技术介绍

[0002]在自动驾驶场景中，自动驾驶系统可以利用相邻时刻拍摄的车辆周围的多张图像，来估计车辆周围的目标物体的运动状态。
[0003]目前，自动驾驶系统需要首先利用目标追踪算法，对多张图像中的目标物体进行关联匹配，然后才能进一步计算目标物体的运动状态，无法直接从多张图像中获取目标物体的运动状态。

技术实现思路

[0004]目前，自动驾驶系统无法直接从多张图像中获取目标物体的运动状态，导致对目标物体运动状态的估计效率较低。
[0005]为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种运动状态估计模型的训练方法、运动状态估计方法及装置。
[0006]根据本公开的第一方面，提供了一种运动状态估计模型的训练方法，该运动状态估计模型包括特征提取网络和运动状态预测网络，该训练方法包括：获取样本图像集，样本图像集包括第一时刻拍摄的第一样本图像和第二时刻拍摄的第二样本图像，第一时刻早于第二时刻；利用特征提取网络，基于第一样本图像和第二样本图像，得到第一样本图像对应的第一图像特征和第二样本图像对应的第二图像特征；利用第一图像特征和第二图像特征，进行特征融合，进行特征变换和特征融合，得到目标视角空间内的第一融合特征；利用运动状态预测网络对第一融合特征进行预测，得到样本图像集中的目标物体的预测运动状态流；基于预测运动状态流和基准运动状态流，确定模型损失；基于模型损失，对运动状态估计模型进行训练。
[0007]根据本公开的第二方面，提供了一种运动状态估计方法，包括：获取待处理图像集，待处理图像集包括第三时刻拍摄的第一待处理图像和当前时刻拍摄的第二待处理图像，第三时刻早于当前时刻；利用本公开第一方面提供的运动状态估计模型的训练方法训练得到的运动状态估计模型，基于待处理图像集，得到目标物体在当前时刻的运动状态流。
[0008]根据本公开的第三方面，提供了一种运动状态估计模型的训练装置，该运动状态估计模型包括特征提取网络和运动状态预测网络，该训练装置包括：样本获取模块，用于获取样本图像集，样本图像集包括第一时刻拍摄的第一样本图像和第二时刻拍摄的第二样本图像，第一时刻早于第二时刻；特征提取模块，用于利用特征提取网络，基于第一样本图像和第二样本图像，得到第一样本图像对应的第一图像特征和第二样本图像对应的第二图像特征；特征融合模块，用于利用第一图像特征和第二图像特征，进行特征融合，进行特征变换和特征融合，得到目标视角空间内的第一融合特征；预测模块，用于利用运动状态预测网
络对第一融合特征进行预测，得到样本图像集中的目标物体的预测运动状态流；损失确定模块，用于基于预测运动状态流和基准运动状态流，确定模型损失；训练模块，用于基于模型损失，对运动状态估计模型进行训练。
[0009]根据本公开的第四方面，提供了一种运动状态估计装置，包括：图像获取模块，用于获取待处理图像集，待处理图像集包括第三时刻拍摄的第一待处理图像和当前时刻拍摄的第二待处理图像，第三时刻早于当前时刻；运动状态估计模块，用于利用权利要求1
‑
6任一项的运动状态估计模型的训练方法训练得到的运动状态估计模型，基于待处理图像集，得到目标物体在当前时刻的运动状态流。
[0010]根据本公开的第五方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述的运动状态估计模型的训练方法或运动状态估计方法。
[0011]本公开实施例的技术方案，首先利用特征提取网络，从先后拍摄的第一样本图像和第二样本图像中提取第一图像特征和第二图像特征；然后对第一图像特征和第二图像特征进行特征融合，得到第一融合特征；接下来，利用运动状态预测网络对第一融合特征进行预测，得到目标物体的预测运动状态流；基于预测运动状态流和基准运动状态流，确定模型损失；基于模型损失，对运动状态估计模型进行训练，得到了训练好的运动状态估计模型。这样，训练好的运动状态估计模型可以直接利用车载相机拍摄的多张图像估计目标物体的运动状态，提高了对目标物体运动状态的估计效率。
附图说明
[0012]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0013]图1是适用于本公开实施例的各方法和装置的示例性系统架构示意图。
[0014]图2是本公开一示例性实施例提供的运动状态估计模型的训练方法的流程图。
[0015]图3是本公开一示例性实施例提供的运动状态估计模型的算法结构的示意图。
[0016]图4是本公开一示例性实施例提供的运动状态估计模型的训练方法步骤S230的流程图。
[0017]图5是本公开一示例性实施例提供的确定基准运动状态流的流程图。
[0018]图6是本公开一示例性实施例提供的确定基准运动状态流的步骤S330的流程图。
[0019]图7是本公开一示例性实施例提供的确定基准运动状态流的步骤S320的流程图。
[0020]图8是本公开一示例性实施例提供的从点云数据生成基准运动状态流的数据处理框图。
[0021]图9是本公开一示例性实施例提供的运动状态估计方法的流程图。
[0022]图10是本公开一示例性实施例提供的运动状态估计模型的训练装置的结构图。
[0023]图11是本公开一示例性实施例提供的运动状态估计模型的训练装置的另一结构图。
[0024]图12是本公开一示例性实施例提供的运动状态估计装置的结构图。
[0025]图13是本公开一示例性实施例提供的电子设备的结构框图。
具体实施方式
[0026]下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
[0027]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0028]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0029]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0030]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动状态估计模型的训练方法，所述运动状态估计模型包括特征提取网络和运动状态预测网络，所述方法包括：获取样本图像集，所述样本图像集包括第一时刻拍摄的第一样本图像和第二时刻拍摄的第二样本图像，所述第一时刻早于所述第二时刻；利用所述特征提取网络，基于所述第一样本图像和所述第二样本图像，得到所述第一样本图像对应的第一图像特征和所述第二样本图像对应的第二图像特征；利用所述第一图像特征和所述第二图像特征，进行特征变换和特征融合，得到目标视角空间内的第一融合特征；利用所述运动状态预测网络对所述第一融合特征进行预测，得到所述样本图像集中的目标物体的预测运动状态流；基于所述预测运动状态流和基准运动状态流，确定模型损失；基于所述模型损失，对所述运动状态估计模型进行训练。2.根据权利要求1所述的方法，其中，所述特征提取网络包括第一特征提取网络和第二特征提取网络，所述利用所述特征提取网络，基于所述第一样本图像和所述第二样本图像，得到所述第一样本图像对应的第一图像特征和所述第二样本图像对应的第二图像特征，包括：利用所述第一特征提取网络，基于所述第一样本图像，得到所述第一图像特征；利用所述第二特征提取网络，基于所述第二样本图像，得到所述第二图像特征。3.根据权利要求1所述的方法，其中，所述利用所述第一图像特征和所述第二图像特征，进行特征变换和特征融合，得到目标视角空间内的第一融合特征，包括：利用第一转移矩阵，将所述第一图像特征和所述第二图像特征投影至所述目标视角空间内，得到所述第一图像特征在所述目标视角空间内对应的第一投影特征和所述第二图像特征在所述目标视角空间内对应的第二投影特征，所述第一转移矩阵为目标视角坐标系到图像坐标系的单应性矩阵；利用第二转移矩阵，对所述第一投影特征进行变换，得到所述第一投影特征在所述第二时刻对应的第三投影特征，所述第二转移矩阵为第一时刻到第二时刻的车辆姿态变化矩阵；将所述第三投影特征与所述第二投影特征进行特征融合，得到所述第一融合特征。4.根据权利要求3所述的方法，其中，所述基准运动状态流，通过以下步骤确定：获取点云数据集，所述点云数据集包括所述第一时刻采集的第一点云数据和所述第二时刻采集的第二点云数据；利用目标检测算法，确定所述目标物体在所述第一点云数据中的第一方位信息和所述目标物体在所述第二点云数据中的第二方位信息；利用所述第一方位信息和所述第二方位信息，确定所述目标物体从所述第一时刻到所述第二时刻的方位变化信息；利用所述方位变化信息更新初始的运动状态流，得到所述基准运动状态流。5.根据权利要求4所述的方法，其中，所述利用所述第一方位信息和所述第二方位信息，确定所述目标物体从所述第一时刻到所述第二时刻的方位变化信息，包括：利用第三转移矩阵，将所述第一方位信息和所述第二方位信息投影至目标视角空间
内，得到所述第一方位信息在所述目标视角空间内对应的第一投影方位信息和所述第二方位信息在所述目标视角空间内对应的第二投影方位信息，所述第三转移矩阵为车载雷达坐标系到目标视角坐标系的外参矩阵；利用所述第二转移...

【专利技术属性】
技术研发人员：朱红梅，张骞，任伟强，孟文明，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：