【技术实现步骤摘要】
本申请属于自动泊车的，涉及一种检测方法，特别是涉及一种车位的3d信息检测方法、装置、设备及系统。
技术介绍
1、随着社会的快速发展，私家车在大城市越来越多，因此在有些场所很难找到一个空闲的停车位。尤其是很难在交通密集的地区寻找到的免费停车位。此外，在所有的汽车碰撞事故中，较多事故发生在停车场。
2、在这种情况下，泊车辅助系统(park assist system，pas)应运而生，该系统在泊车方面为车主提供了极大的便利。车位检测是pas系统的重要组成部分。然而，目前很多车位检测方法的前提是平坦地面，无法获取车位的高度信息，若平面有一定的坡度或高度拼接出来的图片畸变较大，若用此畸变图来做车位检测，检测出的结果并不准确。
技术实现思路
1、本申请提供一种车位的3d信息检测方法、装置、设备及系统，用于解决如何对车位进行3d检测的问题。
2、第一方面，本申请提供一种车位的3d信息检测方法，所述方法包括：获取实时生成的图像数据和激光雷达点云数据；将所述图像数据和所述激光雷达点云数据输入至预先训练的车位分析模型中，输出各组车位信息；所述车位信息包括不同的预测车位，每个预测车位包括车位的3d角点信息和车位的置信度；根据所述置信度与车位筛选阈值的大小关系，滤除所述置信度小于所述车位筛选阈值的预测车位；根据所述车位的3d角点信息扩展车位角点的外接长方体；对置信度筛选后的预测车位的外接长方体进行非最大值抑制筛选，基于筛选留下的预测车位确定最终的车位的3d信息。
3、
4、在第一方面的一种实现方式中，将所述融合特征输入至车位检测解码器中输出模型训练阶段的各组车位预测信息，所述车位预测信息包括多个预测车位，每个预测车位包括预测出的4个角点的x，y信息、高度信息z以及车位置信度，包括如下步骤：提取所述融合特征中的语义特征；结合所述语义特征，对所述融合特征中的图像特征进行第一卷积处理，输出3d车位4个角点各自的坐标偏移量，将所述坐标偏移量输入至坐标转换模块中以获取与预设锚点坐标组合，最终确定3d车位4个角点的x，y信息；结合所述语义特征，对所述融合特征中的图像特征进行第二卷积处理，提取与角点高度信息相关的特征，对与角点高度信息相关的特征进一步解码获取3d车位检测角点的高度信息表征量，对所述高度信息表征量进行e指数操作，最终确定3d车位4个角点的高度信息z；结合所述语义特征，对所述融合特征中的图像特征进行第三卷积处理，提取与角点置信度相关的特征，对与置信度相关的特征进一步解码获取3d车位检测置信度因子，对所述置信度因子进行函数激活获取预测置信度。
5、在第一方面的一种实现方式中，利用所述标签、所述车位预测信息，通过各分支的损失函数以及权重值对所述车位分析模型进行多次迭代训练对所述车位分析模型进行优化步骤包括：训练时，基于标注车位的对应的锚点将标注车位的x，y转换为标签偏移量，并计算标签偏移量与预测的坐标偏移量之间损失；将所述e指数操作结果与标签高度z的值进行损失计算；根据预测车位置信度与标签置信度进行损失计算，以优化所述车位分析模型。
6、在第一方面的一种实现方式中，标注车位中的每个角点坐标(x，y，z)的获取包括如下步骤：利用第一坐标变换将激光雷达点云数据变换为自车坐标系数据，所述激光雷达点云数据基于对雷达原始点云数据进行拼接处理后获得，所述自车坐标系数据包括车位的4个角点；在所述自车坐标系数据上标注出车位的4个角点坐标信息(x，y，z)；利用第二坐标变换将4个所述角点坐标信息分别变换为相机坐标系数据；利用相机内参将4个所述相机坐标系数据分别变换为图像坐标系数据；将4个所述图像坐标系数据分别可视化在单个摄像头采集的图像数据上，根据所述图像坐标系数据与图像数据中存在角点之间的重合程度完成车位的标注，所述标注后的车位包括4个角点坐标信息(x，y，z)。
7、在第一方面的一种实现方式中，根据所述图像坐标系数据与图像数据中存在角点之间的重合程度完成车位的标注的步骤，包括：响应于所述图像坐标系数据与所采集的图像数据重合，完成车位的标注；响应于所述图像坐标系数据与所采集的图像数据不重合，在所述自车坐标系数据上对已标注车位的4个角点坐标信息进行微调，直至所述图像坐标系数据与所采集的图像数据重合，完成车位的标注。
8、在第一方面的一种实现方式中，根据所述车位的3d角点信息扩展车位角点的外接长方体的步骤，包括：根据所述车位的3d角点信息确定4个车位角点构成的斜面；将所述斜面投影至预设的高度固定值所在平面，确定水平投影面；结合所述斜面和所述水平投影面确定所述外接长方体。
9、第二方面，本申请提供一种车位的3d信息检测装置，所述装置包括：数据获取模块，被配置为获取实时生成的图像数据和激光雷达点云数据；模型分析模块，被配置为将所述图像数据和所述激光雷达点云数据输入至预先训练的车位分析模型中，输出各组车位信息；所述车位信息包括不同的预测车位，每个预测车位包括车位的3d角点信息和车位的置信度；阈值筛选模块，被配置为根据所述置信度与车位筛选阈值的大小关系，滤除所述置信度小于所述车位筛选阈值的预测车位；角点处理模块，被配置为根据所述车位的3d角点信息扩展车位角点的外接长方体；车位信息确定模块，被配置为对置信度筛选后的预测车位的外接长方体进行非最大值抑制筛选，基于筛选留下的预测车位确定最终的车位的3d信息。
10、第三方面，本申请提供一种电子设备，所述电子设备包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行所述的方法。
11、第四方面，本申请提供一本文档来自技高网...
【技术保护点】
1.一种车位的3D信息检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在获取实时生成的图像数据和点云数据的步骤之前，所述方法还包括：基于训练数据训练所述车位分析模型；所述训练数据包括拼接处理的激光雷达点云数据、单个摄像头采集的图像数据以及二者之间的标签，所述标签包括标注车位中的每个角点坐标(X，Y，Z)以及标签车位置信度，其中，以标注车位的中心点对应的锚点为圆心，以预设长度为半径，将落入圆圈范围内锚点对应的车位的标签置信度设置为1，否则为0；
3.根据权利要求2所述的方法，其特征在于，将所述融合特征输入至车位检测解码器中输出模型训练阶段的各组车位预测信息，所述车位预测信息包括多个预测车位，每个预测车位包括预测出的4个角点的x，y信息、高度信息z以及车位置信度，包括如下步骤：
4.根据权利要求3所述的方法，其特征在于，利用所述标签、所述车位预测信息，通过各分支的损失函数以及权重值对所述车位分析模型进行多次迭代训练对所述车位分析模型进行优化步骤包括：
5.根据权利要求2所述的方法，其特征在于，标注车位中的
6.根据权利要求4所述的方法，其特征在于，根据所述图像坐标系数据与图像数据中存在角点之间的重合程度完成车位的标注的步骤，包括：
7.根据权利要求1所述的方法，其特征在于，根据所述车位的3D角点信息扩展车位角点的外接长方体的步骤，包括：
8.一种车位的3D信息检测装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：处理器及存储器；
10.一种车位的3D信息检测系统，其特征在于，所述系统包括：如权利要求8所述的电子设备及泊车控制设备；所述电子设备与所述泊车控制设备通信连接；
...【技术特征摘要】
1.一种车位的3d信息检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在获取实时生成的图像数据和点云数据的步骤之前，所述方法还包括：基于训练数据训练所述车位分析模型；所述训练数据包括拼接处理的激光雷达点云数据、单个摄像头采集的图像数据以及二者之间的标签，所述标签包括标注车位中的每个角点坐标(x，y，z)以及标签车位置信度，其中，以标注车位的中心点对应的锚点为圆心，以预设长度为半径，将落入圆圈范围内锚点对应的车位的标签置信度设置为1，否则为0；
3.根据权利要求2所述的方法，其特征在于，将所述融合特征输入至车位检测解码器中输出模型训练阶段的各组车位预测信息，所述车位预测信息包括多个预测车位，每个预测车位包括预测出的4个角点的x，y信息、高度信息z以及车位置信度，包括如下步骤：
4.根据权利要求3所述的方法，其特征在于，利用所述标...
【专利技术属性】
技术研发人员：田俊，齐丹阳，蒋鑫，
申请(专利权)人：上海保隆领目汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。