【技术实现步骤摘要】
本申请涉及自动驾驶联合标注数据质检，尤其涉及一种用于单目3d目标检测模型的联合标注数据校验方法。
技术介绍
1、随着科技的发展，自动驾驶技术被广泛应用。其中，3d目标检测是自动驾驶环境感知
中一个非常重要的任务，即通过3d目标检测技术捕获障碍物的长宽高、三维中心点坐标、航向角等信息。目前通常是通过激光雷达传感器来实现，但考虑到激光雷达的成本较高，且易受天气环境的影响，因此基于rgb摄像头传感器实现的单目3d目标检测方法逐渐替代激光雷达传感器，因此出现了大量用于3d目标检测的模型。然而单目3d目标检测深度学习模型的训练需要含有目标真实属性信息(尺寸信息、维度信息、航向信息)的标签文件，这些标签文件是通过2d3d联合标注得到的，即使用联合标注工具加载图像和点云数据，对点云中存在的目标画出3d框，标注工具会生成尺寸、位置等信息，同时映射到图像中形成2d框的像素位置信息，这些信息会通过json文件保存。由于这些标注数据的质量会影响单目3d目标检测模型的性能，因此对标注数据中的相关信息进行检验是非常有必要的。
2、目前标注数据主要是通过人工抽检来对所标注的数据进行质检，这种方式不仅费时费力，而且采用抽检的方式不能百分之百的覆盖所有标注数据，也没有对标注的数据内容进行检验，很难保证所有的2d3d联合标注数据的质量都是可靠的。
技术实现思路
1、有鉴于此，本专利技术提供一种用于单目3d目标检测模型的联合标注数据校验方法，以解决现有技术费时费力，检测范围不能覆盖全部标注数据，只能
2、本专利技术提供一种一种用于单目3d目标检测模型的联合标注数据校验方法，应用于自动驾驶车辆上，所述联合标注数据包括图像数据、点云数据和json文件，所述方法包括：步骤1：对图像数据进行去畸变操作；步骤2：删除json文件中的错误样本；步骤3：将点云坐标系中的3d信息由激光雷达坐标系转换为相机坐标系，转换函数为：其中，[xc yc zc]表示相机坐标系下的3d坐标位置；[xl yl zl]表示激光雷达坐标系下的3d坐标位置；r表示旋转矩阵；t表示平移矩阵；步骤4：根据相机坐标系下的3d信息构建3d框，根据车辆视觉传感器的内置参数构建2d框，判断3d框与2d框是否贴合；步骤5：若否，则将原始点云数据投影至原始图像数据中，对车辆上的距离传感器和时间传感器进行参数调整，直至点云数据中的点云与图像数据中的物体准确对应。
3、进一步的，所述距离传感器为激光雷达，用于获得点云数据；所述视觉传感器为相机，用于获得图像数据。
4、进一步的，所述步骤1具体为：利用opencv的相关函数以及视觉传感器的畸变参数对联合标注数据中的原始图像数据进行去畸变操作。
5、进一步的，所述畸变参数、旋转矩阵、平移矩阵均通过传感器标定得到。
6、进一步的，所述步骤2包括：步骤21：通过撰写python脚本，遍历json文件中的内容；步骤22：删除内容为空的json文件，删除3d位置信息为0的数据；步骤23：当连续多帧的同一目标航向角数据一致时，只保留第一帧数据，当连续多帧同一目标的类别属性不相同时，删除这批数据中该目标的所有标注信息。
7、进一步的，所述步骤4包括：步骤41：根据相机坐标系下的3d中心点坐标、航向角信息、车辆长宽高尺寸信息，得到8个顶点坐标信息，构建3d框；步骤42：根据车辆视觉传感器的内置参数将8个顶点坐标转换至像素坐标系下的8个2d像素点位置信息，构建2d框；步骤43：通过可视化效果判断3d框与2d框是否贴合。
8、进一步的，所述车辆视觉传感器的内置参数为相机内参，并通过传感器标定得到。
9、进一步的，所述步骤4还包括：步骤44：若3d框与2d框贴合，则选取该数据供单目3d目标检测模型使用。
10、进一步的，所述步骤5包括：步骤51：若3d框与2d框不贴合，则将原始点云数据投影至原始图像数据中；步骤52：通过opencalib工具对车辆上的距离传感器和时间传感器进行参数调整；步骤53：再将调整后的点云数据投影到图像数据中，判断点云数据中的点云与图像数据中的物体是否准确对应，若是，则转步骤55；步骤54：若否，则转步骤52，直至点云数据中的点云与图像数据中的物体准确对应，转步骤55；步骤55：选取该数据供单目3d目标检测模型使用。
11、进一步的，所述方法还包括：步骤6：将校验后得到的最终数据转换成适合单目3d目标检测模型使用的标签样式。
12、本专利技术提供一种用于单目3d目标检测模型的联合标注数据校验方法，通过对联合标注数据去畸变、删除错误样本，再转换坐标系，搭建3d框和2d框，通过判断3d框与2d框是否贴合来筛选误差较大的数据，然后对雷达、相机外参进行调整，直至3d框与2d框相贴合，从而完成单目3d目标检测模型的联合标注数据的校对检验。该技术方案解决现有技术费时费力，检测范围不能覆盖全部标注数据，只能检测标注数据的标注属性，无法检测标注数据的内容的技术问题。
本文档来自技高网...【技术保护点】
1.一种用于单目3D目标检测模型的联合标注数据校验方法，应用于自动驾驶车辆上，其特征在于，所述联合标注数据包括图像数据、点云数据和json文件，所述方法包括：
2.根据权利要求1所述一种用于单目3D目标检测模型的联合标注数据校验方法，其特征在于，所述距离传感器为激光雷达，用于获得点云数据；所述视觉传感器为相机，用于获得图像数据。
3.根据权利要求1所述一种用于单目3D目标检测模型的联合标注数据校验方法，其特征在于，所述步骤1具体为：利用opencv的相关函数以及视觉传感器的畸变参数对联合标注数据中的原始图像数据进行去畸变操作。
4.根据权利要求3所述一种用于单目3D目标检测模型的联合标注数据校验方法，其特征在于，所述畸变参数、旋转矩阵、平移矩阵均通过传感器标定得到。
5.根据权利要求1所述一种用于单目3D目标检测模型的联合标注数据校验方法，其特征在于，所述步骤2包括：
6.根据权利要求1所述一种用于单目3D目标检测模型的联合标注数据校验方法，其特征在于，所述步骤4包括：
7.根据权利要求6所述一种用于单目3D
8.根据权利要求6所述一种用于单目3D目标检测模型的联合标注数据校验方法，其特征在于，所述步骤4还包括：
9.根据权利要求1所述一种用于单目3D目标检测模型的联合标注数据校验方法，其特征在于，所述步骤5包括：
10.根据权利要求1所述一种用于单目3D目标检测模型的联合标注数据校验方法，其特征在于，所述方法还包括：
...【技术特征摘要】
1.一种用于单目3d目标检测模型的联合标注数据校验方法，应用于自动驾驶车辆上，其特征在于，所述联合标注数据包括图像数据、点云数据和json文件，所述方法包括：
2.根据权利要求1所述一种用于单目3d目标检测模型的联合标注数据校验方法，其特征在于，所述距离传感器为激光雷达，用于获得点云数据；所述视觉传感器为相机，用于获得图像数据。
3.根据权利要求1所述一种用于单目3d目标检测模型的联合标注数据校验方法，其特征在于，所述步骤1具体为：利用opencv的相关函数以及视觉传感器的畸变参数对联合标注数据中的原始图像数据进行去畸变操作。
4.根据权利要求3所述一种用于单目3d目标检测模型的联合标注数据校验方法，其特征在于，所述畸变参数、旋转矩阵、平移矩阵均通过传感器标定得到。
5....
【专利技术属性】
技术研发人员：朱晓明，石志奇，储希凯，胡谦，甘浩林，
申请(专利权)人：东风悦享科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。