【技术实现步骤摘要】
本申请涉及数据标注，尤其涉及一种基于开放词汇模型的多模态人工标注标签检查方法及装置。
技术介绍
1、在2d、3d人工智能模型训练过程中，需要学习大量的图片和点云数据的标签来对这些数据进行分析和理解。由于标注量巨大，人的精力无法持续集中，人工标注的准确率随着工作时间的增加而降低。
2、同步的，人工标签的错误检查也是个费时费力的工程，面对人工标注错误发生的随机性和离散性，往往需要再经过一道人工全量检查的流程，但是仍然会有漏检、误检等问题。
技术实现思路
1、本专利技术的目的是提供一种基于开放词汇的多模态人工标注标签检查方法及装置，以解决检查人工标注标签错误费时费力，漏检、误检严重的问题。
2、根据本申请实施例的第一方面，提供一种基于开放词汇模型的多模态人工标注标签检查方法，包括：
3、使用开放词汇模型对待检查的多模态人工标注数据进行2d预测框标签预测，得到2d预测框，将所述2d预测框和人工标注框做对比，检查2d图像中标签名错误、标签不贴合错误、标签漏标错误；
4、使用相机内外参过滤出在所述2d预测框内的点云数据，对所述点云数据利用深度聚类分割算法分割出3d目标，并生成对应的3d目标框，将所述3d目标框和人工标注框做对比，检查3d点云中标签名错误、标签不贴合错误、标签漏标错误；
5、利用相机内外参将所述3d目标框在图像上投影出2d投影框；
6、计算所述2d投影框与所述2d预测框的iou值，得到投影框和预测框之间的关联
7、可选的，还包括：
8、经过所述开放词汇模型检查后无误数据传入开放词汇模型中进行补充训练。
9、可选的，还包括：
10、将有误数据给予展示。
11、可选的，使用开放词汇模型对待检查的多模态人工标注数据进行2d预测框标签预测，包括：
12、使用开放词汇模型根据预先设置的标签名预测2d图像中对应的2d预测框。
13、可选的，使用相机内外参过滤出在所述2d预测框内的点云数据，对所述点云数据利用深度聚类分割算法分割出3d目标，并生成对应的3d目标框，包括：
14、使用相机内外参过滤出在2d预测框内的点云数据，过滤出的点云数据作为粗略3d标签；
15、对所述粗略3d标签应用深度聚类算法，在y轴方向上将深度变化平滑的点云数据聚类为同一环段，然后在x轴方向上将深度变化平滑的不同环段聚类为一个或多个3d目标；
16、计算一个或多个3d目标点云在xyz三个方向上的最大值和最小值，得到一个或多个3d目标的目标框。
17、可选的，利用相机内外参将所述3d目标框在图像上投影出2d投影框，包括：
18、将3d目标框中的八个角点通过相机外参矩阵转换到相机坐标下，得到相机坐标系下的点坐标；
19、利用相机的内参和畸变参数，将相机坐标系下的点坐标转换到像素坐标系下，得到8个角点在像素坐标系下的点坐标；
20、将8个角点在像素坐标系下的点坐标转换为投影框的左上角点和右下角点，得到2d投影框。
21、可选的，计算所述2d投影框与所述2d预测框的iou值，得到投影框和预测框之间的关联分数，包括：
22、计算每个投影框与各个预测框的iou值，所述iou为相交区域与合并区域的比值；
23、将该iou值作为投影框和预测框之间的关联分数。
24、根据本申请实施例的第二方面，提供一种基于开放词汇模型的多模态人工标注标签检查装置，包括：
25、第一检查模块，用于使用开放词汇模型对待检查的多模态人工标注数据进行2d预测框标签预测，得到2d预测框，将所述2d预测框和人工标注框做对比，检查2d图像中标签名错误、标签不贴合错误、标签漏标错误；
26、第二检查模块，用于使用相机内外参过滤出在所述2d预测框内的点云数据，对所述点云数据利用深度聚类分割算法分割出3d目标，并生成对应的3d目标框，将所述3d目标框和人工标注框做对比，检查3d点云中标签名错误、标签不贴合错误、标签漏标错误；
27、投影模块，用于利用相机内外参将所述3d目标框在图像上投影出2d投影框；
28、第三检查模块，用于计算所述2d投影框与所述2d预测框的iou值，得到投影框和预测框之间的关联分数，将所述2d预测框与关联分数最高的2d投影框赋予同一id，根据该id将2d预测框和3d目标框一一关联，并检查人工标注的2d预测框和3d目标框id是否错误。
29、根据本申请实施例的第三方面，提供一种电子设备，包括：
30、一个或多个处理器；
31、存储器，用于存储一个或多个程序；
32、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
33、根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
34、与现有技术相比，本专利技术的实施例至少具有以下有益效果：
35、本申请针对人工检查数据标注标签的标注错误时容易出现漏检、误检等问题提出基于开放词汇模型的多模态人工标注标签检查方法，首先基于开放词汇模型识别2d预测框，检查2d图像数据标签漏标错误、标签不贴合错误、标签名错误，然后通过相机内外参和深度聚类算法生成3d目标框，检查3d点云数据标签漏标错误、标签不贴合错误、标签名错误，最后将3d目标框投影到2d图像生成2d投影框，将2d投影框与2d标注框匹配检查23d目标框关联id错误，该实施例同时检查了23d数据的标签和id错误，提高检查效率和准确率，从而能够应对大规模的数据生产，降低数据生产的成本。
本文档来自技高网...【技术保护点】
1.一种基于开放词汇模型的多模态人工标注标签检查方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求1所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，使用开放词汇模型对待检查的多模态人工标注数据进行2D预测框标签预测，包括：
5.根据权利要求1所述的方法，其特征在于，使用相机内外参过滤出在所述2D预测框内的点云数据，对所述点云数据利用深度聚类分割算法分割出3D目标，并生成对应的3D目标框，包括：
6.根据权利要求1所述的方法，其特征在于，利用相机内外参将所述3D目标框在图像上投影出2D投影框，包括：
7.根据权利要求1所述的方法，其特征在于，计算所述2D投影框与所述2D预测框的IOU值，得到投影框和预测框之间的关联分数，包括：
8.一种基于开放词汇模型的多模态人工标注标签检查装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指
...【技术特征摘要】
1.一种基于开放词汇模型的多模态人工标注标签检查方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求1所述的方法，其特征在于，还包括：
4.根据权利要求1所述的方法，其特征在于，使用开放词汇模型对待检查的多模态人工标注数据进行2d预测框标签预测，包括：
5.根据权利要求1所述的方法，其特征在于，使用相机内外参过滤出在所述2d预测框内的点云数据，对所述点云数据利用深度聚类分割算法分割出3d目标，并生成对应的3d目标框，包括：
【专利技术属性】
技术研发人员：林群书，卜佳俊，吴欣骏，刘明皓，祁士刚，邵琪钧，杨易，张超，赵子健，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。