System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及图像处理,具体地涉及一种图像标注方法、装置、电子设备及存储介质。
技术介绍
1、随着人工智能技术的不断发展,基于三维关键点预测的技术被广泛应用于机器视觉、机器人等领域。例如,在娱乐场景中,游戏机利用深度摄像机对人体三维关键点进行预测,进而对人体姿态进行实时估计,可用于辅助用户健身锻炼和娱乐游戏等应用。在vr和ar场景中,通过对手势和人脸三维关键点的预测,实现对手部、人脸或者全身的重建,可用于虚拟数字人和虚拟生活的重建。除此之外,在机器人场景下,机器人通过视觉对不同物体的三维关键点检测,进而得到合理的抓取位置有利于完成物体的抓取等操作。
2、目前基于数据驱动的三维关键点预测算法需要构建大规模、标注出关键点的二维图像的数据集。通常二维图像的关键点标注是人工标注的,需要耗费大量的人力、经济和时间成本,而且标注效率较低。
技术实现思路
1、有鉴于此,本申请提供一种图像标注方法、装置、电子设备及存储介质,以利于解决现有技术中人工标注二维图像的关键点,导致成本高且效率低的问题。
2、第一方面,本申请实施例提供了一种图像标注方法,包括:
3、获取待标注物体的多帧目标图像及每帧目标图像对应的图像采集器件的拍摄位姿;其中,至少两帧目标图像对应的图像采集器件的拍摄位姿不同;所述目标图像是图像内包含有所述待标注物体的二维图像;
4、根据所述待标注物体的多帧目标图像及每帧目标图像对应的图像采集器件的拍摄位姿,利用预设三维重建算法,重建所述待标注物体
5、在所述待标注物体的三维模型上,确定所述三维模型的多个三维关键点;
6、针对待标注物体的多帧目标图像中的每帧目标图像,根据所述目标图像对应的图像采集器件的拍摄位姿,将三维模型中多个三维关键点投影至所述目标图像中,得到所述目标图像的标注信息。
7、在第一方面的一种可能的实现方式中,所述标注信息包括所述目标图像的二维关键点的位置信息及深度信息。
8、在第一方面的一种可能的实现方式中,所述根据所述目标图像对应的图像采集器件的拍摄位姿,将三维模型中多个三维关键点投影至所述目标图像中,得到所述目标图像的标注信息包括:
9、根据所述目标图像对应的图像采集器件的拍摄位姿,确定所述图像采集器件的投影矩阵;根据所述图像采集器件的投影矩阵,确定所述三维模型与所述目标图像间的映射转换信息;
10、根据所述映射转换信息,将三维模型中多个三维关键点投影至所述目标图像中,得到所述目标图像的标注信息。
11、在第一方面的一种可能的实现方式中,所述获取待标注物体的多帧目标图像及每帧目标图像对应的图像采集器件的拍摄位姿包括:
12、获取待标注物体的多帧图像及每帧图像对应的图像采集器件的拍摄位姿;
13、在所述多帧图像中,将图像中包含有所述待标注物体的图像确定为目标图像,并确定所述目标图像对应的图像采集器件的拍摄位姿。
14、在第一方面的一种可能的实现方式中,所述获取待标注物体的多帧图像及每帧图像对应的图像采集器件的拍摄位姿包括:
15、获取多个预设位姿;
16、根据所述多个预设位姿中每个预设位姿,调整所述图像采集器件的拍摄角度,获取所述图像采集器件拍摄的所述待标注物体的图像,及所述图像采集器件的拍摄位姿。
17、在第一方面的一种可能的实现方式中,所述在所述待标注物体的三维模型上,确定所述三维模型的多个三维关键点包括:
18、响应于用户的所述三维模型的标注操作,在所述待标注物体的三维模型上,确定所述三维模型的多个三维关键点。
19、在第一方面的一种可能的实现方式中,还包括:
20、将所述多帧目标图像及所述多帧目标图像的标注信息按照预设存储格式进行存储。
21、第二方面,本申请实施例提供了一种图像标注装置,包括:
22、获取单元,用于获取待标注物体的多帧目标图像及每帧目标图像对应的图像采集器件的拍摄位姿;其中,至少两帧目标图像对应的图像采集器件的拍摄位姿不同;所述目标图像是所述图像内包含有所述待标注物体的图像;
23、重建单元,用于根据所述待标注物体的多帧目标图像及每帧目标图像对应的图像采集器件的拍摄位姿,利用预设三维重建算法,重建所述待标注物体的三维模型;
24、确定单元,用于在所述待标注物体的三维模型上,确定所述三维模型的多个三维关键点;
25、处理单元,用于针对待标注物体的多帧目标图像中的每帧目标图像,根据所述目标图像对应的图像采集器件的拍摄位姿,将三维模型中多个三维关键点投影至所述目标图像中,得到所述目标图像的标注信息。
26、在第二方面的一种可能的实现方式中,所述标注信息包括所述目标图像的二维关键点的位置信息及深度信息。
27、在第二方面的一种可能的实现方式中,所述处理单元,具体用于根据所述目标图像对应的图像采集器件的拍摄位姿,确定所述图像采集器件的投影矩阵;根据所述图像采集器件的投影矩阵,确定所述三维模型与所述目标图像间的映射转换信息;
28、根据所述映射转换信息,将三维模型中多个三维关键点投影至所述目标图像中,得到所述目标图像的标注信息。
29、在第二方面的一种可能的实现方式中,所述获取单元,具体用于获取待标注物体的多帧图像及每帧图像对应的图像采集器件的拍摄位姿;
30、在所述多帧图像中,将图像中包含有所述待标注物体的图像确定为目标图像,并确定所述目标图像对应的图像采集器件的拍摄位姿。
31、在第二方面的一种可能的实现方式中,所述获取单元,具体用于获取多个预设位姿;
32、根据所述多个预设位姿中每个预设位姿,调整所述图像采集器件的拍摄角度,获取所述图像采集器件拍摄的所述待标注物体的图像,及所述图像采集器件的拍摄位姿。
33、在第二方面的一种可能的实现方式中,所述确定单元,具体用于响应于用户的所述三维模型的标注操作,在所述待标注物体的三维模型上,确定所述三维模型的多个三维关键点。
34、在第二方面的一种可能的实现方式中,所述图像标注装置还包括:
35、存储单元,用于将所述多帧目标图像及所述多帧目标图像的标注信息按照预设存储格式进行存储。
36、第三方面,本申请实施例提供了一种电子设备,包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被所述处理器执行时,触发所述电子设备执行上述第一方面任一项所述的方法。
37、第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行上述第一方面任一项所述的方法。
38、采用本申请实施例所提供的方案,获取待标注物体的多帧目标图像及每帧目标图像对应的图像采集器件的拍摄位姿。根据待标注物本文档来自技高网...
【技术保护点】
1.一种图像标注方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述标注信息包括所述目标图像的二维关键点的位置信息及深度信息。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述目标图像对应的图像采集器件的拍摄位姿,将三维模型中多个三维关键点投影至所述目标图像中,得到所述目标图像的标注信息包括:
4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取待标注物体的多帧目标图像及每帧目标图像对应的图像采集器件的拍摄位姿包括:
5.根据权利要求4所述的方法,其特征在于,所述获取待标注物体的多帧图像及每帧图像对应的图像采集器件的拍摄位姿包括:
6.根据权利要求1-5任一项所述的方法,其特征在于,所述在所述待标注物体的三维模型上,确定所述三维模型的多个三维关键点包括:
7.根据权利要求1-6任一项所述的方法,其特征在于,还包括:
8.一种图像标注装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1-7中任意一项所述的方法。
...【技术特征摘要】
1.一种图像标注方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述标注信息包括所述目标图像的二维关键点的位置信息及深度信息。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述目标图像对应的图像采集器件的拍摄位姿,将三维模型中多个三维关键点投影至所述目标图像中,得到所述目标图像的标注信息包括:
4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取待标注物体的多帧目标图像及每帧目标图像对应的图像采集器件的拍摄位姿包括:
5.根据权利要求4所述的方法,其特征在于,所述获取待标注物体的多帧图像及每帧图像对应的图像采集器件的拍摄位姿包括:
6....
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。