一种三维姿态估计数据集的生成方法技术

本发明专利技术属于计算机视觉技术领域，具体为一种三维姿态估计数据集的生成方法。本发明专利技术方法包括如下步骤：数据准备：在3D软件中导入目标的3D模型；数据处理与采集：3D软件中创建摄像机对准目标3D模型并设置摄像机运动轨迹，采集多视角目标图像数据；数据标注：利用相机标定的方法自动标注目标最小三维矩形框顶点投影到图像上的像素坐标。通过本方法可以快速生成大量带标签的目标三维姿态估计数据集。与传统方法相比，本发明专利技术方法硬件成本低、标注准确度高，且适用范围广。

【技术实现步骤摘要】
一种三维姿态估计数据集的生成方法
本专利技术属于计算机视觉
，具体涉及一种三维姿态估计数据集的生成方法。
技术介绍
三维姿态估计广泛应用于机器人抓举、人体姿态识别、航天器对接等众多领域。随着深度学习的发展，不断产生新的三维姿态估计算法，模型姿态估计的能力也不断提高。深度学习之所以取得成功，归功于高容量的模型，高速增长的计算力，以及大规模标记数据的可用性。文献[1]研究表明大规模数据有助于表征学习，采用大规模的数据集进行训练，可能会对该领域产生极大的好处。在特定任务领域我们能够提供大量的数据来训练模型，但在大部分领域是难以做到的。例如卫星姿态估计问题，卫星作为国家保密资源，公开的数据很少。因此需要找到一种高效的生成三维姿态估计数据集的方法。三维姿态估计中数据集的获取至关重要。传统的方法是利用深度相机等设备采集目标数据，但难以解决目标数据不足或者标记困难的问题。本专利技术提出的方法利用3D软件采集多视角目标图像数据，通过计算目标最小三维矩形框顶点的投影坐标，生成高质量的三维姿态估计数据集。参考文献[1]SunC,ShrivastavaA,SinghS,etal.Revisitingunreasonableeffectivenessofdataindeeplearningera[C]//2017IEEEInternationalConferenceonComputerVision(ICCV).IEEE,2017:843-852.。
技术实现思路
针对传统方法的不足，本专利技术提出一种硬件成本低、标注准确度高、适用范围广的三维姿态估计数据集的生成方法。本专利技术提供的一种三维姿态估计数据集的生成方法，具体步骤为：步骤S1、数据准备：3D软件中导入目标3D模型，调整3D模型的大小和位置参数；步骤S2、数据处理与采集：3D软件中创建摄像机，设置摄像机运动轨迹、视图环境背景和光源属性，通过渲染采集目标图像数据；步骤S3、数据标注：通过相机标定以及坐标变换的方法标注目标最小三维矩形框顶点投影的像素坐标。优选的，步骤S1具体包括：步骤S11、从3D软件中导入目标的3D模型，3D软件包括但不限于3dsMax、solidworks、unity等；步骤S12、根据模型实际大小设置系统单位转换比例，并将模型组合为一个整体；步骤S13、设置模型初始旋转角度，调整模型在世界坐标系中的位置。优选的，步骤S2具体包括：步骤S21、根据需求创建一个或多个摄像机，摄像机目标对准S12中组合后的模型中心；步骤S22、创建一个图形作为摄像机的运动轨迹，并以此作为S21中摄像机的路径约束，通过调整轨迹的大小和旋转角度实现不同角度与不同距离下对目标的观测；步骤S23、添加视图环境背景，设置光源属性；步骤S24、设置渲染的活动时间段和渲染区域，输出摄像机视图，采集多视角目标图像数据。优选的，步骤S3具体包括：步骤S31、利用3D软件中度量工具，测量目标最小三维矩形框中8个顶点和中心点在世界坐标系上的空间坐标值；步骤S32、在3D软件中导入或者制作一个标准标定板，标定3D软件中摄像机的内参，所述内参具体包括：摄像机的焦距、图像像素坐标系中光轴投影的主点坐标、坐标轴的倾斜参数、每个像素代表的实际物理值大小，摄像机径向畸变系数和切向畸变系数；步骤S33、利用步骤S22中摄像机的运动轨迹和目标的位置信息计算摄像机的外参，所述外参具体包括：摄像机的旋转矩阵和平移矩阵，前者描述世界坐标系的坐标轴相对于摄像机坐标系的坐标轴的方向，后者描述在摄像机坐标系下，空间原点的位置；步骤S34、根据摄像机内参和外参，构建世界坐标到像素坐标的映射关系，通过坐标转换计算目标最小三维矩形框顶点空间坐标在目标图像上的二维投影像素坐标，完成目标最小三维矩形框的标注。本专利技术利用3D软件采集多视角目标图像数据，通过计算目标最小三维矩形框顶点的投影坐标，生成高质量的三维姿态估计数据集。本专利技术通过3D软件采集目标数据，规避了深度相机等设备的使用，相比于传统方法硬件成本低；考虑到三维姿态估计数据集标注复杂，本专利技术通过相机标定和坐标转换的方法标注数据，规避了人工标注，同时标注准确度高；本专利技术通过3D软件自由生成不同视角、不同背景和光照等条件下的目标数据，通过导入或者制作不同领域目标的三维模型，可以生成多种不同领域的三维姿态估计数据集，并且在真实数据不足或难以获得时可以起到替代真实数据的作用，适用范围广泛。本专利技术生成的三维姿态估计数据集通过YOLO-6D网络训练，最终测试准确率均高于90%，这对于深度学习在三维姿态估计中的应用具有重要意义。附图说明图1为本专利技术一种三维姿态估计数据集的生成方法整体流程框图。图2为步骤S2以卫星模型为例生成的卫星数据图像。图3为步骤S3以卫星模型为例的最小三维矩形框标注效果示意图。具体实施方式下面以3dsMax软件生成卫星三维姿态估计数据集为例进一步描述本专利技术方法。除了此处记载的实施示例外，采用本专利技术的内容利用其它3D软件生成不同目标三维姿态估计数据集的方法属于本专利技术的保护范围之内。步骤S1、数据准备：3dsMax软件中导入卫星3D模型，调整模型的大小和位置参数；步骤S1具体包含如下操作：步骤S11、下载公开的卫星3D模型，并导入3dsMax软件中；步骤S12、将卫星3D模型组合为一个整体，设置系统单位转换，比如1单元=1毫米；步骤S13、设置卫星旋转角度为0，并将其中心移动至世界坐标系原点处。步骤S2、数据处理与采集：3dsMax中创建目标摄像机，设置目标摄像机运动轨迹、视图环境背景和光源属性，模拟多角度轨道下摄像机对卫星数据的采集，渲染输出目标卫星图像。步骤S2具体包含如下操作：步骤S21、创建一个目标摄像机，将目标摄像机对准卫星中心即世界坐标系的原点；步骤S22、自定义摄像机的运动轨迹，比如创建一个圆心在世界坐标系原点的圆，将目标摄像机通过路径约束将其运动轨迹固定在圆上，切换到目标摄像机视角，调整圆的半径，使得卫星在目标摄像机的视角中有一个合适的大小；步骤S23、3dsMax环境中设置环境贴图作为数据背景，比如太空图片作为卫星图像背景，再打开精简材质编辑器，将环境贴图导入材质编辑器并将格式设置为“屏幕”，设置环境光以及摄像机的曝光参数，得到不同光源与不同背景下的卫星视图；步骤S24、打开渲染设置，选择渲染对象为目标摄像机视图，自定义帧数范围和图片格式，比如渲染0到99帧的图像并保存为800×600的JPG文件，通过更改步骤S22中运动轨迹的旋转角度和半径，得到多角度轨道下的卫星图像数据。步骤S3、数据标注：以生成卫星三维姿态估计数据集为例，利用相机标定和坐标转换的方法标注卫星最小三维矩形框顶点空间坐标在二维图像上的投影，生本文档来自技高网...

【技术保护点】
1.一种三维姿态估计数据集的生成方法，其特征在于，具体步骤为：/n步骤S1、数据准备：/n3D软件中导入目标3D模型，调整3D模型的大小和位置参数；/n步骤S2、数据处理与采集：/n3D软件中创建摄像机，设置摄像机运动轨迹、视图环境背景和光源属性，通过渲染采集目标图像数据；/n步骤S3、数据标注：/n通过相机标定以及坐标变换的方法标注目标最小三维矩形框顶点投影的像素坐标。/n

【技术特征摘要】
1.一种三维姿态估计数据集的生成方法，其特征在于，具体步骤为：
步骤S1、数据准备：
3D软件中导入目标3D模型，调整3D模型的大小和位置参数；
步骤S2、数据处理与采集：
3D软件中创建摄像机，设置摄像机运动轨迹、视图环境背景和光源属性，通过渲染采集目标图像数据；
步骤S3、数据标注：
通过相机标定以及坐标变换的方法标注目标最小三维矩形框顶点投影的像素坐标。


2.根据权利要求1所述的三维姿态估计数据集的生成方法，其特征在于，步骤S1具体包括：
步骤S11、从3D软件中导入目标的3D模型，所述3D软件包括3dsMax、solidworks、unity；
步骤S12、根据模型实际大小设置系统单位转换比例，并将模型组合为一个整体；
步骤S13、设置模型初始旋转角度，调整模型在世界坐标系中的位置。


3.根据权利要求2所述的三维姿态估计数据集的生成方法，其特征在于，步骤S2具体包括：
步骤S21、根据需求创建一个或多个摄像机，摄像机目标对准S12中组合后的模型中心；
步骤S22、创建一个图形作为摄像机的运动轨迹，并以此作为S21中摄像机的路径约束，通过调...

【专利技术属性】
技术研发人员：黄平平，冯辉，李旦，胡波，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31