一种六自由度位姿估计数据集自动采集系统技术方案

本发明专利技术实施例公开了一种六自由度位姿估计数据集自动采集系统，包括数据采集平台及数据处理设备；数据采集平台用于利用深度相机拍摄目标场景的RGBD图像序列；数据处理设备内安装有数据标注软件算法，用于对目标场景的RGBD图像序列进行处理，对目标物体进行三维重建，得到三维模型，并基于三维模型自动标注出目标场景中物体的分割掩膜信息和六自由度位姿信息。本发明专利技术能够自动对深度相机采集到的RGB

【技术实现步骤摘要】
一种六自由度位姿估计数据集自动采集系统


[0001]本专利技术涉及机器人
，具体涉及一种六自由度位姿估计数据集自动采集系统，适用于面向机器人抓取的深度学习网络模型的训练或测试数据集的标注环节。

技术介绍

[0002]随着科学技术与工业现代化的快速发展，机器人产业迎来了新的发展机遇，市场占有规模日益增大，大量机器人被应用到分拣、装配、上料等实际生产任务中，在诸多行业中扮演了重要的角色。与传统人工操作相比，机器人具有操作准度高、系统稳定性强、投资回报率高等优势。
[0003]而随着人工智能技术的快速崛起和智能硬件的不断迭代，计算机视觉与机器人技术日益紧密的联系在一起，机器人能够以相机作为“眼睛”来获取场景的视觉信息，实现与外界环境的交互。
[0004]机器人抓取是机器人分拣、装配、上料等作业过程中的关键环节，是实现机器人操作过程自动化、智能化的关键技术。机器人抓取又可以细分为三个子任务，即抓取检测、抓取规划和抓取控制。其中，抓取检测是抓取规划和抓取控制的基础，往往通过相机，特别是深度相机等光学仪器采集抓取场景的图像信息、深度信息，构造抓取场景的三维点云，进而通过算法估计目标物体的位置和姿态，构成抓取描述，引导机器人实现抓取。因此，一类常见的抓取检测方法会将目标物体三维模型与目标物体的实际点云进行配准，从而实现对目标物体的位姿估计。经典的算法包括基于模板匹配的LineMOD算法，基于投票的点对特征算法等。
[0005]随着人工智能技术的推广和应用，越来越多基于深度学习的位姿估计算法被应用到机器人无序抓取任务中。例如，基于改进KeypointRCNN模型的机器人抓取方法，基于PVNet的机器人抓取方法等。这些方法往往需要大量的数据来训练网络模型，以获得期望的位姿估计精度。数据集的丰富程度和标注质量会直接影响网络模型的性能。
[0006]目前，尽管已经出现了诸如LineMOD、HomebrewedDB、HOPE等专门用于六自由度位姿估计的数据集。但是由于数据集标注需要全部或者部分人工手动完成，因此标注工作费时费力，难以获得量大、面广的数据集标注结果。例如，LineMOD数据集中只为15个物体标注了大约1000个位姿标签和分割掩膜标签，HomebrewedDB数据集只对13个场景中的33个物体进行了标注，HOPE数据集则只对50个场景中的28个玩具物体进行标注。虽然，也有诸如ObjectDataSetTools的开源六自由度物体位姿估计数据集制作工具，能够实现位姿估计数据集制作过程的自动化，即由给定的RGB
‑
D图像序列可以自动标注位姿信息、分割掩膜信息和物体三维模型信息，但是该工具只能对单个物体进行标注，并且无法处理复杂场景以及物体间存在的遮挡问题，并且由于在三维重建过程中没有进行法方向一致化处理，因为三维重建结果经常会出现变形、撕裂等现象，大大降低了位姿估计数据集的标注质量。

技术实现思路

[0007]针对
技术介绍
中所提及的技术缺陷，本专利技术实施例的目的在于实现拍摄场景中物体六自由度位姿数据的自动标注，从而为实现机器人无序抓取奠定基础，其中六自由位姿数据主要包括物体的位姿信息，物体在图像中的分割掩膜信息，以及物体的三维模型信息。
[0008]为实现上述目的，本专利技术实施例提供了一种六自由度位姿估计数据集自动采集系统，包括数据采集平台和数据处理设备。其中，所述数据采集平台用于利用深度相机拍摄目标场景的RGBD图像序列；
[0009]所述数据处理设备内安装有数据标注软件算法，用于对目标场景的RGBD图像序列进行处理，对所述目标物体进行三维重建，得到三维模型，并基于所述三维模型自动标注出目标场景中物体的分割掩膜信息和六自由度位姿信。
[0010]作为本专利技术的一种具体实现方式，所述数据采集平台包括电动转台和机械臂；所述电动转台上放置目标物体，且所述电动转台接收上位机下发的控制指令，并根据所述控制指令进行旋转；所述机械臂的末端安装有所述深度相机，所述深度相机可拍摄目标物体各个角度的RGD图像，以得到所述RGBD图像序列。
[0011]进一步地，所述电动转台通过RS
‑
232通信模块接收所述上位机下发的控制指令；所述控制指令包括电动转台的旋转角度和旋转速度。
[0012]作为一种具体实现方式，所述电动转台包括步进电机、皮带、亚克力板、底板及圆形滑轨，所述步进电机安装于所述底板，所述皮带安装于所述圆形滑轨上方，所述圆形滑轨通过两根螺柱安装于所述底板上方，所述皮带上方通过两根螺柱安装有所述亚克力板，所述亚克力板上带有ArUoc标记。
[0013]作为本专利技术的一种具体实现方式，所述数据处理设备采用数据标注软件算法对目标场景的RGBD图像序列进行处理，具体包括：
[0014]第一步，点云对齐：从RGBD图像序列中找到第k帧图像中m个ArUco标记的4个角点的三维坐标，记作X
k
＝{xki|i＝1,2,
…
,4m}，然后确定帧与帧之间X
k
的对应关系；根据每一帧图像的X
k
及其与其它帧图像的对应关系，利用点云全局配准的算法计算出第k帧点云和第一帧点云的变换矩阵T
1k
，如果图像序列中共有n帧，则构成点云变换集合T1＝{T
1k
|k＝1,2,
…
,n}，即第k帧点云经过T
1k
变换后就可以和第1帧点云对齐；
[0015]第二步，三维重建：利用随机采样一致性算法对X
k
进行平面拟合，并滤除每一帧点云中位于平面附近的点；根据集合T1中的T
1k
对第k帧点云进行位置和姿态的变换；对变换后的点云进行三维点云拼接，得到物体完整的点云，并经过点云平滑处理去除噪声，得到重建点云M；使用欧氏聚类分割算法对重建点云M进行分割，获得场景中c个物体的点云O＝{o
i
|i＝1,2,
…
,c}；
[0016]第三步，表面三角化：计算各个物体点云的法向量，并利用基于树状分层黎曼图的法向传播方法对各个物体点云的法向量进行一致化；使用泊松表面重建算法对O进行三角化，得到每个物体的三维模型m
i
，i＝1,2,
…
,c；
[0017]第四步，分割信息标注：将物体三维模型m
i
，i＝1,2,
…
,c中的三角面逐个投影到相机平面，得到物体的分割掩膜序列；
[0018]第五步，位姿信息标注：计算各个物体三维模型m
i
的方向包围盒和包围盒的位姿变换矩阵根据第一帧点云与第k帧点云的位姿变换关系T
1k
计算出第k帧点云中物体模
型m
i
的六自由度位姿信息
[0019]其中，表面三角化步骤中，基于树状分层黎曼图的法向传播方法对各个物体点云的法向量进行一致化，具体为：
[0020](1)在主成分分析方法中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种六自由度位姿估计数据集自动采集系统，包括数据采集平台及数据处理设备，其特征在于，所述数据采集平台用于利用深度相机拍摄目标场景的RGBD图像序列；所述数据处理设备内安装有数据标注软件算法，用于对目标场景的RGBD图像序列进行处理，对所述目标物体进行三维重建，得到三维模型，并基于所述三维模型自动标注出目标场景中物体的分割掩膜信息和六自由度位姿信息。2.如权利要求1所述的自动采集系统，其特征在于，所述数据采集平台包括电动转台和机械臂；所述电动转台上放置目标物体，且所述电动转台接收上位机下发的控制指令，并根据所述控制指令进行旋转；所述机械臂的末端安装有所述深度相机，所述深度相机可拍摄目标物体各个角度的RGD图像，以得到所述RGBD图像序列。3.如权利要求2所述的自动采集系统，其特征在于，所述电动转台通过RS
‑
232通信模块接收所述上位机下发的控制指令；所述控制指令包括电动转台的旋转角度和旋转速度。4.如权利要求2所述的自动采集系统，其特征在于，所述电动转台包括步进电机、皮带、亚克力板、底板及圆形滑轨，所述步进电机安装于所述底板，所述皮带安装于所述圆形滑轨上方，所述圆形滑轨通过两根螺柱安装于所述底板上方，所述皮带上方通过两根螺柱安装有所述亚克力板，所述亚克力板上带有ArUoc标记。5.如权利要求1所述的自动采集系统，其特征在于，所述数据处理设备采用数据标注软件算法对目标场景的RGBD图像序列进行处理，具体包括：第一步，点云对齐：从RGBD图像序列中找到第k帧图像中m个ArUco标记的4个角点的三维坐标，记作X
k
＝{xki|i＝1,2,
…
,4m}，然后确定帧与帧之间X
k
的对应关系；根据每一帧图像的X
k
及其与其它帧图像的对应关系，利用点云全局配准的算法计算出第k帧点云和第一帧点云的变换矩阵T
1k
，如果图像序列中共有n帧，则构成点云变换集合T1＝{T
1k
|k＝1,2,
…
,n}，即第k帧点云经过T
1k
变换后就可以和第1帧点云对齐；第二步，三维重建：利用随机采样一致性算法对X
k
进行平面拟合，并滤除每一帧点云中位于平面附近的点；根据集合T1中的T
1k
对...

【专利技术属性】
技术研发人员：陈鹏，孙翰翔，包倍源，陈海永，刘卫朋，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：