基于Kinect的植物群体全局三维重建方法技术

本发明专利技术公开了基于Kinect的植物群体全局三维重建方法，应用于三维重建技术领域，利用张正友标定法获取相机参数，并通过相似三角形原理将植株深度数据转化为三维点云数据；采用Harris角点检测法得到二维特征点，并进行网格化、离散化处理得到三维特征点，对所述三维特征点进行奇异值分解，将不同视角的点云配准转换到世界坐标系下实现多视角下植物点云的局部三维重建；对多视角下植物点云的局部三维重建结果进行粗配准和精配准实现全局三维重建。本发明专利技术通过对不同周期的植物进行三维建模，为计算植物表型特征参数，分析植物生长过程中的表型参数变化做铺垫，为植物表型分析、精准化智能化管理提供数据支持和理论指导。智能化管理提供数据支持和理论指导。智能化管理提供数据支持和理论指导。

【技术实现步骤摘要】
基于Kinect的植物群体全局三维重建方法


[0001]本专利技术涉及三维重建
，更具体的说是涉及基于Kinect的植物群体全局三维重建方法。

技术介绍

[0002]植物表型是指能够反映植物细胞、组织、植株和群体的结构及功能特征的物理、生理和生化性质，表型信息在现代化农业精准智能化管理中起着不可或缺的作用。传统上，基于人工测量植物表型方式具有破坏性，且主观性严重、效率低，不适用于实际农业管理。随着机器视觉、农业机器人和人工智能等技术的快速发展，植物表型测量逐渐趋向高通量、高精度、自动化。目前，植物表型测量主要基于二维图像和三维点云技术。然而由于植株形态复杂，叶片间存在相互遮挡等因素，基于二维图像和基于单视角的三维点云表型测量技术无法实现对植株表型信息的全面测量。通过计算机视觉技术建立植株三维模型，进而精准高效的提取植株表型性状已逐渐成为植物表型领域的研究热点。
[0003]因此，如何提供一种精准高效的提取植株表型性状植物群体全局三维重建方法是本领域技术人员亟需解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于Kinect的植物群体全局三维重建方法，以解决
技术介绍
中提及的问题。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]基于Kinect的植物群体全局三维重建方法，具体步骤如下：
[0007]利用张正友标定法获取相机参数，并通过相似三角形原理将植株深度数据转化为三维点云数据；
[0008]采用Harris角点检测法得到二维特征点，并进行网格化、离散化处理得到三维特征点，对所述三维特征点进行奇异值分解，将其它视角的点云配准转换到世界坐标系下实现多视角下植物点云的局部三维重建；
[0009]对多视角下植物点云的局部三维重建结果进行粗配准和精配准实现全局三维重建。
[0010]优选的，在上述的基于Kinect的植物群体全局三维重建方法中，获取植物三维点云数据具体步骤如下：
[0011]首先，获取植物的RGB图像和深度图像，以及棋盘格不同角度下的红外图像；
[0012]基于所述红外图像，利用张正友标定法获取相机内部参数，相机中心点坐标(c
x
,c
y
)和焦距(f
x
,f
y
)；
[0013]根据相机小孔成像原理，利用相似三角形将植物的深度图像和RGB图像转换为带有颜色信息的三维点云图；
[0014]深度图像上一点m(u,v)与对应三维点M(X,Y,Z)之间关系如式(1)和式(2)所示：
[0015][0016][0017]优选的，在上述的基于Kinect的植物群体全局三维重建方法中，三维特征点获取步骤如下：
[0018]将KincetV2相机置于电动旋台上，获取棋盘格0度和N度视角下的RGB图像，其中所述棋盘格尺寸为7
×
9，N度是根据相机视场角大小及相邻视角点云重叠区域确定的；
[0019]利用Harris角点检测算法分别识别棋盘格的二维特征角点，并根据Meshgrid网格生成二维点(X，Y)；
[0020]通过离散差值找到二维点和三维点之间的映射关系F
x
，F
y
，并找到棋盘格二维特征点所对应的三维特征点。
[0021]优选的，在上述的基于Kinect的植物群体全局三维重建方法中，局部三维重建具体步骤如下：
[0022]根据式(1)和式(2)计算相邻视角特征点的质心，并利用奇异值分解法解算N度视角变换到0度视角的旋转矩阵R和平移矩阵T；
[0023]每隔N度采集一组点云；
[0024]根据所求得的旋转矩阵R和平移矩阵T，以第一个视角相机所在坐标系作为世界坐标将不同视角的点云配准转换到世界坐标系下，在多视角下对植物点云局部三维重建。
[0025]优选的，在上述的基于Kinect的植物群体全局三维重建方法中，假设两特征点集P、Q，求解二者之间的旋转矩阵和平移矩阵，具体步骤如下：
[0026]根据式(3)和式(4)求取特征点集P、Q的质心坐标P
c
(x
c
，y
c
，z
c
)，Q
c
(x
c
，y
c
，z
c
)；
[0027][0028][0029]式中w
i
表示权重；P
i
(x
i
，y
i
，zi)，Q
i
(x
i
，y
i
，z
i
)为点集内各点的三维坐标；
[0030]根据式(5)计算协方差矩阵E，其中E为d
×
n维矩阵；X，Y为d
×
n维矩阵，W＝diag(w1，w2，w3，
…
，w
n
)；
[0031][0032]根据式(6)对矩阵E进行奇异值分解，U、V、Λ三个矩阵均为对角阵，旋转矩阵R和平移矩阵T由式(7)～(8)表示；
[0033]E＝U
·
Λ
·
V
T
ꢀꢀ
(6)；
[0034]R＝V
·
U
T
ꢀꢀ
(7)；
[0035]T＝Q
C
‑
R
·
P
c
ꢀꢀ
(8)。
[0036]优选的，在上述的基于Kinect的植物群体全局三维重建方法中，不同视角相机坐标系变换到第一个N度视角相机坐标系下公式如式(9)所示：
[0037][0038]其中R、T是旋转矩阵和平移矩阵，PCj代表第j个视角相机坐标系的三维点云数据，PCj＇代表第j个视角世界坐标系的三维点云数据。
[0039]优选的，在上述的基于Kinect的植物群体全局三维重建方法中，所述粗配准预标定的具体步骤如下：
[0040]点云预处理：设置固定的采集范围，并对点云进行均值降采样处理以减少后期点云配准计算量；
[0041]变换矩阵求解：根据棋盘格与测点的相对位置确定配准棋盘格，利用奇异值分解法求解相邻测点的粗配准矩阵；
[0042]坐标系统一：以第一个测点相机坐标系作为世界坐标系，通过相邻测点的棋盘格求得所有相邻测点间的粗配准矩阵，并将其他测点相机坐标系下点云转换到第一个测点坐标系下，进行多视点下的三维点云粗配准。
[0043]优选的，在上述的基于Kinect的植物群体全局三维重建方法中，所述精配准之前还包括预处理步骤：
[0044]采用直通滤波算法和颜色阈值算法来分割非植株点云；
[0045]计算所有点的超绿分量值ExG，并过滤所有低于阈值的点，取剩下的点作为完整的植物点云(主要用于过滤灰色噪点，如泥土)；...

【技术保护点】

【技术特征摘要】
1.基于Kinect的植物群体全局三维重建方法，其特征在于，具体步骤如下：利用张正友标定法获取相机参数，并通过相似三角形原理将植株深度数据转化为三维点云数据；采用Harris角点检测法得到二维特征点，并进行网格化、离散化处理得到三维特征点，对所述三维特征点进行奇异值分解，将不同视角的点云配准转换到世界坐标系下实现多视角下植物点云的局部三维重建；对多测点下植物点云的局部三维重建结果进行粗配准和精配准实现全局三维重建。2.根据权利要求1所述的基于Kinect的植物群体全局三维重建方法，其特征在于，获取植物三维点云数据具体步骤如下：首先，获取植物的RGB图像和深度图像，以及棋盘格不同角度下的红外图像；基于所述红外图像，利用张正友标定法获取相机内部参数，相机中心点坐标(c
x
,c
y
)和焦距(f
x
,f
y
)；根据相机小孔成像原理，利用相似三角形将获取到的植物的深度图像和RGB图像转换为带有颜色信息的三维点云图；深度图像上一点m(u,v)与对应三维点M(X,Y,Z)之间关系如式(1)和式(2)所示：深度图像上一点m(u,v)与对应三维点M(X,Y,Z)之间关系如式(1)和式(2)所示：3.根据权利要求2所述的基于Kinect的植物群体全局三维重建方法，其特征在于，三维特征点获取步骤如下：将KincetV2相机置于电动旋台上，获取棋盘格0度和N度视角下的RGB图像，其中所述棋盘格尺寸为7
×
9，N度是根据相机视场角大小及相邻视角点云重叠区域确定的；利用Harris角点检测算法分别识别棋盘格的二维特征角点，并根据Meshgrid网格生成二维点(X，Y)；通过离散差值找到二维点和三维点之间的映射关系F
x
，F
y
，并找到棋盘格二维特征点所对应的三维特征点。4.根据权利要求3所述的基于Kinect的植物群体全局三维重建方法，其特征在于，局部三维重建具体步骤如下：根据式(1)和式(2)计算相邻视角特征点的质心，并利用奇异值分解法解算N度视角变换到0度视角的旋转矩阵R和平移矩阵T；每隔N度采集一组点云；根据所求得的旋转矩阵R和平移矩阵T，以第一个视角相机所在坐标系作为世界坐标，将其它视角相机坐标系下点云配准转换到世界坐标系下，在多视角下对植物点云进行局部三维重建。5.根据权利要求4所述的基于Kinect的植物群体全局三维重建方法，其特征在于，假设两特征点集P、Q，求解二者之间的旋转矩阵和平移矩阵，具体步骤如下：根据式(3)和式(4)求取特征点集P、Q的质心坐标P
c
(x
c
，y
c
，z
c
)，Q
c
(x
c
，y
c
，z
c
)；
式中w
i
表示权重；P
i
(x
i
，y
i
，zi)，Q
i
(x
i
，y
i
，z
i
)为点集内各点的三维坐标；根据式(5)计算协方差矩阵E，其中E为d
×
n维矩阵；X，Y为d

【专利技术属性】
技术研发人员：孙国祥，徐乃旻，汪小旵，施印炎，章永年，张晓蕾，
申请(专利权)人：南京农业大学，
类型：发明
国别省市：