基于自然图像的树木多级枝干结构自动提取方法技术

本发明专利技术公开了基于自然图像的树木多级枝干结构自动提取方法，属于计算机图形技术领域；本发明专利技术首先对采集的树木图像进行树木图像标注处理，生成枝干标注数据；然后，对这些枝干标注数据进行处理，生成符合神经网络模型要求的长度一致的向量数据；接着，利用树木图像数据以及处理后的枝干标注数据进行神经网络模型训练，输出训练好的神经网络模型并保存；进一步地，对加载神经网络模型文件和树木图像文件进行处理，计算并输出结果；最后读取上述输出结果，进行主干和一级侧枝枝干结构的生成，并将结果存入文件。相较于现有技术，本发明专利技术所提出的方法自动化程度高，用户操作简便，能够处理复杂背景图像能力更强，且生成的枝干结构质量更高。质量更高。质量更高。

【技术实现步骤摘要】
基于自然图像的树木多级枝干结构自动提取方法


[0001]本专利技术涉及计算机图形
，特别是涉及基于自然图像的树木多级枝干结构自动提取方法。

技术介绍

[0002]树木枝干的自动化提取在农林业中应用广泛，如林下无人机的避障、果园智能采摘机器人的枝干定位、机械化剪枝以及树木长势的监测等。现有的相关技术主要有两大类：1)基于图像的枝干提取；2)基于三维点云的枝干提取。其中，基于图像的枝干提取方法主要有基于传统的图像处理技术的方法和基于深度学习技术的方法。基于传统的图像处理技术方法，其一般的工作流程是：首先，通过RGB相机获取树木图像，然后根据图像中不同像素的颜色信息，对树木的主杆区域进行图像分割或边缘提取。基于深度学习技术的方法，其一般采用计算机视觉领域中，通用的目标检测神经网络模型，直接对树木图像中包含枝干的区域进行检测框(矩形框)的计算。其一般的工作流程包含：数据收集和处理、神经网络模型的迁移学习以及神经网络模型的部署和应用。该类方法的输出一般是包含目标的一系列矩形检测框。而基于三维点云的枝干提取方法主要采用激光雷达获取三维点云，然后进行树干点云的识别以及树干点云的分割。这类方法对树干点云的识别主要采用聚类方法，一般步骤为：点云局部特征的计算、树干点云特征阈值选取、树干点云的聚类以及分割。树干点云特征阈值选取是该类技术的核心，主要有通过试验方式的手动选取和采用机器学习技术的阈值自动学习等方法。
[0003]现有基于图像的树木枝干提取技术，其主要存在的问题和缺点：
[0004](1)基于传统的图像处理技术，当图像中的背景比较复杂时，其枝干区域的分割以及轮廓提取误差大。造成该缺点的原因是，这类技术主要是基于像素的颜色信息进行分割，当背景像素颜色难以区分时，会造成像素的错判。
[0005](2)基于传统的图像处理技术，其一般只能提取树木的主干，对于树木的侧枝往往无法提取。造成该缺点的原因是，树木的树叶以及枝干之间的遮挡，无法简单通过像素的颜色等信息进行处理，从而造成对树木侧枝枝干提取的失败。
[0006](3)现有基于图像的方法，其只能输出树木主干不被树叶遮挡的那部分可视区域，其原因是：1)遮挡区域无法通过像素的颜色信息进行识别，从而无法提取树干；2)神经网络模型依赖相应的数据集进行训练，而当前缺乏这类包含完整树干结构标记的图像数据集。
[0007](4)现有基于图像的方法，其提取的树木主干区域要么是包含主干的一组像素集合，要么是一个包含主干的矩形框，无法得到树干整体的几何结构(如树干上的分支结点位置、结点与结点之间的连接关系等)。其原因是：1)基于像素颜色信息的树干提取方法，最终只能对像素进行分类，从而该类方法的输出是一组像素集合，而无法提取树干的几何结构；2)基于深度学习技术的方法，其采用的是计算机视觉中通用的目标检测模型，这类模型的输出是一组矩形检测框，而不是树干的具体几何结构；3)不同树木枝干几何结构差异大，现有技术没法处理这些差异性以支持深度神将网络模型的训练。
[0008]现有基于三维点云的树木枝干提取技术，其主要存在的问题：
[0009](1)激光雷达相比RGB相机，价格昂贵，操作更为复杂；
[0010](2)三维点云数据量大，计算开销大，很难做到实时处理；
[0011](3)基于三维点云分割得到的树干，其是一组离散点，无法直接获取树木枝干的几何结构。
[0012]为了解决上述问题，本专利技术提出了一种基于自然图像的树木多级枝干结构自动提取方法。

技术实现思路

[0013]本专利技术的目的在于提出一种基于自然图像的树木多级枝干结构自动提取方法以解决现有技术中存在的如下问题：
[0014](1)复杂背景图像中树木枝干结构的提取问题；
[0015](2)树木多级枝干结构的提取问题；
[0016](3)树木枝干几何结构的提取问题。
[0017]为了实现上述目的，本专利技术采用了如下技术方案：
[0018]基于自然图像的树木多级枝干结构自动提取方法，采用深度神经网络模型，实现从图像中提取树木多级枝干结构，具体包括以下内容：
[0019]S1、构建数据集：收集树木图像和枝干标注数据，构建用于训练深度神经网络的数据集，进一步包括如下内容：
[0020]S1.1、树木图像采集：通过网络爬取和手机拍摄获取树木图像，所述树木图像均为RGB图像，储存为JPEG格式；
[0021]S1.2、树木图像标注：利用标注软件对S1.1中所得的树木图像中的枝干结构进行标注；
[0022]S1.3、枝干标注数据处理：对S1.2中所得的枝干标注数据进行处理，构建维度统一的数据；
[0023]S2、构建深度神经网络模型：深度神经网络模型采用骨架网络和分支网络的结构，其中，所述骨架网络采用BotNet网格结构，由卷积残差模块和多头自注意力模块构成；所述分支网络由全连接模块构成；构建深度神经网络模型的损失函数，并对模型进行训练；
[0024]S3、构建基于深度神经网络模型输出结果的树木多级枝干结构：深度神经网络模型的输入为一幅树木图像，输出为一系列枝干结点坐标值构成的向量，基于输出结果，构建树木枝干结构。
[0025]优选地，所述S1.2具体包括以下内容：
[0026]S1.2.1、选取树木图像，利用标注软件可视化所选取的图片；
[0027]S1.2.2、用户选择所要标注枝干的等级：主干对应等级0，与主干直接相连的侧枝对应等级1，与上述等级1侧枝直接相连的次级侧枝对应等级2，依次类推；
[0028]S1.2.3、用户在树木图像上直接点击以标注构成枝干的结点，标注软件会自动获取并记录其二维坐标、所对应的枝干等级；当用户完成某一枝干所有结点的标注后，标注软件自动连接这些结点以构造枝干的点
‑
线图并保存；
[0029]S1.2.4、用户重复上述S1.2.2～S1.2.3步骤直到完成m个枝干等级的标注；所述m
表示用户预先指定的等级数量。
[0030]优选地，标注软件生成的标注数据统一存为xml格式，不同的枝干等级对应一组标注数据，每一组标注数据包含结点和枝干两类标签；结点标签中存储同一等级下所有枝干结点的二维坐标；每一组可以包含多个枝干标签，每一枝干标签中存储构成该枝干所有结点的坐标。
[0031]优选地，所述S1.3具体包括以下内容：
[0032]S1.3.1、将数据集中枝干等级数量m设置为2，枝干标注数据中的每一数据点包含(x,y)两个值，将该坐标值进行归一化处理：
[0033]x
’
＝x/W
[0034]y
’
＝y/H
[0035]其中，W、H分别为图像的宽和高；
[0036]S1.3.2、基于归一化后的枝干标注数据，统计如下三类分布信息：主干标注点数量分布、一级侧枝数量分布以及所有一级侧枝总标注点数量分布；
[0037]S1.3.3、基于S1.3.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自然图像的树木多级枝干结构自动提取方法，其特征在于，采用深度神经网络模型，实现从图像中提取树木多级枝干结构，具体包括以下内容：S1、构建数据集：收集树木图像和枝干标注数据，构建用于训练深度神经网络的数据集，进一步包括如下内容：S1.1、树木图像采集：通过网络爬取和手机拍摄获取树木图像，所述树木图像均为RGB图像，储存为JPEG格式；S1.2、树木图像标注：利用标注软件对S1.1中所得的树木图像中的枝干结构进行标注；S1.3、枝干标注数据处理：对S1.2中所得的枝干标注数据进行处理，构建维度统一的数据；S2、构建深度神经网络模型：深度神经网络模型采用骨架网络和分支网络的结构，其中，所述骨架网络采用BotNet网格结构，由卷积残差模块和多头自注意力模块构成；所述分支网络由全连接模块构成；构建深度神经网络模型的损失函数，并对模型进行训练；S3、构建基于深度神经网络模型输出结果的树木多级枝干结构：深度神经网络模型的输入为一幅树木图像，输出为一系列枝干结点坐标值构成的向量，基于输出结果，构建树木枝干结构。2.根据权利要求1所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S1.2具体包括以下内容：S1.2.1、选取树木图像，利用标注软件可视化所选取的图片；S1.2.2、用户选择所要标注枝干的等级：主干对应等级0，与主干直接相连的侧枝对应等级1，与上述等级1侧枝直接相连的次级侧枝对应等级2，依次类推；S1.2.3、用户在树木图像上直接点击以标注构成枝干的结点，标注软件会自动获取并记录其二维坐标、所对应的枝干等级；当用户完成某一枝干所有结点的标注后，标注软件自动连接这些结点以构造枝干的点
‑
线图并保存；S1.2.4、用户重复上述S1.2.2～S1.2.3步骤直到完成m个枝干等级的标注；所述m表示用户预先指定的等级数量。3.根据权利要求1或2所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S1.3具体包括以下内容：S1.3.1、将数据集中枝干等级数量m设置为2，枝干标注数据中的每一数据点包含(x,y)两个值，将该坐标值进行归一化处理：x
’
＝x/Wy
’
＝y/H其中，W、H分别为图像的宽和高；S1.3.2、基于归一化后的枝干标注数据，统计如下三类分布信息：主干标注点数量分布、一级侧枝数量分布以及所有一级侧枝总标注点数量分布；S1.3.3、基于S1.3.2中所得的统计信息，确定主干标注点数量N0和所有一级侧枝总标注点数量N1；S1.3.4、采用自然三次样条插值方法，对主干以及所有一级侧枝，根据其标注的结点坐标拟合生成具有二阶导数连续的光滑曲线；S1.3.5、对主干以及所有一级侧枝拟合得到的光滑曲线，分别根据N0、N1以及侧枝数量
N
L
进行结点的重采样；S1.3.6、将每一树木图像的枝干标注信息统一表示为长度D＝(N0+N1)*2+1的一维向量，其中，N0+N1表示总的枝干结点数量；乘以2表示每个结点包含(x,y)两个坐标值；加1表示需要额外一个值用于存储一级侧枝数量。4.根据权利要求3所述的基于自然图像的树木多级枝干结构自动提取方法，其特征在于，所述S1.3.4具体包括如下内容：假设有N+1个标注结点，其中第i个结点的坐标记为P
i
，其切向量记为P
i
’
，0≤i≤N，则曲线的构造步骤如下：
①
求解线性方程组A*b＝c，计算每个结点处的切向量P
i
’
，其中
②
每两个相邻结点(P
i
，P
i
’
)，(P...

【专利技术属性】
技术研发人员：杨垠晖，赖煌，夏凯，
申请(专利权)人：浙江农林大学，
类型：发明
国别省市：