农作物信息检测方法技术

本公开涉及一种农作物信息检测方法

【技术实现步骤摘要】
农作物信息检测方法、装置、介质及设备


[0001]本公开涉及图像处理
，具体地，涉及一种农作物信息检测方法
、
装置
、
介质及设备
。

技术介绍

[0002]随着人工智能技术的不断发展，人工智能技术逐渐被运用于农作物检测领域
。
相关技术在基于人工智能技术进行农作物信息检测，例如农作物类别或位置检测时，需要基于人工智能技术对深度图像进行多次点云处理才能找到农作物检测框，且存在较大误差
。

技术实现思路

[0003]本公开的目的是提供一种农作物信息检测方法
、
装置
、
介质及设备，以解决上述技术问题
。
[0004]为了实现上述目的，本公开实施例的第一方面提供了一种农作物信息检测方法，所述方法包括：
[0005]获取待检测农作物的彩色图像
、
深度图像以及用于拍摄所述深度图像的相机内部参数；
[0006]将所述彩色图像
、
所述深度图像以及所述相机内部参数输入目标检测模型，得到多个候选检测框及每个候选检测框对应的位置和置信度；
[0007]根据所述多个候选检测框及所述每个候选检测框对应的位置和置信度，确定待检测农作物信息；
[0008]其中，所述目标检测模型用于通过如下操作得到所述多个候选检测框及所述每个候选检测框对应的位置和置信度：
[0009]提取所述彩色图像的特征，得到彩色图像特征图，提取所述深度图像的特征，得到深度图像特征图，并对所述彩色图像特征图和所述深度图像特征图进行特征融合，得到初始融合特征图；
[0010]根据所述深度图像和所述相机内部参数，确定所述待检测农作物的点云图，并提取所述点云图的特征，得到点云特征图；
[0011]对所述初始融合特征图和所述点云特征图进行特征融合，得到目标融合特征图；
[0012]根据所述目标融合特征图确定所述多个候选检测框及所述每个候选检测框对应的位置和置信度
。
[0013]可选地，所述对所述彩色图像特征图和所述深度图像特征图进行特征融合，得到初始融合特征图，包括：
[0014]基于空间注意力机制对所述彩色图像特征图进行增强，得到第一增强特征图，基于空间注意力机制对所述深度图像特征图进行增强，得到第二增强特征图；
[0015]对所述第一增强特征图和所述第二增强特征图进行特征融合，得到第一融合特征图；
[0016]对所述第一融合特征图和所述第一增强特征图进行特征融合，得到第二融合特征图；对所述第一融合特征图和所述第二增强特征图行特征融合，得到第三融合特征图；
[0017]对所述第二融合特征图和所述第三融合特征图进行特征融合，得到所述初始融合特征图
。
[0018]可选地，所述根据所述多个候选检测框及所述每个候选检测框对应的位置和置信度，确定待检测农作物信息，包括：
[0019]基于非极大值抑制策略根据所述多个候选检测框及所述每个候选检测框对应的置信度，确定目标检测框；
[0020]将所述目标检测框对应的位置及置信度，确定为所述待检测农作物信息
。
[0021]可选地，所述根据所述目标融合特征图确定所述多个候选检测框及所述每个候选检测框对应的位置和置信度，包括：
[0022]基于预设策略确定所述目标融合特征图对应的所述多个候选检测框；
[0023]针对每个所述候选检测框，提取所述候选检测框中的第一特征，并对所述第一特征进行回归处理，得到位置调整参数，并根据所述位置调整参数调整所述候选检测框的位置，得到所述候选检测框的位置；
[0024]针对每个所述候选检测框，提取所述候选检测框中的第二特征，根据所述第二特征确定所述候选检测框属于预设类别的概率，并将所述概率确定为所述候选检测框的置信度
。
[0025]可选地，所述目标检测模型还用于执行如下操作：
[0026]针对基于预设策略确定的每个所述候选检测框，确定所述候选检测框中的感兴趣区域，并对所述感兴趣区域进行特征提取，得到感兴趣特征图，以及根据所述感兴趣特征图，确定每个所述候选检测框对应的剪切点位置；
[0027]所述根据所述候选检测框及候选检测框对应的位置和置信度，确定待检测农作物信息，包括：
[0028]基于非极大值抑制策略根据所述多个候选检测框及所述每个候选检测框对应的置信度，确定目标检测框；
[0029]将所述目标检测框对应的位置
、
置信度以及剪切点位置，确定为所述待检测农作物信息
。
[0030]可选地，所述目标检测模型包括特征融合模块
、
特征提取模块和处理模块，所述目标检测模型用于通过如下操作得到所述多个候选检测框及所述每个候选检测框对应的位置和置信度：
[0031]通过所述特征融合模块提取所述彩色图像的特征，得到彩色图像特征图，提取所述深度图像的特征，得到深度图像特征图，并对所述彩色图像特征图和所述深度图像特征图进行特征融合，得到融合特征图；
[0032]通过所述特征提取模块根据所述深度图像和所述相机内部参数，确定所述待检测农作物的点云图，并提取所述点云图的特征，得到点云特征图；
[0033]通过所述处理模块对所述融合特征图和所述点云特征图进行特征融合，得到目标融合特征图，并根据所述目标融合特征图确定所述多个候选检测框及所述每个候选检测框对应的位置和置信度
。
[0034]可选地，所述目标检测模型的训练过程包括：
[0035]获取样本农作物的彩色样本图像
、
深度样本图像
、
用于拍摄所述深度样本图像的相机内部参数
、
第一标签和第二标签，其中，所述第一标签用于指示所述样本农作物的检测框，所述第二标签用于指示所述样本农作物的类别；
[0036]将所述彩色样本图像
、
所述深度样本图像以及所述相机内部参数输入所述目标检测模型，得到所述样本农作物的预测检测框和预测类别，并根据所述预测检测框和所述第一标签，确定第一损失函数值，根据所述预测类别和所述第二标签，确定第二损失函数值；
[0037]根据所述第一损失函数值和所述第二损失函数值更新所述目标检测模型的参数
。
[0038]本公开实施例的第二方面，提供了一种农作物信息检测装置，所述装置包括：
[0039]获取模块，用于获取待检测农作物的彩色图像
、
深度图像以及用于拍摄所述深度图像的相机内部参数；
[0040]输入模块，用于将所述彩色图像
、
所述深度图像以及所述相机内部参数输入目标检测模型，得到多个候选检测框及所述每个候选检测框对应的位置和置信度；
[0041]确定模块，用于根据所述多个候选检测框及所述每个候选检测框对应的位置和置信度，确定待检测农作物信息；...

【技术保护点】

【技术特征摘要】
1.
一种农作物信息检测方法，其特征在于，所述方法包括：获取待检测农作物的彩色图像
、
深度图像以及用于拍摄所述深度图像的相机内部参数；将所述彩色图像
、
所述深度图像以及所述相机内部参数输入目标检测模型，得到多个候选检测框及每个候选检测框对应的位置和置信度；根据所述多个候选检测框及所述每个候选检测框对应的位置和置信度，确定待检测农作物信息；其中，所述目标检测模型用于通过如下操作得到所述多个候选检测框及所述每个候选检测框对应的位置和置信度：提取所述彩色图像的特征，得到彩色图像特征图，提取所述深度图像的特征，得到深度图像特征图，并对所述彩色图像特征图和所述深度图像特征图进行特征融合，得到初始融合特征图；根据所述深度图像和所述相机内部参数，确定所述待检测农作物的点云图，并提取所述点云图的特征，得到点云特征图；对所述初始融合特征图和所述点云特征图进行特征融合，得到目标融合特征图；根据所述目标融合特征图确定所述多个候选检测框及所述每个候选检测框对应的位置和置信度
。2.
根据权利要求1所述的方法，其特征在于，所述对所述彩色图像特征图和所述深度图像特征图进行特征融合，得到初始融合特征图，包括：基于空间注意力机制对所述彩色图像特征图进行增强，得到第一增强特征图，基于空间注意力机制对所述深度图像特征图进行增强，得到第二增强特征图；对所述第一增强特征图和所述第二增强特征图进行特征融合，得到第一融合特征图；对所述第一融合特征图和所述第一增强特征图进行特征融合，得到第二融合特征图；对所述第一融合特征图和所述第二增强特征图行特征融合，得到第三融合特征图；对所述第二融合特征图和所述第三融合特征图进行特征融合，得到所述初始融合特征图
。3.
根据权利要求1或2所述的方法，其特征在于，所述根据所述多个候选检测框及所述每个候选检测框对应的位置和置信度，确定待检测农作物信息，包括：基于非极大值抑制策略根据所述多个候选检测框及所述每个候选检测框对应的置信度，确定目标检测框；将所述目标检测框对应的位置及置信度，确定为所述待检测农作物信息
。4.
根据权利要求1或2所述的方法，其特征在于，所述根据所述目标融合特征图确定所述多个候选检测框及所述每个候选检测框对应的位置和置信度，包括：基于预设策略确定所述目标融合特征图对应的所述多个候选检测框；针对每个所述候选检测框，提取所述候选检测框中的第一特征，并对所述第一特征进行回归处理，得到位置调整参数，并根据所述位置调整参数调整所述候选检测框的位置，得到所述候选检测框的位置；针对每个所述候选检测框，提取所述候选检测框中的第二特征，根据所述第二特征确定所述候选检测框属于预设类别的概率，并将所述概率确定为所述候选检测框的置信度
。
5.
根据权利要求4所述的方法，其特征在于，所述目标检测模型还用于执行如下操作：针对基于预设策略确定的每个所述候选检测框，确定所述候选检测框中的感兴趣区域，并对所述感兴趣区域进行特征提取，得到感兴趣特征图，以及根据所述感兴趣特征图，确定每个所述候选检测框对应的剪切点位置；所述根据所述候选检测框及候选检测框对应的位置和置信度，确定待检测农作物信息，包括：基于非极大值抑制策略根据所述多个候选检测框及所述每个候选检测框对应的置信度，确定目标检测框；将所述...

【专利技术属性】
技术研发人员：况志强，周明才，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：