【技术实现步骤摘要】
本专利技术涉及果蔬采摘，特别是一种棉花点云分割采摘方法。
技术介绍
1、随着农业自动化和智能化的不断发展，果蔬采摘机器人成为提升农业生产效率的重要工具。传统的果蔬采摘方法依赖人工操作，效率低、劳动强度大，且难以保证果实采摘的质量和完整性。现有的自动化采摘技术多依赖于视觉识别和传感器数据来定位和抓取目标物体，但在复杂的农业环境中，现有方法面临着如光照变化、背景复杂、果蔬遮挡等问题，导致采摘精度和效率难以满足需求。
2、近年来，点云数据处理技术在机器人领域得到了广泛应用，尤其是在三维物体识别和环境感知中。然而，由于点云数据通常存在噪声、稀疏性等问题，如何高效、准确地处理和分析点云数据仍然是一个挑战。传统的深度学习方法在处理无规则点云数据时，难以有效捕捉空间关系，影响了分割精度。
技术实现思路
1、本专利技术的目的是提供一种棉花点云分割采摘方法，根据深度相机和pointtransformerv3网络模型对棉花点云数据进行分割，实现精准的棉花果实识别和采摘。本专利技术是通过以下技术方案实现的。
2、本专利技术提供一种棉花点云分割采摘方法，包括：
3、获取棉花点云数据并进行预处理；
4、将预处理后的棉花点云数据通过point transformerv3网络模型进行特征提取，得到棉花点云数据的语义特征；对棉花点云数据的语义特征进行分割，得到包括标签的棉花点云数据；
5、通过统计离群点移除算法对包括标签的棉花点云数据进行优化，得到优化后
6、基于优化后的棉花点云数据控制机械臂执行采摘棉花的操作。
7、实际应用中，由于传统的深度学习方法在处理无规则点云数据时，难以有效捕捉空间关系影响分割精度，从而会影响棉花的采摘精度。本专利技术通过point transformerv3网络模型提取棉花点云数据中的语义特征并对其进行分割，得到较为精确的包含标签的棉花点云数据分割结果，通过概率公式的计算准确识别棉花果实与背景。其次，对分割后的棉花点云数据进一步优化，增加采摘棉花的精度。基于优化后棉花点云数据三维坐标获取每个点的几何坐标，再通过几何模型的模拟估计出棉花的抓取姿态。几何坐标和抓取姿态，为使用机械臂实际摘取棉花时，能够精准抓取目标棉花提供基础。
8、可选的，所述获取棉花点云数据包括：采集棉花区域的rgb图像和深度图像，获得完整的棉花区域点云数据；所述rgb图像提供了棉花的视觉特征；所述深度图像提供了每个像素的深度值，表示棉花的空间位置信息；
9、利用相机内参将每个像素的深度值转换为三维坐标；
10、基于棉花的视觉特征和三维坐标生成棉花区域点云初始数据。
11、可选的，所述预处理包括对生成的棉花区域点云初始数据分别进行噪声去除、下采样和标准化处理；
12、所述噪声去除包括使用统计离群点去除算法清除棉花区域点云初始数据中的噪声，通过计算每个点与邻域点的距离，若二者之间的距离超出设定阈值则去除该点，若二者之间的距离没有超出设定阈值，则保留该点，并继续计算其他点与其邻域点的距离，得到去噪后的棉花点云数据；其中，超出设定阈值的点为噪声点；整个过程会遍历点云数据中的所有点，对每个点的邻域进行分析，确保去除噪声点的同时，保留真实的棉花区域点。
13、所述下采样包括采用voxelgrid滤波器通过将噪声去除后的棉花点云数据空间划分为多个体素，保留每个体素的质心来减少棉花点云数据量，得到下采样后的棉花点云数据；通过减少棉花点云数据量能够减少棉花点云数据的计算量；
14、所述标准化处理包括通过对下采样后的棉花点云数据进行标准化处理，得到标准化后的棉花点云数据，确保标准化处理后的棉花点云数据适配point transformerv3网络模型的输入；所述标准化公式为：
15、，
16、式中，为下采样后的棉花点云数据均值，为下采样后的棉花点云数据标准差。确保点云数据在统一的尺度范围内，提升处理稳定性。
17、可选的，所述point transformerv3网络模型包括顺次连接的输入层、嵌入层、多头自注意力层、transformer编码器层、局部与全局特征聚合层和输出层；所述pointtransformerv3网络模型进行以下操作：
18、输入层将预处理后的棉花点云数据输入至嵌入层；
19、嵌入层将来自输入层的棉花点云数据映射到高维空间，生成多个高维嵌入向量并输入至多头自注意力层；
20、多头自注意力层将多个高维嵌入向量进行比较，计算点间的注意力权重，从而使棉花点云数据获得更加精细的特征表示并输入至transformer编码器层；
21、transformer编码器层通过自注意力机制将多头自注意力层输出的棉花点云数据进行深度学习和建模，从而使棉花点云数据提取复杂的语义信息并将输入至局部与全局特征聚合层；
22、局部与全局特征聚合层采用局部特征提取方法捕获来自transformer编码器层输出的棉花点云数据的点云局部信息，同时结合全局特征提取点云全局信息，并将捕获到点云局部信息和点云全局信息的棉花点云数据输入至输出层；采用的局部特征提取方法，如kk-近邻聚合方法；
23、输出层根据任务类型将经局部与全局特征聚合层处理后的棉花点云数据进行分类，输出每个点的类别或标签。
24、可选的，所述多头自注意力层还通过计算点之间的相似性来捕捉局部和全局特征的关系，包括：
25、对标准化后的棉花点云数据中每个点的特征进行询查、键和值的计算：
26、，
27、式中，是点的特征向量，，和均为学习的权重矩阵；
28、使用查询和键通过以下公式计算点之间的相似度：
29、，
30、式中，是键的维度，基于相似度通过以下公式计算每个点与所有点之间的注意力权重：
31、，
32、式中，softmax操作将相似度转化为概率分布，表示各点之间的依赖关系，为所有点之间的注意力权重矩阵，用来衡量每个点对其他点的关注程度，表示点之间的相似度和依赖关系；
33、通过注意力权重加权值，通过以下公式得到更新后的特征：
34、。
35、每个点更新后的特征向量会基于全局信息进行更新，通过多头机制，模型可以在不同的子空间中学习不同类型的依赖关系，从而更全面地理解点云的结构。
36、可选的，所述point transformerv3网络模型通过使用多个transformer编码器层，逐步提取更深层次的棉花点云特征，每一层transformer编码器包括多头自注意力层和前馈神经网络ffn；每一层transformer编码器的输出会与输入进行残差连接，随后通过层归一化处理，以保证网络的稳定性和信息的有效传递。所述transformer编码器层最终的输出特征通过以下公式计算获得：
37、，<本文档来自技高网...
【技术保护点】
1.一种棉花点云分割采摘方法，其特征是，包括：
2.根据权利要求1所述的棉花点云分割采摘方法，其特征是，所述获取棉花点云数据包括：采集棉花区域的RGB图像和深度图像，获得完整的棉花区域点云数据；所述RGB图像提供了棉花的视觉特征；所述深度图像提供了每个像素的深度值，表示棉花的空间位置信息；
3.根据权利要求2所述的棉花点云分割采摘方法，其特征是，所述预处理包括对生成的棉花区域点云初始数据分别进行噪声去除、下采样和标准化处理；
4.根据权利要求1所述的棉花点云分割采摘方法，其特征是，所述PointTransformerV3网络模型包括顺次连接的输入层、嵌入层、多头自注意力层、Transformer编码器层、局部与全局特征聚合层和输出层；所述Point TransformerV3网络模型进行以下操作：
5.根据权利要求4所述的棉花点云分割采摘方法，其特征是，所述多头自注意力层还通过计算点之间的相似性来捕捉局部和全局特征的关系，包括：
6.根据权利要求5所述的棉花点云分割采摘方法，其特征是，所述PointTransformer
7.根据权利要求6所述的棉花点云分割采摘方法，其特征是，所述输出层根据任务类型将经局部与全局特征聚合层处理后的棉花点云数据进行分类，包括通过softmax激活函数计算每个点属于不同类别的概率，分别对每个点进行两次类别计算，选择最大概率对应的类别结果作为预测结果；每个点的概率通过以下公式计算获得：
8.根据权利要求7所述的棉花点云分割采摘方法，其特征是，所述通过统计离群点移除算法对包括标签的棉花点云数据进行优化包括：通过计算每个点与邻域点的距离，若超出设定阈值则去除该点，若没有超出设定阈值，则保留该点，并继续计算其他点与其邻域点的距离，从而去除点云数据中的噪声和孤立点，得到优化后的棉花点云数据，，表示优化后棉花点云数据每个点的三维坐标，表示标准化后棉花点云数据中点的序号，的取值范围为，为总点数，、和分别表示棉花区域点云数据中点的横坐标、纵坐标和高度。
9.根据权利要求8所述的棉花点云分割采摘方法，其特征是，所述基于优化后的棉花点云数据控制机械臂执行采摘棉花的操作，包括：
10.根据权利要求9所述的棉花点云分割采摘方法，其特征是，所述路径规划代价通过以下公式计算获得：
...【技术特征摘要】
1.一种棉花点云分割采摘方法，其特征是，包括：
2.根据权利要求1所述的棉花点云分割采摘方法，其特征是，所述获取棉花点云数据包括：采集棉花区域的rgb图像和深度图像，获得完整的棉花区域点云数据；所述rgb图像提供了棉花的视觉特征；所述深度图像提供了每个像素的深度值，表示棉花的空间位置信息；
3.根据权利要求2所述的棉花点云分割采摘方法，其特征是，所述预处理包括对生成的棉花区域点云初始数据分别进行噪声去除、下采样和标准化处理；
4.根据权利要求1所述的棉花点云分割采摘方法，其特征是，所述pointtransformerv3网络模型包括顺次连接的输入层、嵌入层、多头自注意力层、transformer编码器层、局部与全局特征聚合层和输出层；所述point transformerv3网络模型进行以下操作：
5.根据权利要求4所述的棉花点云分割采摘方法，其特征是，所述多头自注意力层还通过计算点之间的相似性来捕捉局部和全局特征的关系，包括：
6.根据权利要求5所述的棉花点云分割采摘方法，其特征是，所述pointtransformerv3网络模型通过使用多个transformer编码器层，逐步提取更深层次的棉花点云特征，每一层transformer编码器包括多头自注意力层和前馈神经网络ffn；每一层tran...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。