【技术实现步骤摘要】
本专利技术涉及农业工程，尤其涉及一种基于多模态数据融合的种子质量评估系统、装置及控制方法。
技术介绍
1、种子质量是农业生产和种子贸易中的关键因素。高质量的种子能够提高作物产量、改善作物品质、增强作物抗逆性，从而保障粮食安全和农业可持续发展。传统的种子质量检测方法主要包括物理检测、化学检测和生物检测。
2、物理检测方法，如外观检查、千粒重测定等，虽然操作简便，但主观性强，准确性较低，难以全面反映种子质量。化学检测方法，如水分测定、成分分析等，虽然结果准确，但操作复杂、耗时较长，且具有破坏性，会损伤种子。生物检测方法，如发芽试验、加速老化试验等，虽然能够反映种子的生理活性，但耗时更长，对环境条件要求较高，且结果容易受到环境因素的影响。
3、近年来，随着光谱成像技术的发展，基于近红外光谱和高光谱成像的种子质量无损检测方法逐渐受到关注。近红外光谱技术虽然能够快速测定种子的一些成分含量，但其光谱分辨率较低，难以捕捉到种子内部更细微的质量差异。高光谱成像技术虽然能够同时获取种子的光谱信息和图像信息，提供更丰富的质量信息，但数据量大、处理复杂，且设备成本较高，模型泛化能力有待提高。现有的种子质量检测系统通常只关注单一模态的数据，限制了检测精度和可靠性。
4、因此，需要对现有的种子质量评估技术进行改进，以克服现有技术的缺陷。
技术实现思路
1、为克服相关技术中存在的问题，本专利技术的目的之一是提供一种基于多模态数据融合的种子质量评估系统。该系统通过集成高光谱成
2、一种基于多模态数据融合的种子质量评估系统，包括：
3、数据采集模块，用于采集种子的多模态数据，所述多模态数据包括种子的光谱图像、种子的可见光图像和种子的重量数据；
4、数据处理模块，用于对所述多模态数据进行预处理、特征提取和特征融合，生成综合特征向量；
5、质量评估模块，利用机器学习模型，基于所述综合特征向量进行种子质量评估，得到种子质量评估结果；
6、控制模块，用于控制所述数据采集模块、数据处理模块和质量评估模块的运行，并输出所述种子质量评估结果；
7、所述预处理包括对所述光谱图像进行黑白校正、滤波和散射校正，对所述可见光图像进行目标检测的标注和数据增强。
8、通过集成数据采集模块、数据处理模块、质量评估模块和控制模块，能够综合利用种子的光谱图像、可见光图像和重量数据，并利用机器学习模型进行分析，从而实现对种子质量的全面、准确、自动化评估。与传统的单一模态数据或人工评估方法相比，该系统能够更客观、更高效地反映种子的品质特征，为种子生产、加工、储运和使用提供可靠的依据。
9、进一步地，所述数据处理模块包括：
10、高光谱数据处理单元，用于对所述光谱图像进行黑白校正、savitzky-golay滤波和multiplicative scatter correction散射校正，输出高光谱特征；
11、可见光图像处理单元，用于对所述可见光图像进行目标检测的标注和数据增强，输出可见光图像特征，所述数据增强采用条件生成对抗网络cgan；
12、特征融合单元，用于将所述高光谱特征、可见光图像特征和重量数据融合，生成所述综合特征向量。
13、通过高光谱数据处理单元、可见光图像处理单元和特征融合单元的协同工作，能够对采集到的多模态数据进行有效的预处理、特征提取和融合，生成高质量的综合特征向量，为后续的质量评估提供可靠的数据基础。采用savitzky-golay滤波和multiplicativescatter correction散射校正可以有效去除光谱图像中的噪声和散射干扰，采用条件生成对抗网络cgan进行数据增强可以提高可见光图像特征的鲁棒性和泛化能力。
14、更进一步地，数据处理模块可以采用不同的预处理、特征提取和特征融合算法，预处理可以包括去噪、平滑、归一化等，特征提取可以包括主成分分析（pca）、线性判别分析（lda）等，特征融合可以包括加权平均、拼接、特征级融合等。
15、更进一步地，高光谱数据处理单元可以采用不同的黑白校正方法，可以采用基于标准参考板的校正方法，也可以采用基于图像自身的校正方法。savitzky-golay滤波器的窗口大小和多项式阶数可以根据实际光谱数据的噪声水平进行调整；multiplicativescatter correction散射校正可以采用不同的参考光谱，可以采用所有样本的平均光谱，也可以采用特定类别的样本的平均光谱。可见光图像处理单元的目标检测标注可以采用不同的标注工具和标注格式，可以采用labelimg、labelme等标注工具，可以采用pascal voc、coco等标注格式。条件生成对抗网络cgan的生成器和判别器可以采用不同的网络结构，可以采用卷积神经网络（cnn）、循环神经网络（rnn）等。
16、进一步地，所述质量评估模块，包括：
17、水分含量预测单元，利用支持向量机模型，基于所述高光谱特征预测种子的水分含量；
18、种子分类单元，利用yolov8模型，基于所述可见光图像特征对种子进行分类，种子的类别包括饱满粒、空壳粒、秕谷粒、杂质和坏粒；
19、质量等级评估单元，利用随机森林模型，基于所述综合特征向量评估种子的质量等级。
20、通过水分含量预测单元、种子分类单元和质量等级评估单元的协同工作，能够利用不同的机器学习模型对种子的多个关键质量指标进行评估。其中，支持向量机模型擅长处理非线性关系，适用于水分含量预测；yolov8模型具有高效的目标检测能力，适用于种子分类；随机森林模型具有较强的抗噪性和泛化能力，适用于质量等级评估。通过这些模型的组合，可以实现对种子质量的全面、准确评估。
21、更进一步地，质量评估模块可以采用不同的机器学习模型，除了提到的svm、yolov8、随机森林，还可以采用其他模型，如神经网络、决策树、支持向量回归（svr）等。
22、更进一步地，支持向量机模型可以采用不同的核函数，除了rbf核函数，还可以采用线性核函数、多项式核函数等。yolov8模型的网络结构和超参数可以根据实际应用场景进行调整，可以采用不同大小的输入图像、不同的锚框尺寸、不同的学习率等。随机森林模型的决策树数量和最大深度可以根据数据集的大小和复杂度进行调整。质量等级评估单元可以将种子质量划分为不同的等级，例如，可以划分为优、良、中、差等多个等级，也可以划分为合格和不合格两个等级。
23、进一步地，所述数据采集模块包括：
24、高光谱成像单元，用于采集种子的光谱图像，所述高光谱成像单元采集的光谱范围为953.5nm至1720.23nm；
【技术保护点】
1.一种基于多模态数据融合的种子质量评估系统，其特征在于，包括：
2.根据权利要求1所述的基于多模态数据融合的种子质量评估系统，其特征在于，所述质量评估模块，包括：
3.根据权利要求1所述的基于多模态数据融合的种子质量评估系统，其特征在于，所述数据采集模块包括：
4.根据权利要求2所述的基于多模态数据融合的种子质量评估系统，其特征在于，所述YOLOv8模型采用GIoU Loss作为损失函数，使用NMS进行后处理，采用L1正则化进行参数剪枝，采用知识蒸馏进行模型轻量化；
5.一种基于多模态融合的种子质量评估装置，用于实现权利要求1-4中任一项所述的基于多模态数据融合的种子质量评估系统，其特征在于，包括：
6.根据权利要求5所述的基于多模态融合的种子质量评估装置，其特征在于，还包括固定机架，所述固定机架设置于所述密闭箱体内；
7.根据权利要求6所述的基于多模态融合的种子质量评估装置，其特征在于，所述第二支架上设置有转盘，所述高光谱相机和所述可见光相机固定于所述转盘上，所述卤素灯固定于所述高光谱相机的侧面。
...【技术特征摘要】
1.一种基于多模态数据融合的种子质量评估系统，其特征在于，包括：
2.根据权利要求1所述的基于多模态数据融合的种子质量评估系统，其特征在于，所述质量评估模块，包括：
3.根据权利要求1所述的基于多模态数据融合的种子质量评估系统，其特征在于，所述数据采集模块包括：
4.根据权利要求2所述的基于多模态数据融合的种子质量评估系统，其特征在于，所述yolov8模型采用giou loss作为损失函数，使用nms进行后处理，采用l1正则化进行参数剪枝，采用知识蒸馏进行模型轻量化；
5.一种基于多模态融合的种子质量评估装置，用于实现权利要求1-4中任一项所述的基于多模态数据融合的种子质量评估系统，其特征在于，包括：
【专利技术属性】
技术研发人员：曾志雄，林怀茵，谭深文，宋家辉，李春荣，程美娟，郭宝翔，鄢浩，吴灶铭，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。