【技术实现步骤摘要】
本专利技术属于农业信息化，尤其涉及一种多维图像数据库构建方法及装置。
技术介绍
1、为解决西兰花人工巡检和采收成本高、效率低和标准难以统一等问题，提出了空地协作的西兰花选择性采收技术，依靠空中端无人机获取西兰花的高通量遥感可见光图像数据，用于估算西兰花的产量，对于制定采收决策来说至关重要；地面端采收机器人获取西兰花可见光图像和深度图像信息，用于决定视场内西兰花是否达到执行采收操作的标准。通过空地协作的方式，能有效完成采收决策和采收执行的统一，从根本上解决西兰花选择性采收的自动化和智能化问题。无论是无人机云台获取的航拍可见光图像，还是采收机器人深度相机获取的可见光图像，都需要进行视觉算法模型的处理，才能获取花球的位置、直径、着色与形态等信息。视觉检测算法的优劣直接决定了空地协作西兰花选择性采收视觉系统应用场景的广度，对于后续推动空地协作西兰花选择性采收机器人系统的产业化应用至关重要。
2、不同品种、种植模式、地块土质、农艺操作、天气状况等条件下，获取的空地端花球图像都会有所差别。其中西兰花的种植模式会使得花球的姿态和遮挡程度不一样；地块土质和农艺操作会对西兰花的生长状况和态势产生影响；不同品种和品质的花球颜色和花粒形态也会有不同程度的差别；不同光照条件对获取的图像质量、亮度、对比度等都会有影响，上述不同情况下获取的西兰花花球图片呈现出多样化的特点，这使得西兰花花球的检测和分级成为难点，严重阻碍了空地协作的西兰花采收机器人视觉系统的研发、应用与推广。
3、在目前目标检测方法中，有不需要标签的无监督学习，主要包
4、总之，目前露天种植的西兰花的采收决策和采收执行都是依靠人工巡田、肉眼判断来最终促成采收操作，空地协作的西兰花选择性采收视觉系统能有效替代人力来为采收决策与执行的自动化提供数据基础。基于yolov8的目标检测算法模型需要多维西兰花花球图像数据来完成训练和验证，以满足不同条件下的花球检测与分级要求，因此需要专利技术一种系统的方法与装置用于构建西兰花花球多维图像数据库。
技术实现思路
1、为了克服已有技术的不足，本专利技术提供了一种多维图像数据库的构建方法及装置，旨在获取花球的多维图像数据，以用于训练和验证基于yolov8的目标检测模型，使得该模型能满足在多种实际应用场景下花球的检测精度，同时检验算法模型的泛化能力，这对于提升视觉系统在多样化条件下的鲁棒性至关重要，并为空地协作的西兰花选择性采收机器人系统的研发、应用和推广提供关键技术支持。
2、为实现上述技术目的，本专利技术采用了一种多维图像数据库的构建方法，包括以下步骤：
3、步骤1、西兰花花球多维图像数据的划分策略；通过对空地端获取的多尺度图像数据，基于西兰花花球呈现特点进一步在多个维度进行细分，所述多维度包括维度1，即空中端图像的不同种植模式；维度2，即空中端图像的不同长势；维度3，即空中端图像的不同品种，不同品种包括高植株与矮植株；维度4，即空中端图像的不同光照条件，进一步划分成不同光照强度和不同太阳高度角两种情况并进行定量分组；维度5，即地面端图像的不同光照条件，进一步划分为太阳光、太阳落山后和遮光并人工光源三种情况并进行定量分组；维度6，即地面端图像的不同品种；
4、步骤2、西兰花花球多维图像数据的采集装置选择与设计；
5、步骤3、构建西兰花花球多维图像数据；针对不同维度的西兰花图像，制定采集花球图像数据的方法，对于空中端图像，根据种植市场的调研，在研究不同种植模式和品种时将控旺操作后叶稀设为定量，在研究不同品种和长势时将单垄两列交错种植设为定量，不同种植模式下对矮植株叶稀和高植株叶茂，以及单垄两列交错种植的不同品种在不同光照条件下完成西兰花图像数据采集；对于地面端图像，获取不同光照条件下西兰花图像数据采集，以及遮光条件下不同品种的不同尺寸和品质分级的图像数据。
6、进一步，所述步骤1中，在实地调研、数据预采集与分析后，对获取的不同条件下西兰花花球图像的特点进行了总结，给出西兰花花球多维图像数据库的划分策略，为后续目标检测算法的模型细分与优化提供了方向，西兰花花球多维图像数据库从多尺度、多维度、多条件、多变量4个层级由大至小地总结了多维度数据的特点。
7、多尺度图像数据包括空中端无人机获取的大尺度面数据和地面端推车获取的小尺度点数据，无人机航拍获取的图片数据包含大面积花球的位置与直径信息，因拍摄距离为m且光照和种植条件复杂而难以获取花球更为准确的细节信息，m≥10米，后续可通过二维重建软件获取整块西兰花地的花球位置与直径信息；地面端推车获取的图片信息包含了小面积视场中若干花球的信息，由于拍摄距离为n，0.5米≤n≤1.5米，除了能获取位置与尺寸信息外，还能获取花球颜色、形状和花粒形态等细节信息。
8、空中端图像因光照条件、种植模式、种植品种和农艺操作等不同，经实地调研分析，划分成了4个维度。地面端图像因光照条件和种植品种不同，经实地调研分析，划分成了2个维度，分别介绍这6个维度的划分策略，其中维度1~4是关于空中端图像，维度5~6是关于地面端图像。
9、维度1，不同种植模式，单垄单列就是一垄种一列西兰花，通常是育种实验用地或者机械化自动采收试验用地，该种植模式便于进行相应的机械和实验操作，但亩均产量相较于其他模式而言较低；多列散种是每一大垄西兰花地，多列西兰花种植在这块上，中间间距小于预设限值，属于散户管理种植的小面积，一般几十亩，这种种植模式比较适合人工水肥管理，能有效降低成本；单垄两列交错就是每垄线上两列西兰花交错种植，通常是大规模的合作社采用此种种植模式，种植面积通常几百亩甚至可达上千亩，垄中线上铺设智能滴灌管，用于智能水肥控制，是目前发展的大趋势。不同种植模式下，相邻西兰花植株互相之间的影响可能会造成图像中花球不同的成像效果，其中单垄单列模式相邻西兰花间距较大，互相影响很小；多列散种模式下相邻西兰花间距相对较小，可能出现部分相邻植株叶片遮挡花球的情况；单垄两列交错种植时，由于植株在垄线方向本文档来自技高网...
【技术保护点】
1.一种多维图像数据库的构建方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的一种多维图像数据库的构建方法，其特征在于，所述步骤1中，多尺度图像数据包括空中端无人机获取的大尺度面数据和地面端推车获取的小尺度点数据，无人机航拍获取的图片数据包含了大面积花球的位置与直径信息，因拍摄距离为m且光照和种植条件复杂而难以获取花球更为准确的细节信息，m≥10米，后续通过二维重建软件获取整块西兰花地的花球位置与直径信息；地面端推车获取的图片信息包含了小面积视场中若干花球的信息，由于拍摄距离为n，0.5米≤n≤1.5米，除了能获取位置与尺寸信息外，还能获取花球颜色、形状和花粒形态细节信息；空中端图像因光照条件、种植模式、种植品种和农艺操作不同，经实地调研分析，划分成了4个维度；地面端图像因光照条件和种植品种不同，经实地调研分析，划分成了2个维度。
3.如权利要求2所述的一种多维图像数据库的构建方法，其特征在于，所述步骤1中， 6个维度的划分策略如下：
4.如权利要求1~3之一所述的一种多维图像数据库的构建方法，其特征在于，所述步骤2中，西兰花花球
5.如权利要求4所述的一种多维图像数据库的构建方法，其特征在于，所述步骤2中，在遮光后，内光强传感器用于测量推车内部的环境光强，外光强传感器用于测量推车外部的自然环境光强；中心光强传感器用于数据采集完成后的标定操作，将内光强传感器的值标定至中心光强传感器上；横放的中心型材架是在标定过程中，用于将中心光强传感器安装于架构中心垂线与花球平均高度水平面的交点处，以完成光强标定操作；中心光强传感器和中心型材架只在光强标定的时候使用，在地面端花球图像数据采集时，需要拆除，否则会遮挡深度相机的视线并在推车移动过程中可能会蹭伤西兰花；推车顶部左右两侧各安装一个深度相机，并使镜头朝下以俯拍获取RGB图像和深度信息，双深度相机能获取同一个西兰花不同角度的图像，有效提升获取西兰花图像和深度数据速率，同时双深度相机从不同角度获取的同一西兰花花球图像数据，后续能互相验证算法的准确性；控制板Jetson XavierNX、内光强传感器和可调节LED灯构成了一个遮光并人工打光时的光强控制闭环系统，设置不同的目标光强值后，控制板Jetson Xavier NX通过内置的Python脚本来控制LED灯的亮度，内光强传感器实时监测环境光强，并将数据反馈给Jetson Xavier NX，控制板将当前光强与目标光强进行比较，并根据差异调整LED灯的亮度，直到环境光强接近目标值，自动且定量地控制遮光并人工打光时推车框架内的环境光强，遮光板安装于框架顶部和框架四周上部用以遮挡顶部和上部进来的自然光；遮光布条位于框架四周下部，能适应推车在田间行进过程中的各种环境，用以遮挡从下部进来的自然光。
6.如权利要求3所述的一种多维图像数据库的构建方法，其特征在于，所述步骤3中，基于划分的西兰花花球多维图像数据和构建的空地端数据采集系统，针对不同维度的西兰花图像，制定采集花球图像数据的方法；
7.如权利要求6所述的一种多维图像数据库的构建方法，其特征在于，所述步骤3中，所述维度4图像数据获取方法中，分为不同光照强度和不同太阳高度角两个条件，其中不同光照强度时的获取时间为3种情况，1是阴天；2是凌晨，在太阳还没升起前；3是傍晚，在太阳落山后；选择这三个时段是为了排除太阳高度角的影响，只考虑自然环境亮度的影响；在获取西兰花田地的航拍图像时，利用控制板Jetson Xavier NX连接光强传感器BH1750，并设置为连续H分辨率模式，全程记录拍摄过程中自然光强的数据和与之对应的北京时间，后续利用时间戳完成光照与图片数据的对应，以完成不同光照强度区间的图片分组，定量研究光照强度对花球检测准确率的影响。
8.如权利要求6所述的一种多维图像数据库的构建方法，其特征在于，所述步骤3中，维度5数据获取方法中，数据采集完成后，为获取更具有参考价值的花球平均生长高度平面的光强，需要增加光强标定过程，此标定过程为，保持内光照传感器的位置不变，在框架中心垂线与花球生长平面相交的点位处，安装中心型材用于安装中心光强传感器，通过改变可调节LED灯的亮度来获取并记录内光强传感器和中心光强传感器的数值，然后拟合出两个光强传感器的数据关系，得到内光强传感器的光强数值对应到中心花球表面的光强数值。
9.一种实现如权利要求1所述的多维图像数据库的构建方法的构建装置，其特征在于，所述构建装置包括划分策略模块、采集装置选择与设计模块、西兰花花球多维图像数据构建模块，各个模块依次执行所述构建方法的步骤1~步骤3的处理过程。<...
【技术特征摘要】
1.一种多维图像数据库的构建方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的一种多维图像数据库的构建方法，其特征在于，所述步骤1中，多尺度图像数据包括空中端无人机获取的大尺度面数据和地面端推车获取的小尺度点数据，无人机航拍获取的图片数据包含了大面积花球的位置与直径信息，因拍摄距离为m且光照和种植条件复杂而难以获取花球更为准确的细节信息，m≥10米，后续通过二维重建软件获取整块西兰花地的花球位置与直径信息；地面端推车获取的图片信息包含了小面积视场中若干花球的信息，由于拍摄距离为n，0.5米≤n≤1.5米，除了能获取位置与尺寸信息外，还能获取花球颜色、形状和花粒形态细节信息；空中端图像因光照条件、种植模式、种植品种和农艺操作不同，经实地调研分析，划分成了4个维度；地面端图像因光照条件和种植品种不同，经实地调研分析，划分成了2个维度。
3.如权利要求2所述的一种多维图像数据库的构建方法，其特征在于，所述步骤1中， 6个维度的划分策略如下：
4.如权利要求1~3之一所述的一种多维图像数据库的构建方法，其特征在于，所述步骤2中，西兰花花球多维图像数据的采集装置由空中端无人机和地面端推车组成；
5.如权利要求4所述的一种多维图像数据库的构建方法，其特征在于，所述步骤2中，在遮光后，内光强传感器用于测量推车内部的环境光强，外光强传感器用于测量推车外部的自然环境光强；中心光强传感器用于数据采集完成后的标定操作，将内光强传感器的值标定至中心光强传感器上；横放的中心型材架是在标定过程中，用于将中心光强传感器安装于架构中心垂线与花球平均高度水平面的交点处，以完成光强标定操作；中心光强传感器和中心型材架只在光强标定的时候使用，在地面端花球图像数据采集时，需要拆除，否则会遮挡深度相机的视线并在推车移动过程中可能会蹭伤西兰花；推车顶部左右两侧各安装一个深度相机，并使镜头朝下以俯拍获取rgb图像和深度信息，双深度相机能获取同一个西兰花不同角度的图像，有效提升获取西兰花图像和深度数据速率，同时双深度相机从不同角度获取的同一西兰花花球图像数据，后续能互相验证算法的准确性；控制板jetson xaviernx、内光强传感器和可调节led灯构成了一个遮光并人工打光时的光强控制闭环系统，设置不同的目标光强值后，控制板jetson xavi...
【专利技术属性】
技术研发人员：王志恒，张晓斐，沈奥，徐纪星，郑宇芹，荀一，杨庆华，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。