一种基于侧向多视角重建的蜜柚体积估测方法技术

本发明专利技术公开了一种基于侧向多视角重建的蜜柚体积估测方法。方法包括以下步骤：首先构建多视图图像采集系统，接着利用构建的系统基于运动恢复结构及多视角立体视觉原理实现了蜜柚稠密点云重建，然后经稠密点云分割、分割点云滤波、滤波点云下采样及下采样点云三角化形成了封闭凸包，对封闭凸包进行体积计算作为下采样点云体积估测值。本发明专利技术有效解决了水果体积难计算的问题，适用于具有水滴形、球形、椭球形、梨形等多样果形的水果体积估测。同时该发明专利技术构建的具有均匀光环境的图像采集装置，能够很好地克服水果表面反光强烈所形成的亮斑区域。进一步地，该发明专利技术能够实现无损精确测量水果体积，能够为水果的品质分级提供重要参考依据。依据。依据。

【技术实现步骤摘要】
一种基于侧向多视角重建的蜜柚体积估测方法


[0001]本专利技术涉及一种水果体积估测方法，尤其是涉及一种基于侧向多视角重建的蜜柚体积估测方法。

技术介绍

[0002]我国是世界水果生产大国，水果已发展成为我国第三大种植产品，仅次于粮食与蔬菜。同时我国作为世界上柚种植面积最大的国家，柚产量位居世界第一位，2019年柚产量已经高达508万吨，柚栽培面积及产量分别占世界的61.41％和51.45％。蜜柚历经近500年的栽培历史，目前已成为柚类优良代表品种之一。当前对于蜜柚的品质分级主要依据重量，黄日升等(2015)(黄日升,朱东煌,林锦星,沈虹,李健.蜜柚果实分级标准研究[J].中国南方果树,2015,44(03):28
‑
31+34.)研究表明利用体积作为分级指标较重量更加科学，且果实的体积与内部品质相关性最强，其对应汁胞粒化率最大。因此估测蜜柚体积进而进行商品化分等分级具有重要意义。
[0003]水果体积估测传统方法主要为人工测量，如使用排水法进行测量，但是人工测量方式具有劳动强度大、效率低、耗时长等不足。随着图像处理技术的发展，以估测水果体积及质量为代表的水果外部几何特征估测展现出极大的优势。Koc等(2007)(Koc A B.Determination of watermelon volume using ellipsoid approximation and image processing[J].Postharvest Biology and Technology,2007,45(3):366
‑
371.)以西瓜为研究对象，分别利用椭球法和图像面积估测拟合西瓜体积，发现图像面积拟合法的准确度更高。Omid等(2010)(Omid M,Khojastehnazhand M,Tabatabaeefar A.Estimating volume and mass of citrus fruits by image processing technique[J].Journal of Food Engineering,2010,100(2):315
‑
321.)构建了双相机拍摄的图像采集系统，利用该系统采集柑橘的表面图像，然后利用椭球法估测了柑橘的体积和质量，并发现体积与质量间呈现出高度的相关性。Nyalala等(2019)(Nyalala I,Okinda C,Nyalala L,et al.Tomato volume and mass estimation using computer vision and machine learning algorithms:Cherry tomato model[J].Journal of Food Engineering,2019,263:288
‑
298.)以圣女果为研究对象，采用机器视觉与机器学习相结合的方法估测圣女果体积与质量，其中RBF
‑
SVM模型中质量与体积的估计精度达到了0.9706。
[0004]近年来，随着三维重建技术以及消费级图像采集设备的发展，有学者利用生成水果全表面点云的方式进行三维重建测量水果尺寸或体积：Yawe等(2020)(Yawei,W,Yifei C.Fruit Morphological Measurement Based on Three
‑
Dimensional Reconstruction.Agronomy，2020,10,455)将梨置于旋转台上，利用9张图片得到了梨的三维点云图，并计算了其三维尺寸。Ni等(2021)(Ni X,Li C,Jiang H,et al.Three
‑
dimensional photogrammetry with deep learning instance segmentation to extract berry fruit harvestability traits[J].ISPRS Journal of Photogrammetry and Remote Sensing,2021,171:297
‑
309.)基于SFM与MVS重建了4个品种的蓝莓果，利用最
小包围盒计算了蓝莓的紧凑度，估测了蓝莓果的数量、体积和成熟度，结果表明蓝莓果果实数量检测精度达到了97.3％。
[0005]但是以上研究对象均为椭球形或球形水果，难以适用于具有水滴形、球形、椭球形、梨形等多样果形的蜜柚体积估测。此外，由于蜜柚果实较大且表皮布满油胞具有易反光特性，易形成亮斑区域，因此构建具有光照均匀性的重建装置也是一大难点。

技术实现思路

[0006]为了解决
技术介绍
中存在的问题和需求，本专利技术提供了一种基于侧向多视角重建的蜜柚体积估测方法。
[0007]本专利技术的技术方案如下：
[0008]1)多视图图像采集系统的搭建：多视图图像采集系统包括光照箱、旋转平台、相机和主机，光照箱内部的中心处安装有旋转平台，旋转平台用于放置蜜柚，相机由俯视相机C1、平视相机C2和仰视相机C3组成，光照箱的圆周侧面从上到下依次安装有俯视相机C1、平视相机C2和仰视相机C3，俯视相机C1、平视相机C2和仰视相机C3的光轴均指向蜜柚，俯视相机C1、平视相机C2和仰视相机C3均与主机相连；
[0009]2)多视图蜜柚稠密点云重建：启动旋转平台，俯视相机C1、平视相机C2和仰视相机C3同步拍摄蜜柚，各个相机均拍摄获得当前蜜柚的一组蜜柚原始图像；根据3组蜜柚原始图像，利用基于运动恢复结构和多视角立体视觉方法恢复出当前蜜柚的三维点坐标，获得蜜柚稠密点云；
[0010]3)稠密点云分割：根据蜜柚稠密点云，采用ConditionAnd算法除去蜜柚稠密点云中的背景噪声，得到蜜柚分割点云；
[0011]4)分割点云滤波：对于蜜柚分割点云中的任意一点k，取当前点k临近的多个临近点，计算出当前点k与当前多个临近点的平均距离，接着根据平均距离利用高斯分布选取离群点进行去除，遍历蜜柚分割点云中各个点，去除各个点的所有离群点，获得当前得到蜜柚滤波点云；
[0012]5)滤波点云下采样：对获取的蜜柚滤波点云进行随机下采样，得到蜜柚下采样点云；
[0013]6)下采样点云三角化：对蜜柚下采样点云进行三角化处理，形成封闭凸包；
[0014]7)体积估测：计算封闭凸包的内部空腔的体积，将体积作为当前蜜柚3的体积估测值。
[0015]所述步骤2)中，旋转平台至少旋转一周。
[0016]所述步骤2)中，首先利用尺度不变特征变换算法对所有蜜柚原始图像进行特征点提取，对各幅蜜柚原始图像之间的特征点进行匹配，获得各组图像匹配对；再根据各组图像匹配对的匹配特征点，利用对极几何原理恢复出3个相机对应的内参矩阵和外参矩阵；最后根据3个相机对应的内参矩阵和外参矩阵，利用双目立体视觉及多视角立体视觉原理方法对所有原始蜜柚图像进行三维点云重建，得到蜜柚稠密点云。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于侧向多视角重建的蜜柚体积估测方法，其特征在于，包括以下步骤：1)多视图图像采集系统的搭建：多视图图像采集系统包括光照箱(1)、旋转平台(2)、相机(4)和主机(5)，光照箱(1)内部的中心处安装有旋转平台(2)，旋转平台(2)用于放置蜜柚(3)，相机(4)由俯视相机C1、平视相机C2和仰视相机C3组成，光照箱(1)的圆周侧面从上到下依次安装有俯视相机C1、平视相机C2和仰视相机C3，俯视相机C1、平视相机C2和仰视相机C3的光轴均指向蜜柚(3)，俯视相机C1、平视相机C2和仰视相机C3均与主机(5)相连；2)多视图蜜柚稠密点云重建：启动旋转平台(2)，俯视相机C1、平视相机C2和仰视相机C3同步拍摄蜜柚(3)，各个相机均拍摄获得当前蜜柚(3)的一组蜜柚原始图像；根据3组蜜柚原始图像，利用基于运动恢复结构和多视角立体视觉方法恢复出当前蜜柚的三维点坐标，获得蜜柚稠密点云；3)稠密点云分割：根据蜜柚稠密点云，采用ConditionAnd算法除去蜜柚稠密点云中的背景噪声，得到蜜柚分割点云；4)分割点云滤波：对于蜜柚分割点云中的任意一点k，取当前点k临近的多个临近点，计算出当前点k与当前多个临近点的平均距离，接着根据平均距离利用高斯分布选取离群点进行去除，遍历蜜柚分割点云中各个点，去除各个点的所有离群点，获得当前得到蜜柚滤波点云；5)滤波点云下采样：对获取的蜜柚滤波点云进行随机下采样，得到蜜柚下采样点云；6)下采样点云三角化：对蜜柚下采样点云进行三角化处理，形成封闭凸包；7)体积估测：计算封闭凸包的内部空腔的体积，将体积作为当...

【专利技术属性】
技术研发人员：饶秀勤，林洋洋，朱逸航，张小敏，黄心瑶，徐涛，应义斌，徐惠荣，
申请(专利权)人：浙江大学，
类型：发明
国别省市：