本发明专利技术提供一种水果分级方法、装置、电子设备、分拣系统和存储介质，其中方法包括：基于多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到待分级水果的成熟度等级；基于水果图像的图像特征以及多光谱图像中各个通道的特征图，进行损伤检测，得到待分级水果的损伤等级；基于待分级水果的体积和重量，以及成熟度等级和/或损伤等级，进行水果等级划分，得到待分级水果的水果等级，实现了水果分级过程的精细化和全面化，克服了传统方案中水果等级的准确度和可信度低下的缺陷，基于综合性的信息的自动化水果分级流程，减少了人力需求，降低了水果分级成本，实现了水果等级的准确度和可信度的双重提升。的准确度和可信度的双重提升。的准确度和可信度的双重提升。
【技术实现步骤摘要】
水果分级方法、装置、电子设备、分拣系统和存储介质
[0001]本专利技术涉及果实检测
，尤其涉及一种水果分级方法、装置、电子设备、分拣系统和存储介质。
技术介绍
[0002]水果分级，作为水果包装售卖前的重要步骤，其能够筛选出品质上佳的水果，以及剔除品质低劣的水果，然后按照水果大小进行分级，以便不同品质水果的包装、运输和售卖。
[0003]目前，在进行水果分级时，大多是直接测算水果的体积或者重量，然后根据体积或者重量进行水果等级划分，即直接从分拣机上按照果实大小进行分级，然而果实大小仅仅只是水果分级标准中的一个指标，仅依据其进行水果等级划分，得到的水果等级的准确度和可靠性堪忧。进一步地，在精细的水果分级上，目前主要依靠分拣传送带上的工人，或者水果店工作人员，而此种依靠人工进行水果分级的方式，不仅成本高昂，还效率低下，实用性较差。
技术实现思路
[0004]本专利技术提供一种水果分级方法、装置、电子设备、分拣系统和存储介质，用以解决现有技术中水果分级太过局限和粗糙，以致分级所得的水果等级的准确度和可信度低下的缺陷，实现水果分级过程的精细化和全面化，以及水果等级的准确度和可信度的双重提升。
[0005]本专利技术提供一种水果分级方法，包括：
[0006]获取待分级水果的水果图像和多光谱图像；
[0007]基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；
[0008]基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；
[0009]基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
[0010]根据本专利技术提供的一种水果分级方法，所述待分级水果的体积和重量的确定步骤包括：
[0011]对所述待分级水果的融合点云图像进行下采样，基于下采样所得的多个采样点进行特征提取，得到采样点特征；
[0012]对所述融合点云图像进行体素划分，并对体素划分后的点云图像分别进行体素特征编码和稀疏特征提取，得到体素特征和深度体素特征，对所述深度体素特征进行投影，得到不同尺度的鸟瞰特征；
[0013]基于所述体素特征、所述采样点特征以及不同尺度的鸟瞰特征，分别进行分割检测、体积估计和重量估计，得到分割点云图像，以及所述待分级水果的体积和重量。
[0014]根据本专利技术提供的一种水果分级方法，所述基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级，包括：
[0015]基于所述分割点云图像，进行果形拟合，得到所述待分级水果在二维平面上的最大果形轮廓，以及三维果形轮廓；
[0016]基于所述最大果形轮廓，以及所述三维果形轮廓，确定所述待分级水果的果形等级；
[0017]基于所述待分级水果的体积和重量、所述果形等级，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
[0018]根据本专利技术提供的一种水果分级方法，所述基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级，包括：
[0019]基于所述水果图像的图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况；
[0020]基于所述多光谱图像中各个通道的特征图，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况；
[0021]基于所述表皮损伤情况，以及所述皮下损伤情况，确定所述待分级水果的损伤等级。
[0022]根据本专利技术提供的一种水果分级方法，所述基于所述水果图像的图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况，包括：
[0023]对所述水果图像进行特征提取，得到所述水果图像的图像特征，对所述图像特征进行解码，得到所述水果图像的水果特征图；
[0024]对所述水果特征图进行通道降维，得到单通道特征图，基于所述单通道特征图进行语义分割，得到各个分割区域的区域图像特征；
[0025]对各个区域图像特征和所述图像特征进行融合，并基于融合所得的特征，以及所述各个区域图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况。
[0026]根据本专利技术提供的一种水果分级方法，所述基于所述多光谱图像中各个通道的特征图，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况，包括：
[0027]对所述多光谱图像进行特征提取，得到多光谱图像特征，并对所述多光谱图像特征进行解码，得到所述多光谱图像的多光谱特征图；
[0028]基于所述多光谱特征图中各个通道之间的相关性，进行通道分离，得到各个通道的特征图，基于所述各个通道的特征图中的各个分割区域，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况。
[0029]根据本专利技术提供的一种水果分级方法，所述基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级，包括：
[0030]分别提取所述多光谱图像的局部特征和全局特征；
[0031]对所述多光谱图像进行语义分割，并基于语义分割所得的所述多光谱图像中的水果区域进行特征提取，得到水果区域特征；
[0032]对所述局部特征、所述全局特征和所述水果区域特征进行融合，基于融合所得的
特征进行成熟度检测，得到所述待分级水果的成熟度等级。
[0033]本专利技术还提供一种水果分级装置，包括：
[0034]图像获取单元，用于获取待分级水果的水果图像和多光谱图像；
[0035]指标检测单元，用于基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；
[0036]水果分级单元，用于基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。
[0037]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的水果分级方法。
[0038]本专利技术还提供一种分拣系统，包括：图像采集设备、传送带、处理器以及机械臂；
[0039]所述图像采集设备用于采集所述传送带上的待分级水果的水果图像、多光谱图像和不同视角的点云图像，并将所述水果图像、所述多光谱图像和所述不同视角的点云图像传输至所述处理器；
[0040]所述处理器用于基于所述水果图像、所述多光谱图像，以及融合点云图像，确定所述待分级水果的水果等级，并将所述水果等级传输至所述机械臂；所述融合点云图像基于所述不同视角的点云图像确定；
[004本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种水果分级方法，其特征在于，包括：获取待分级水果的水果图像和多光谱图像；基于所述多光谱图像的局部特征、全局特征和水果区域特征，进行成熟度检测，得到所述待分级水果的成熟度等级；基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级；基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。2.根据权利要求1所述的水果分级方法，其特征在于，所述待分级水果的体积和重量的确定步骤包括：对所述待分级水果的融合点云图像进行下采样，基于下采样所得的多个采样点进行特征提取，得到采样点特征；对所述融合点云图像进行体素划分，并对体素划分后的点云图像分别进行体素特征编码和稀疏特征提取，得到体素特征和深度体素特征，对所述深度体素特征进行投影，得到不同尺度的鸟瞰特征；基于所述体素特征、所述采样点特征以及不同尺度的鸟瞰特征，分别进行分割检测、体积估计和重量估计，得到分割点云图像，以及所述待分级水果的体积和重量。3.根据权利要求2所述的水果分级方法，其特征在于，所述基于所述待分级水果的体积和重量，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级，包括：基于所述分割点云图像，进行果形拟合，得到所述待分级水果在二维平面上的最大果形轮廓，以及三维果形轮廓；基于所述最大果形轮廓，以及所述三维果形轮廓，确定所述待分级水果的果形等级；基于所述待分级水果的体积和重量、所述果形等级，以及所述成熟度等级和/或所述损伤等级，进行水果等级划分，得到所述待分级水果的水果等级。4.根据权利要求1至3中任一项所述的水果分级方法，其特征在于，所述基于所述水果图像的图像特征，以及所述多光谱图像中各个通道的特征图，进行损伤检测，得到所述待分级水果的损伤等级，包括：基于所述水果图像的图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况；基于所述多光谱图像中各个通道的特征图，进行皮下损伤检测，得到所述待分级水果的皮下损伤情况；基于所述表皮损伤情况，以及所述皮下损伤情况，确定所述待分级水果的损伤等级。5.根据权利要求4所述的水果分级方法，其特征在于，所述基于所述水果图像的图像特征，进行表皮损伤检测，得到所述待分级水果的表皮损伤情况，包括：对所述水果图像进行特征提取，得到所述水果图像的图像特征，对所述图像特征进行解码，得到所述水果图像的水果特征图；对所述水果特征图进行通道降维，得到单通道特征图，基于所述单通道特征图进行语义分割，得到各个分割区域的区域图像特征；
对各个区域图像特征和所述图像特征进行融合，并基于融...
【专利技术属性】
技术研发人员：闫润强，李旭强，杨梓钰，邓柯珀，蒋茁，
申请(专利权)人：河南讯飞人工智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。