一种废弃物目标定位和分割的方法和装置制造方法及图纸

发明专利技术人提出了一种多层级的垃圾废弃物目标定位与分割的技术方案，通过结合场景级别的粗略分割网络与目标级别的细致分割网络来当前解决垃圾废弃物定位与分割任务中面临的问题，具体包括步骤：获取符合预设标准的图像；先后以粗略分割网络和细致分割网络对所述图像进行处理，然后以CRF模型对分割结果做优化处理，得到语义分割结果。发明专利技术人同时还提出了相应的废弃物目标定位和分割的装置。本发明专利技术可通过结合全局场景与局部目标之间的关系，构建具有更强鲁棒性的多级网络，解决垃圾废弃物目标定位与分割任务中遇到的极端大小差异问题。

【技术实现步骤摘要】
一种废弃物目标定位和分割的方法和装置
本专利技术涉及计算机软件领域，特别涉及一种废弃物目标定位和分割的方法和装置。
技术介绍
随着全世界城市化进程的不断发展，垃圾废弃物管理已经成为各国政府部门关注的核心问题。根据世界银行的报告，到2025年，城市人口将达到43亿，随之每年将生成22亿吨的固体废料。垃圾分类的举措不仅可以更有效地实现变废为宝，还可以减少填埋和焚烧产生的空气污染，因此得到政府的大力提倡。然而由于实行垃圾分类要求苛刻，使得推广存在一定难度。近年来，计算机视觉技术的快速发展使得研究者能够研发出具有鲁棒性的图像算法，使之辅助执行垃圾废弃物收集与分类任务。尤其是将语义分割算法应用在垃圾废弃物图像上，可以提升诸如：基于内容的图像检索、目标姿态估计、机械臂抓取等相关任务的效果，进而实现垃圾废弃物的自动化分类。但由于垃圾废弃物目标在图像区域中的成像大小存在极端的不稳定，使得通用的语义分割模型在垃圾废弃物目标的分割任务中容易出现漏检或误检现象，无法满足实际应用场景中的需求。
技术实现思路
因此，专利技术人认为，有必要专利技术一种多层级的垃圾废弃物目标定位与分割方法。从仿生的角度出发，专利技术人发现，人类的视觉系统可以轻易的识别出具有极端大小差异的各类垃圾废弃物目标。根据研究，人眼首先对整体场景进行感知，获得潜在的垃圾废弃物目标位置信息，随后进一步对潜在区域进行更为细致的检测与识别。因此，通过借鉴人类视觉系统的工作原理，专利技术人专利技术了一种多层级的垃圾废弃物目标定位与分割方法，通过结合场景级别的粗略分割网络与目标级别的细致分割网络来当前解决垃圾废弃物定位与分割任务中面临的问题。为此，专利技术人提出了一种废弃物目标定位和分割的方法，包括如下步骤：获取符合预设标准的图像，所述预设标准包括：所述图像包含彩色图像；以第一分割网络对所述图像进行处理，生成第一分割结果以及潜在的目标区域；以第二分割网络对所述潜在的目标区域进行分割操作，生成第二分割结果；以CRF模型对所述第一分割结果和第二分割结果做优化处理，得到语义分割结果；其中，所述第一分割网络为一场景级别的粗略分割网络，所述第二分割网络为一目标级别的细致分割网络，且所述第一分割网络、第二分割网络、CRF模型均为经过预先训练所得，所述训练基于带有轮廓标注的垃圾废弃物训练数据集进行。进一步地，所述的废弃物目标定位和分割的方法中，所述带有轮廓标注的垃圾废弃物训练数据集来源为公开数据库或经人工标注边缘轮廓的非公开数据库，并从训练数据集中确定训练集和测试集，并且确定需使用的语义分割算法，所述语义分割算法包括FCN、DeepLabv3、PSPNet或CCNet。进一步地，所述的废弃物目标定位和分割的方法中，所述语义分割算法为DeepLabv3，以预设数量以上的训练数据集图片对DeepLabv3模型进行模型微调，然后得到第一分割网络。进一步地，所述的废弃物目标定位和分割的方法中，训练获得第二分割网络的步骤包括：基于第一分割网络，对训练数据集进行模型预测，得到潜在目标的第一分割结果；以连通区域分析算法生成并截取具体目标的图像区域，用于获取第二分割网络的训练集；以预设数量以上的所述用于获取第二分割网络的训练集图片对DeepLabv3模型进行模型微调，然后得到第二分割网络。进一步地，所述的废弃物目标定位和分割的方法中，步骤“获取符合预设标准的图像”具体包括：图像类型为RGBD或RGB；图像中包含彩色图像I的信息，为所述彩色图像I中坐标为(i,j)的像素点标记语义标签为Xij；步骤“以第一分割网络对所述图像进行处理，生成第一分割结果以及潜在的目标区域”具体包括：所述第一分割网络Fc的输出特征为其中表示整个图像区域的像素信息；对于所有的(i,j)∈R0，将特征C0i,j经过Softmax函数缩放后，得到当前像素点关于所属类别的概率值Pci,j：其中δ(xij＝k')表示当且仅当xij＝k'时值为1,否则为0；基于上述步骤获取的像素点的概率值信息，通过得到第一分割结果，采用连通区域分析算法生成潜在的目标区域。进一步地，所述的废弃物目标定位和分割的方法中，步骤“基于上述步骤获取的像素点的概率值信息，通过得到第一分割结果，采用连通区域分析算法生成潜在的目标区域”还包括：对生成得到的L个潜在的目标区域中的第l个目标区域标记与之紧密对应的边界框并将边界框向四周拓展20％-40％的大小，得到Rl，作为用于获取第二分割网络输入特征的参数。进一步地，所述的废弃物目标定位和分割的方法中，所述步骤“以第二分割网络对所述潜在的目标区域进行分割操作，生成第二分割结果”具体包括：在图像I上截取Rl范围内的图像，作为用于第二分割网络Ff的新的输入特征，所述第二分割网络的输出特征为：其中表示第l个连通区域所对应的边界框内的像素信息，Cl为Hl*Wl*C大小的特征；对于所有的(i,j)∈Rl，将特征Cli,j经过Softmax函数缩放后，得到当前像素点关于所属类别的概率值Pli,j：其中δ(xij＝k')表示当且仅当xij＝k'时值为1,否则为0；1≤l≤L；和表示将图像坐标映射至第l个目标区域的对应位置。进一步地，所述的废弃物目标定位和分割的方法中，所述的CRF模型表达式为：E(x,I,D)＝Φc(x；I)+α·Φf(x；I)+Ψ(x；I,D)，其中Φc(x；I)表示第一分割网络产生的单点势能，Φf(x；I)表示第二分割网络产生的单点势能，Ψ(x；I,D)表示综合图像的分类信息后产生的对点势能，所述分类信息包括颜色、深度或空间位置关系，α为权重参数。专利技术人同时还提出了一种废弃物目标定位和分割的装置，包括图像输入单元、分割单元和训练单元；所述图像输入单元用于获取符合预设标准的图像，所述预设标准包括：所述图像包含彩色图像；所述分割单元用于以第一分割网络对所述图像进行处理，生成第一分割结果以及潜在的目标区域；所述分割单元还用于以第二分割网络对所述潜在的目标区域进行分割操作，生成第二分割结果；所述分割单元还用于以CRF模型对所述第一分割结果和第二分割结果做优化处理，得到语义分割结果；其中，所述第一分割网络为一场景级别的粗略分割网络，所述第二分割网络为一目标级别的细致分割网络，且所述第一分割网络、第二分割网络、CRF模型均为经过训练单元的预先训练所得，所述训练基于带有轮廓标注的垃圾废弃物训练数据集进行。进一步地，所述的废弃物目标定位和分割的装置中，所述带有轮廓标注的垃圾废弃物训练数据集来源为公开数据库或经人工标注边缘轮廓的非公开数据库，并从训练数据集中确定训练集和测试集，并且确定需使用的语义分割算法，所述语义分割算法包括FCN、DeepLabv3、PSPNet或CCNet。进一步地，所述的废弃物目标定位和分割的装置中，所述语义分割算法为DeepLabv3，所述训练单元以预设数量以上的训练数据集图片对Dee本文档来自技高网...

【技术保护点】
1.一种废弃物目标定位和分割的方法，其特征在于，包括如下步骤：/n获取符合预设标准的图像，所述预设标准包括：所述图像包含彩色图像；/n以第一分割网络对所述图像进行处理，生成第一分割结果以及潜在的目标区域；/n以第二分割网络对所述潜在的目标区域进行分割操作，生成第二分割结果；/n以CRF模型对所述第一分割结果和第二分割结果做优化处理，得到语义分割结果；/n其中，所述第一分割网络为一场景级别的粗略分割网络，所述第二分割网络为一目标级别的细致分割网络，且所述第一分割网络、第二分割网络、CRF模型均为经过预先训练所得，所述训练基于带有轮廓标注的垃圾废弃物训练数据集进行。/n

【技术特征摘要】
1.一种废弃物目标定位和分割的方法，其特征在于，包括如下步骤：
获取符合预设标准的图像，所述预设标准包括：所述图像包含彩色图像；
以第一分割网络对所述图像进行处理，生成第一分割结果以及潜在的目标区域；
以第二分割网络对所述潜在的目标区域进行分割操作，生成第二分割结果；
以CRF模型对所述第一分割结果和第二分割结果做优化处理，得到语义分割结果；
其中，所述第一分割网络为一场景级别的粗略分割网络，所述第二分割网络为一目标级别的细致分割网络，且所述第一分割网络、第二分割网络、CRF模型均为经过预先训练所得，所述训练基于带有轮廓标注的垃圾废弃物训练数据集进行。


2.如权利要求1所述的废弃物目标定位和分割的方法，其特征在于，所述带有轮廓标注的垃圾废弃物训练数据集来源为公开数据库或经人工标注边缘轮廓的非公开数据库，并从训练数据集中确定训练集和测试集，并且确定需使用的语义分割算法，所述语义分割算法包括FCN、DeepLabv3、PSPNet或CCNet。


3.如权利要求2所述的废弃物目标定位和分割的方法，其特征在于，所述语义分割算法为DeepLabv3，以预设数量以上的训练数据集图片对DeepLabv3模型进行模型微调，然后得到第一分割网络。


4.如权利要求3所述的废弃物目标定位和分割的方法，其特征在于，训练获得第二分割网络的步骤包括：
基于第一分割网络，对训练数据集进行模型预测，得到潜在目标的第一分割结果；
以连通区域分析算法生成并截取具体目标的图像区域，用于获取第二分割网络的训练集；
以预设数量以上的所述用于获取第二分割网络的训练集图片对DeepLabv3模型进行模型微调，然后得到第二分割网络。


5.如权利要求4所述的废弃物目标定位和分割的方法，其特征在于，步骤“获取符合预设标准的图像”具体包括：图像类型为RGBD或RGB；图像中包含彩色图像I的信息，为所述彩色图像I中坐标为(i,j)的像素点标记语义标签为Xij；
步骤“以第一分割网络对所述图像进行处理，生成第一分割结果以及潜在的目标区域”具体包括：
所述第一分割网络Fc的输出特征为其中表示整个图像区域的像素信息；
对于所有的(i,j)∈R0，将特征C0i,j经过Softmax函数缩放后，得到当前像素点关于所属类别的概率值Pci,j：

其中δ(xij＝k')表示当且仅当xij＝k'时值为1,否则为0；
基于上述步骤获取的像素点的概率值信息，通过得到第一分割结果，采用连通区域分析算法生成潜在的目标区域。


6.如权利要求5所述的废弃物目标定位和分割的方法，其特征在于，步骤“基于上述步骤获取的像素点的概率值信息，通过得到第一分割结果，采用连通区域分析算法生成潜在的目标区域”还包括：
对生成得到的L个潜在的目标区域中的第l个目标区域标记与之紧密对应的边界框并将边界框向四周拓展20％-40％的大小，得到Rl，作为用于获取第二分割网络输入特征的参数。


7.如权利要求6所述的废弃物目标定位和分割的方法，其特征在于，所述步骤“以第二分割网络对所述潜在的目标区域进行分割操作，生成第二分割结果”具体包括：在图像I上截取Rl范围内的图像，作为用于第二分割网络Ff的新的输入特征，所述第二分割网络的输出特征为：其中表示第l个连通区域所对应的边界框内的像素信息，Cl为Hl*Wl*C大小的特征；
对于所有的(i,j)∈Rl，将特征经过Softmax函数缩放后，得到当前像素点关于所属类别的概率值

其中δ(xij＝k')表示当且仅当xij＝k'时值为1,否则为0；1≤l≤L；和表示将图像坐标映射至第l个目标区域的对应位置。


8.如权利要求1或2所述的废弃物目标定位和分割的方法，其特征在于，所述的CRF模型表达式为：
E(x,I,D)＝Φc(x；I)+α·Φf(x；I)+Ψ(x；I,D)，其中Φc(x；I)表示第一分割网络产生的单点势能，Φf(x；I)表示第二分割网络产生的单点势能，Ψ(x；I,D)表示综合图像的分类信息后产生的对点势能，所述分类信息包括颜色、深度或空间位置关系，α为权重参数。


9.一种废弃物目标定位和分割的装置，其特征在于，包括图像输入单...

【专利技术属性】
技术研发人员：汪涛，蔡远征，温正垚，
申请(专利权)人：闽江学院，
类型：发明
国别省市：福建;35