垃圾桶满溢判别方法以及判别系统技术方案

本申请公开一种垃圾桶满溢判别方法，其包括：获取垃圾桶的桶口未投放垃圾时的垃圾桶图像F1，检测所述垃圾桶图像F1的垃圾桶桶口的四个关键角点，根据四个关键角点计算垃圾桶图像F1的垃圾桶桶口的面积S

【技术实现步骤摘要】
垃圾桶满溢判别方法以及判别系统


[0001]本申请涉及人工智能
，更具体地说，涉及一种垃圾桶满溢判别方法及判别系统。

技术介绍

[0002]在城市现代化建的进行中，生活垃圾越来越被人们重视，我国政府近年来也提出了垃圾分类和垃圾循环再利用政策，目前垃圾分类投放已在各大城市中有条不紊的进行。此时对垃圾桶的监管就显得尤其重要，特别是当垃圾桶已经满溢时，要及时将其运输至垃圾中转站处理，否则后续的垃圾将无法继续投放，严重影响了垃圾分类投放的有序进行；并且在气温较高的天气，若垃圾桶溢出会导致区域范围内气味重，且后续投放垃圾不规范等一系列的问题。在倡导垃圾分类大环境下，实时检测垃圾桶的满溢程度，调度有关运输车及时清运垃圾显得尤其重要。
[0003]目前，针对垃圾桶满溢的监管大多都是人工定点值守或者人工巡视，人工监管不仅需要大量的人力资源，而且还会出现监管不及时的情况，效率低下。还有的方案是采用超声波测距等传统方法来监测，此方法很难准确判断垃圾桶的满溢情况，当监测点垃圾桶局部堆积过高时，就会被误判为已经满溢。

技术实现思路

[0004]针对现有技术，本申请解决的技术问题是提供一种垃圾桶满溢判别方法及判别系统，该垃圾桶满溢判别方法及判别系统基于图像实时检测垃圾桶满溢情况。
[0005]为解决上述技术问题，第一方面，本申请提供一种垃圾桶满溢判别方法，其包括：
[0006]获取垃圾桶的桶口未投放垃圾时的垃圾桶图像F1，检测所述垃圾桶图像F1的垃圾桶桶口的四个关键角点，根据四个关键角点计算垃圾桶图像F1的垃圾桶桶口的面积S
d
；
[0007]实时对垃圾桶投放垃圾过程进行监测，获取垃圾投放过程中的一垃圾桶图像F2；
[0008]结合垃圾桶通口的四个关键角点，对垃圾桶图像F2进行分割获得垃圾桶桶口的垃圾区域，并计算垃圾桶图像F2的垃圾桶桶口的垃圾区域的面积S
g
；以及，
[0009]根据面积S
d
和面积S
g
，基于阈值判定垃圾桶图像F2内的垃圾桶是否满溢。
[0010]在一申请实施例中，根据面积S
d
和面积S
g
，基于阈值判定垃圾桶图像F2内的垃圾桶是否满溢的步骤包括：
[0011]获取四个关键角点的外接矩形框，记外接矩形框的长边为R1和外接矩形框的短边为R2；
[0012]依据外接矩形框的长宽比RR设定满溢阈值T，若面积比值SS大于阈值则，垃圾桶满溢，否者垃圾桶未满溢；
[0013]其中RR＝R1/R2,SS＝S
d
/S
g
。
[0014]在一申请实施例中，依据外接矩形框的长宽比RR设定满溢阈值T为：
[0015]T＝0.8,R2＝R1；
[0016][0017][0018]其中，α为正视视角拍摄垃圾桶时长边与短边的比值，即α为在不同的拍摄视角下时长边与短边的比值RR的最大值。
[0019]在一申请实施例中，α取值为5。
[0020]在一申请实施例中，根据四个关键角点计算垃圾桶图像F1的垃圾桶桶口的面积S
d
为：
[0021]根据四个关键角点将垃圾桶桶口划分成两个三角形；垃圾桶桶口的面积S
d
为两个三角形的面积获得垃圾桶桶口的面积；其中计算其中一个三角形面积S时，记该三角形的三个边长为a、b和c，则该三角形面积S为：
[0022][0023][0024]在一申请实施例中，检测所述垃圾桶图像F1的垃圾桶桶口的四个关键角点的步骤包括：
[0025]获取关于垃圾桶的第一样本数据和第二样本数据，其中在第一样本数据中垃圾桶的桶口的长边与X轴方向夹角θ属于第一夹角范围，在第二样本数据中垃圾桶的桶口的长边与X轴方向的夹角θ属于第二夹角范围，其中第一夹角范围和第二夹角范围分别为[0
°
,90
°
]和(90
°
,180
°
]；
[0026]将第一样本数据输入PFLD网络模型的主干网络和辅助网络获得关于夹角和垃圾桶关键角点检测的第一检测模型；
[0027]将第二样本数据输入PFLD网络模型的主干网络和辅助网络获得关于夹角和垃圾桶关键角点检测的第二检测模型；
[0028]利用两个检测模型中一个检测模型对垃圾桶图像F1进行夹角θ和四个关键角点检测，若该检测模型预测的夹角θ属于该检测模型所对应的夹角范围，则保留该检测模型检测的四个关键角点的检测结果，否者，利用另一个检测模型对垃圾桶图像F2进行夹角θ和四个关键角点检测。
[0029]在一申请实施例中，所述PFLD网络模型的所述主干网络为MobilenetV2网络，所述PFLD网络模型的所述辅助网络为MobileNet的二分类网络；其中，在训练第一检测模型时，利用MobilenetV2网络的特征层提取的所述第一样本数据生成的特征和所述第一样本数据的所有垃圾桶的夹角数据训练MobileNet网络，其中，在训练第二检测模型时，利用MobilenetV2网络的特征层提取的所述第二样本数据生成的特征和所述第二样本数据的所有垃圾桶的夹角数据训练MobileNet网络。
[0030]在一申请实施例中，结合垃圾桶通口的四个关键角点，对垃圾桶图像F2进行分割获得垃圾桶桶口的垃圾区域，并计算垃圾桶图像F2的垃圾桶桶口的垃圾区域的面积S
g
的步骤包括：
[0031]基于语义分割模型对垃圾桶图像F2进行语义分割获得属于垃圾的区域H1；
[0032]将四个关键角点围成的四边形区域与区域H进行交集运算获得圾桶图像F2的垃圾桶桶口的垃圾区域H2；
[0033]将属于垃圾区域H2的所有像素点的数目求和记为面积S
g
。
[0034]在一申请实施例中，所述语义分割模型为BiSeNet语义分割模型。
[0035]第二方面，本申请提供一种垃圾桶满溢判别系统，其包括摄像头、处理单元和监控平台，所述处理单元连接所述摄像头和所述监控平台，所述摄像头用于获取垃圾桶的桶口未投放垃圾时的垃圾桶图像，以及用于实时对垃圾桶投放垃圾过程进行监测并获取垃圾投放过程中的一垃圾桶图像F2；所述处理单元获取所述摄像头拍摄的图像并执行所述垃圾桶满溢判别方法的步骤；所述监控平台用于获取所述处理单元的判别结果。
[0036]本申请提供的垃圾桶满溢判别方法及判别系统的有益效果为：首先获取垃圾桶的桶口未投放垃圾时的垃圾桶图像F1，检测所述垃圾桶图像F1的垃圾桶桶口的四个关键角点，根据四个关键角点计算垃圾桶图像F1的垃圾桶桶口的面积S
d
；再实时对垃圾桶投放垃圾过程进行监测，获取垃圾投放过程中的一垃圾桶图像F2，结合垃圾桶通口的四个关键角点，对垃圾桶图像F2进行分割获得垃圾桶桶口的垃圾区域，并计算垃圾桶图像F2的垃圾桶桶口的垃圾区域的面积S
g
；再基于面积S<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种垃圾桶满溢判别方法，其特征在于，包括：获取垃圾桶的桶口未投放垃圾时的垃圾桶图像F1，检测所述垃圾桶图像F1的垃圾桶桶口的四个关键角点，根据四个关键角点计算垃圾桶图像F1的垃圾桶桶口的面积S
d
；实时对垃圾桶投放垃圾过程进行监测，获取垃圾投放过程中的一垃圾桶图像F2；结合垃圾桶通口的四个关键角点，对垃圾桶图像F2进行分割获得垃圾桶桶口的垃圾区域，并计算垃圾桶图像F2的垃圾桶桶口的垃圾区域的面积S
g
；以及根据面积S
d
和面积S
g
，基于阈值判定垃圾桶图像F2内的垃圾桶是否满溢。2.如权利要求1所述的垃圾桶满溢判别方法，其特征在于，根据面积S
d
和面积S
g
，基于阈值判定垃圾桶图像F2内的垃圾桶是否满溢的步骤包括：获取四个关键角点的外接矩形框，记外接矩形框的长边为R1和外接矩形框的短边为R2；依据外接矩形框的长宽比RR设定满溢阈值T，若面积比值SS大于阈值则，垃圾桶满溢，否者垃圾桶未满溢；其中RR＝R1/R2,SS＝S
d
/S
g
。3.如权利要求2所述的垃圾桶满溢判别方法，其特征在于，依据外接矩形框的长宽比RR设定满溢阈值T为：T＝0.8,R2＝R1；1；其中，a为正视视角拍摄垃圾桶时长边与短边的比值，即α为在不同的拍摄视角下所有图像中的长边与短边的比值RR的最大值。4.如权利要求3所述的垃圾桶满溢判别方法，其特征在于，α取值为5。5.如权利要求1所述的垃圾桶满溢判别方法，其特征在于，根据四个关键角点计算垃圾桶图像F1的垃圾桶桶口的面积S
d
为：根据四个关键角点将垃圾桶桶口划分成两个三角形；垃圾桶桶口的面积S
d
为两个三角形的面积获得垃圾桶桶口的面积；其中计算其中一个三角形面积S时，记该三角形的三个边长为a、b和c，则该三角形面积S为：长为a、b和c，则该三角形面积S为：6.如权利要求1或5任一项所述的垃圾桶满溢判别方法，其特征在于，检测所述垃圾桶图像F1的垃圾桶桶口的四个关键角点的步骤包括：获取关于垃圾桶的第一样本数据和第二样本数据，其中在第一样本数据中垃圾桶的桶口的长边与X轴方向夹角θ属于第一夹角范围，在第二样本数据中垃圾桶的桶口的长边与X轴方向的夹角θ属于第二夹角范围，其中第一夹角范围和第二夹角范围分别为[...

【专利技术属性】
技术研发人员：李晓凯，朱光强，陈雅琼，龚小龙，
申请(专利权)人：盛视科技股份有限公司，
类型：发明
国别省市：