【技术实现步骤摘要】
本专利技术涉及精准农业智能决策，特别涉及一种基于语义分割的车载图像分类与有效区域分割领域。
技术介绍
1、农田作业车辆如拖拉机的车载监测主要是利用车载控制终端配合摄像头对拖拉机前方或后方农田区域进行定时抓拍，获取实时的车载监测图像，目前，我国普通农机拥有量接近饱和，前装的智能化农机价格较高很难更新换代，因此通常采用摄像头后装的方式对农机进行智能改造。因拖拉机作业环境较为颠簸，在车载监测过程中，摄像头的安装位置和角度变化会导致车载抓拍图像不为单一的农田场景，当其他类别像素的占比超过一定范围时，该类图像不能满足车载监测的应用需求。因此，需要提高车载图像的筛选效率与图像利用率。
2、区别于常规的u-net、refinenet、segnet、deeplab v3+等分割方法图像分类方法，拖拉机车载监测图像不是按照场景类别进行划分，而是根据不同场景的像素占比组合，呈现四种应用状态：第一类图中天空占比大于30％，角度过高不满足监测要求；第二类图中机具占比超过10％，角度过低不满足监测要求；第三类图中农田占比大约90％，为标准监测图像；第四类图中天空占比小于30％且机具占比小于10％，为待处理图像，应提高第四类图像的分类和有效区域划分。
3、利用像素级的语义分割方法可同时完成图像分类和有效区域分割任务。现有的分割方法已成功应用于多个领域，但在拖拉机车载监测方面的研究也有所局限。拖拉机车载监测场景自然环境复杂且易于变化，语义对象轮廓模糊，影响语义分割模型的准确性和通用性。因此，在编解码结构的基础上，引入残差单元、多尺度卷
技术实现思路
1、为了解决上述问题，本专利技术公开一种基于语义分割的车载图像分类与有效区域分割方法，其特征在于，包括以下步骤：
2、获取农田作业车辆监测图像，对所述农田作业车辆监测图像进行标注，得到训练集；
3、构建一用于农田作业车辆监测图像分类与有效区域分割的神经网络，其中，
4、对所述农田作业车辆监测图像进行编码，得到编码后图像；
5、提取所述编码后图像的多尺度特征信息；
6、对所述多尺度特征信息进行解码，输出解码后图像每个像素点的语义信息和距离分级信息；
7、共享所述多尺度特征信息的提取过程，使用所述语义信息和距离分级信息作构建多分支输出网络；
8、建立所述多分支输出网络的损失函数；
9、使用所述训练集对所述神经网络进行训练；
10、输入待处理的所述农田作业车辆监测图像，经过所述神经网络处理，融合所述多分支输出网络各分支的输出，得到最终的输出结果。
11、在本专利技术上述方法的一实施例中，其中，所述获取农田作业车辆监测图像的步骤进一步包括：
12、在农田作业车辆驾驶室车顶前部，沿车辆直线前进方向且平行于水平面，于一初始安装角度向地面方向倾斜一角度的位置安装摄像头，获取车辆前方一范围内的农田图像。
13、在本专利技术上述方法的一实施例中，其中，所述初始安装角度为0度，所述倾斜角度为60度，所述范围为15米。
14、在本专利技术上述方法的一实施例中，其中，所述摄像头为单目相机、双目相机、立体3d相机、红外相机中任意一种。
15、在本专利技术上述方法的一实施例中，其中，所述对农田作业车辆监测图像编码的步骤是基于轻量化残差网络和混合空洞卷积进行的。
16、在本专利技术上述方法的一实施例中，其中，所述基于轻量化残差网络和混合空洞卷积对农田作业车辆监测图像进行编码的步骤进一步包括：
17、对输入图像根据一通道数进行卷积，得到特征图；
18、对所述特征图进行下采样；
19、根据待提取的一特征数对所述特征图划分为多个分支；
20、根据快速高斯滤波的可分离特性对二维卷积核拆分为两个不同方向的一维卷积核；
21、对所述划分后的分支特征图进行混合空洞卷积，用于增加感受野和增强局部信息；
22、对所述多分支特征图进行融合；
23、对所述所述输入图像和所述融合后的多分支特征图进行跳跃连接，恢复原通道数；
24、对所述跳跃连接后的图像进行通道洗牌。
25、在本专利技术上述方法的一实施例中，其中，提取所述混合空洞卷积的扩张率为2。
26、在本专利技术上述方法的一实施例中，其中，所述对农田作业车辆监测图像
27、进
28、行编码可以进行多次，所述编码的计算量为：
29、
30、其中，为l层的输入通道数，cl为l层的输出通道数；klx和kly为卷积核的尺寸，klx和kly为l层输入的特征图的大小。
31、在本专利技术上述方法的一实施例中，其中，提取所述编码后图像的多尺度特征信息的步骤进一步包括：
32、将所述编码后图像分为多尺度卷积分支和普通卷积分支；
33、对所述普通卷积分支使用3×3卷积核进行卷积操作；
34、对所述普通卷积分支3×3卷积操作结果进行卷积核3×3的卷积降维操作，提取单尺度第一目标数量特征；
35、对所述多尺度卷积分支进行进行第一次下采样；
36、对所述第一次下采样后的结果使用7×7卷积核进行卷积操作，得到7×7卷积操作结果；
37、对所述7×7卷积操作结果进行卷积核3×3的卷积降维操作，提取第一尺度下第二目标数量特征；
38、对所述7×7卷积操作结果进行第二次下采样；
39、对所述第二次下采样后的结果，再使用5×5卷积核进行卷积操作，得到5×5卷积操作结果；
40、对所述5×5卷积操作结果进行卷积核3×3的卷积降维操作，提取第二尺度下所述第二目标数量特征；
41、对所述5×5卷积操作结果进行第三次下采样；
42、对所述第三次下采样的结果，再使用3×3卷积核进行卷积操作，得到3×3卷积操作结果；
43、对所述3×3卷积操作结果进行卷积核3×3的卷积降维操作，提取第三尺度下所述第二目标数量特征。
44、在本专利技术上述方法的一实施例中，其中，所述下采样的步骤是使用2×2矩阵进行池化操作。
45、在本专利技术上述方法的一实施例中，其中，所述池化操作包括平均池化和最大池化。
46、在本专利技术上述方法的一实施例中，其中，所述对所述多尺度特征信息进行解码的步骤进一步包括：
47、对所述单尺度第一目标数量特征使用1×1卷积核进行特征融合，得到普通卷积分支的解码结果；
48、对所述第三尺度下第二目标数量特征进行第一次上采样；
49、对所述第一次上采样的结果和所述第二尺度下所述第二目标数量特征使本文档来自技高网...
【技术保护点】
1.一种基于语义分割的车载图像分类与有效区域分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述获取农田作业车辆监测图像的步骤进一步包括：
3.如权利要求2所述的方法，其特征在于，所述初始安装角度为0度，所述倾斜角度为60度，所述范围为15米。
4.如权利要求3所述的方法，其特征在于，所述摄像头为单目相机、双目相机、立体3D相机、红外相机中任意一种。
5.如权利要求1所述的方法，其特征在于，所述对农田作业车辆监测图像进行编码的步骤是基于轻量化残差网络和混合空洞卷积进行的。
6.如权利要求5所述的方法，其特征在于，所述基于轻量化残差网络和混合空洞卷积对农田作业车辆监测图像进行编码的步骤进一步包括：
7.如权利要求6所述的方法，其特征在于，提取所述混合空洞卷积的扩张率为2。
8.如权利要求6或7所述的方法，其特征在于，所述对农田作业车辆监测图像进行编码可以进行多次，所述编码的计算量为：
9.如权利要求1所述的方法，其特征在于，提取所述编码后图像的多尺度特征信息
10.如权利要求6或9所述的方法，其特征在于，所述下采样的步骤是使用2×2矩阵进行池化操作。
11.如权利要求10所述的方法，其特征在于，所述池化操作包括平均池化和最大池化。
12.如权利要求9所述的方法，其特征在于，所述对所述多尺度特征信息进行解码的步骤进一步包括：
13.如权利要求12所述的方法，其特征在于，所述构建多分支输出网络的步骤进一步包括：
14.如权利要求9或12或13所述的方法，其特征在于，所述第一目标数量为4，所述第二目标数量为3。
15.如权利要求13所述的方法，其特征在于，所述全局解码的步骤进一步包括：
16.如权利要求12或15所述的方法，其特征在于，所述上采样的步骤是使用双线性差值方法进行反池化操作。
17.如权利要求13所述的方法，其特征在于，所述建立所述多分支输出网络的损失函数的步骤进一步包括：
18.一种基于语义分割的车载图像分类与有效区域分割装置，用于实现权利要求1至17中任一项所述的方法，其特征在于，包括：
19.一种农田作业车辆，其特征在于，包括安装在车架上的车身、车载控制系统和驱动装置，所述车载控制系统又包括：如权利要求18所述的装置。
20.一种存储介质，用于存储计算机控制程序，其特征在于，所述计算机控制程序用于执行如权利要求1至17中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于语义分割的车载图像分类与有效区域分割方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述获取农田作业车辆监测图像的步骤进一步包括：
3.如权利要求2所述的方法，其特征在于，所述初始安装角度为0度，所述倾斜角度为60度，所述范围为15米。
4.如权利要求3所述的方法，其特征在于，所述摄像头为单目相机、双目相机、立体3d相机、红外相机中任意一种。
5.如权利要求1所述的方法，其特征在于，所述对农田作业车辆监测图像进行编码的步骤是基于轻量化残差网络和混合空洞卷积进行的。
6.如权利要求5所述的方法，其特征在于，所述基于轻量化残差网络和混合空洞卷积对农田作业车辆监测图像进行编码的步骤进一步包括：
7.如权利要求6所述的方法，其特征在于，提取所述混合空洞卷积的扩张率为2。
8.如权利要求6或7所述的方法，其特征在于，所述对农田作业车辆监测图像进行编码可以进行多次，所述编码的计算量为：
9.如权利要求1所述的方法，其特征在于，提取所述编码后图像的多尺度特征信息的步骤进一步包括：
10.如权利要求6或9所述的方法，其特征在于，所述下采样的步骤是使用2×2矩阵进行池化操作。
...
【专利技术属性】
技术研发人员：姜含露，汪凤珠，邢高勇，田澳，杨悦，马若飞，张峰硕，刘阳春，
申请(专利权)人：中国农业机械化科学研究院集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。