模型训练方法、检测方法、机器人和存储介质技术

本申请公开了一种检测镜面物体的模型训练方法、检测方法、机器人和存储介质。该检测镜面物体的模型训练方法包括：获取训练图像，训练图像包括具有第一类镜面区域的第一图像和具有第二类镜面区域的第二图像；构建预设神经网络模型；利用第一图像和第二图像交替训练预设神经网络模型；在预设神经网络模型满足测试条件的情况下，得到训练好的镜面物体检测模型。本申请检测镜面物体的模型训练方法、检测方法、机器人和存储介质通过构建共享物体特征信息的预设神经网络模型，利用玻璃和镜子具有较强形似性的特点，同时玻璃和镜子两类物体的数据集，大大扩充了预设神经网络模型的训练数据，使得训练好的预设神经网络模型具有更好的精度和泛化性。精度和泛化性。精度和泛化性。

【技术实现步骤摘要】
模型训练方法、检测方法、机器人和存储介质


[0001]本申请涉及计算机视觉领域中的图像识别
，特别涉及一种模型训练方法、检测方法、机器人和存储介质。

技术介绍

[0002]在机器人感知领域，传感器的准确性是至关重要的。而针对玻璃类、镜子类天然的存在高折射性和高反射性的物体，大量的传统传感器结果很容易出现空洞等异常情况。因此，对玻璃类镜子类物体的检测仍然是一个极具挑战但意义重大的计算机视觉任务。
[0003]目前的机器人识别玻璃、镜面的精度低，会导致机器人撞上玻璃、镜面。也即是，目前的机器人识别玻璃和镜面的方法，既无法满足同时对玻璃类和镜子类物体的像素级分割，也无法具有广泛的通用性，同时也无法在保证识别精度的同时进行模型的轻量化。

技术实现思路

[0004]有鉴于此，本专利技术旨在至少在一定程度上解决相关技术中的问题之一。为此，本申请的目的在于提供一种模型训练方法、检测方法、机器人和存储介质。
[0005]本申请提供一种检测镜面物体的模型训练方法。所述模型训练方法包括：获取训练图像，所述训练图像包括具有第一类镜面区域的第一图像和具有第二类镜面区域的第二图像；构建预设神经网络模型；利用所述第一图像和所述第二图像交替训练所述预设神经网络模型；在所述预设神经网络模型满足测试条件的情况下，得到训练好的镜面物体检测模型。
[0006]在某些实施方式中，所述获取训练图像，包括：通过相机采集场景中分别带有第一镜面物体和第二镜面物体的待处理图像；对所述待处理图像进行分类得到所述第一图像和所述第二图像；根据对所述待处理图像的标注信息分别得到所述第一图像和所述第二图像对应的掩码图像。
[0007]在某些实施方式中，所述利用所述第一图像和所述第二图像交替训练所述预设神经网络模型，包括：通过所述预设神经网络模型对所述第一图像或所述第二图像进行处理得到预测图像；根据所述掩码图像和所述预测图像计算所述预设神经网络模型的误差；根据所述误差优化所述预设神经网络模型。
[0008]在某些实施方式中，所述通过所述预设神经网络对所述第一图像或所述第二图像进行处理得到预测图像，包括：将所述第一图像或所述第二图像作为所述预设神经网络模型的输入图像；对所述输入图像进行特征提取获取多层级特征图；将多层级所述特征图进行融合得到多层级融合特征图；对多层级所述融合特征图进行处理并合成目标特征图；根据所述目标特征图和第一预测模块进行预测得到第一预测结果；根据所述第一预测结果生成所述预测图像。
[0009]在某些实施方式中，所述对所述输入图像进行特征提取获取多层级特征图，包括：利用ResNeXt对所述输入图像进行特征提取得到多层级所述特征图。
[0010]在某些实施方式中，所述将多层级所述特征图进行融合得到多层融合特征图，包括：依次将各层级所述特征图上采样得到多个上采样特征图；将各层级所述特征图对应的所述上采样特征图与上一层级的所述特征图进行融合得到所述融合特征图。
[0011]在某些实施方式中，所述将各层级所述特征图对应的所述上采样特征图与上一层级的所述特征图进行融合得到所述融合特征图，包括：根据当前层级的所述上采样特征图和第二预测模块进行预测得到第二预测结果；对所述第二预测结果进行处理得到注意力图；将所述注意力图与上一层级的所述特征图相乘得到中间特征图；将所述中间特征图和当前层级的所述上采样特征图相加得到所述融合特征图。
[0012]在某些实施方式中，所述根据所述掩码图像和所述预测图像计算所述预设神经网络模型的误差的步骤，通过以下损失函数进行计算：
[0013]L＝ω
pred
L
pred
+ω
aux
L
aux
[0014]其中L
pred
和和L
aux
分别为第一预测模块和第二预测模块的Lov
á
sz Hinge误差，ω
pred
和ω
aux
为第一预测模块和第二预测模块误差的权重。
[0015]在某些实施方式中，所述根据所述目标特征图和第一预测模块进行预测得到第一预测结果，包括：利用SPHead模块对所述目标特征图进行预测得到所述第一预测结果。
[0016]本申请还提供一种利用镜面物体检测模型的检测方法。所述镜面物体检测模型根据上述实施方式中任一项所述的模型训练方法训练得到，所述检测方法包括：获取待检测图像；利用所述镜面物体检测模型对所述待检测图像进行处理得到检测结果；根据所述检测结果生成检测图像。
[0017]本申请还提供一种机器人。所述机器人包括处理器和存储器，所述存储器上存储有计算机程序，当所述计算机程序被所述处理器进行执行时，实现上述所述的检测方法。
[0018]本申请还提供一种包含有计算机程序的非易失性计算机可读存储介质。当所述计算机程序被一个或多个处理器执行时，实现上述所述的检测方法。
[0019]本申请检测镜面物体的模型训练方法、检测方法、机器人和存储介质通过构建共享物体特征信息的预设神经网络模型，利用玻璃和镜子具有较强形似性的特点，同时玻璃和镜子两类物体的数据集，大大扩充了预设神经网络模型的训练数据，训练好的预设神经网络模型具有更好的精度和泛化性。
[0020]本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0021]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0022]图1是本申请某些实施方式的模型训练方法的流程示意图；
[0023]图2是本申请某些实施方式的模型训练装置的结构示意图；
[0024]图3是本申请某些实施方式的预设神经网络模型的结构框架构建示意图；
[0025]图4是本申请某些实施方式的模型训练方法的流程示意图；
[0026]图5是本申请某些实施方式的模型训练方法的流程示意图；
[0027]图6是本申请某些实施方式的模型训练方法的流程示意图；
[0028]图7是本申请某些实施方式的模型训练方法的流程示意图；
[0029]图8是本申请某些实施方式的模型训练方法的流程示意图；
[0030]图9是本申请某些实施方式的模型训练方法的流程示意图；
[0031]图10是本申请某些实施方式的模型训练方法的训练集中部分镜子类图像的预测结果的部分示意图；
[0032]图11是本申请某些实施方式的模型训练方法的的训练集中部分玻璃类图像的预测结果的示意图；
[0033]图12是本申请某些实施方式的模型训练方法的流程示意图；
[0034]图13是本申请某些实施方式的检测方法的流程示意图；
[0035]图14是本申请某些实施方式的检测装置的结构示意图；
[0036]图15是本申请某些实施方式的机器人的结构示意图；
[0037]图16是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种检测镜面物体的模型训练方法，其特征在于，包括：获取训练图像，所述训练图像包括具有第一类镜面区域的第一图像和具有第二类镜面区域的第二图像；构建预设神经网络模型；利用所述第一图像和所述第二图像交替训练所述预设神经网络模型；在所述预设神经网络模型满足测试条件的情况下，得到训练好的镜面物体检测模型。2.根据权利要求1所述的模型训练方法，其特征在于，所述获取训练图像，包括：通过相机采集场景中分别带有第一镜面物体和第二镜面物体的待处理图像；对所述待处理图像进行分类得到所述第一图像和所述第二图像；根据对所述待处理图像的标注信息分别得到所述第一图像和所述第二图像对应的掩码图像。3.根据权利要求2所述的模型训练方法，其特征在于，所述利用所述第一图像和所述第二图像交替训练所述预设神经网络模型，包括：通过所述预设神经网络模型对所述第一图像或所述第二图像进行处理得到预测图像；根据所述掩码图像和所述预测图像计算所述预设神经网络模型的误差；根据所述误差优化所述预设神经网络模型。4.根据权利要求3所述的模型训练方法，其特征在于，所述通过所述预设神经网络模型对所述第一图像或所述第二图像进行处理得到预测图像，包括：将所述第一图像或所述第二图像作为所述预设神经网络模型的输入图像；对所述输入图像进行特征提取获取多层级特征图；将多层级所述特征图进行融合得到多层级融合特征图；对多层级所述融合特征图进行处理并合成目标特征图；根据所述目标特征图和第一预测模块进行预测得到第一预测结果；根据所述第一预测结果生成所述预测图像。5.根据权利要求4所述的模型训练方法，其特征在于，所述对所述输入图像进行特征提取获取多层级特征图，包括：利用ResNeXt对所述输入图像进行特征提取得到多层级所述特征图。6.根据权利要求4所述的模型训练方法，其特征在于，所述将多层级所述特征图进行融合得到多层融合特征图，包括：依次将各层级所述特征图上采样得到多个上采样特征图；将各层级所述特征图对应的所述上采样特征图与上一层级的所述特征图进行融合得到所述融合特征图。7.根据权利要求6所...

【专利技术属性】
技术研发人员：刘力格，许铭淏，程冉，孙涛，
申请(专利权)人：美智纵横科技有限责任公司，
类型：发明
国别省市：