本申请提供一种样本图像的处理方法及装置、电子设备、存储介质,该方法包括:获取场景模型以及多种物体模型;在场景模型中堆叠多种物体模型;根据目标物品的多种位置和多种姿态,在场景模型中以相应位置和姿态堆叠目标物品的三维模型,得到包含目标物品的多种虚拟场景;按照配置的虚拟相机的拍摄范围,生成虚拟场景图像和对应的标注,得到样本图像集。上述方案可以提高样本图像获取的效率,无需人工标注,降低人工采集训练样本并标注的工作量,解决人工标注易错误的问题,从而提高基于此样本图像训练得到的算法模型的准确性。
【技术实现步骤摘要】
样本图像的处理方法及装置、电子设备、存储介质
本申请涉及图像处理
,特别涉及一种样本图像的处理方法及装置、电子设备、存储介质。
技术介绍
在商品零售领域,基于深度学习的方案来进行渠道监控已经被大规模采用。在现有方案中,客户通过输入零售商品图像,经过CNN检测模型识别后,得到该图像所含商品的类别以及在图像中的位置。目前的技术方案在应对上新场景时效率和准确率较低。上新是指当客户推出一个零售新品时,深度学习模型需要同步更新使得模型具备识别新品的能力。当前技术方案在上新时,需要完成数据采集、数据标注和重新训练三个步骤,其中数据采集和标注均为人工操作,导致效率较低。由于一般是在实验室场景对新品进行数据采集,这样得到的数据在数据多样性方面与线上数据存在差异,从而导致由自采数据训练得到的模型对于线上新品的识别准确率较低。
技术实现思路
本申请实施例提供了样本图像的处理方法,无需人工采集训练样本,提高效率。本申请实施例提供了一种样本图像的处理方法,包括:获取场景模型以及多种物体模型;在所述场景模型中堆叠多种所述物体模型;根据目标物品的多种位置和多种姿态,在所述场景模型中以相应位置和姿态堆叠所述目标物品的三维模型,得到包含所述目标物品的多种虚拟场景;按照配置的虚拟相机的拍摄范围生成虚拟场景图像和对应的标注,得到样本图像集。在一实施例中,所述在所述场景模型中堆叠多种所述物体模型,包括:在所述场景模型中随机堆叠多种所述物体模型;或者,根据每类物体的真实场景位置和真实场景姿态,在所述场景模型中按照所述真实场景位置以所述真实场景姿态堆叠同类物体的物体模型。在一实施例中,在所述根据目标物品的多种位置和多种姿态,在所述场景模型中以相应位置和姿态堆叠所述目标物品的三维模型之前,所述方法还包括:获取点云获取设备采集的所述目标物品的三维几何形状以及双向反射分布函数测量设备采集的所述目标物品的三维纹理特征,得到所述目标物品的三维模型。在一实施例中,在所述按照配置的虚拟相机的拍摄范围,生成虚拟场景图像和对应的标注之前,所述方法还包括:按照配置的灯光数据,在所述虚拟场景中布置相应的灯光效果。在一实施例中,所述按照配置的虚拟相机的拍摄范围,生成虚拟场景图像和对应的标注,包括:按照配置的虚拟相机的位置和姿态,确定虚拟相机的拍摄范围;通过物理渲染器获取每种虚拟场景中所述拍摄范围内包含所述三维模型的虚拟场景图像以及所述三维模型所在的位置坐标。在一实施例中,在所述得到样本图像集之后,所述方法还包括:将包含所述三维模型的虚拟场景图像作为输入,所述三维模型所在的位置坐标以及所述目标物品的类别作为输出,训练神经网络模型。在一实施例中,在所述按照配置的虚拟相机的拍摄范围,生成虚拟场景图像和对应的标注,之后,所述方法还包括:将所述虚拟场景图像输入训练好的变分自编码器,所述变分自编码器的输出作为样本图像。本申请实施例还提供了一种样本图像的处理装置,包括:模型获取模块,用于获取场景模型以及多种物体模型;物体堆叠模块,用于在所述场景模型中堆叠多种所述物体模型;物品堆叠模块,用于根据目标物品的多种位置和多种姿态,在所述场景模型中以相应位置和姿态堆叠所述目标物品的三维模型,得到包含所述目标物品的多种虚拟场景;图像获取模块,用于按照配置的虚拟相机的拍摄范围,生成虚拟场景图像和对应的标注,得到样本图像集。本申请实施例还提供了一种电子设备,所述电子设备包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行上述样本图像的处理方法。本申请实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序可由处理器执行以完成上述样本图像的处理方法。本申请上述提供的技术方案,通过数字化模拟的场景、物体以及相机采集包含目标物品三维模型的虚拟场景图像,可以提高样本图像获取的效率,无需人工标注,降低人工采集训练样本并标注的工作量,解决人工标注易错误的问题,从而提高基于此样本图像训练得到的算法模型的准确性。附图说明为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍。图1为本申请一实施例提供的样本图像的处理方法的应用场景示意图;图2为本申请一实施例提供的一种电子设备的示意图;图3是本申请实施例提供的一种样本图像的处理方法的流程示意图;图4是图3对应实施例中步骤S340的细节流程图;图5是本申请实施例提供的一种样本图像的处理装置的框图示意图。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。图1为本申请实施例提供的样本图像的处理方法的应用场景示意图。如图1所示,该应用场景包括:点云获取设备110、BRDF测量设备120(双向反射分布函数测量设备)以及计算设备130。点云获取设备110与计算设备130有线或无线连接,BRDF测量设备120与计算设备130有线或无线连接。点云获取设备110可以包括深度成像装置111和物体运动装置112,其中深度成像装置111可以是单目相机、双目相机、RGBD相机、激光雷达等。物体运动装置112可以是旋转机械装置或平动机械装置。深度成像装置可以安装在物体运动装置112上,通过物体运动装置112带动深度成像装置移动,从而深度成像装置111可以完成整个表面的三维测量,确定物体的三维几何形状。BRDF测量设备120可以采集物体的三维纹理特征,用于区分不同物体的表面特性。计算设备130可以根据物体的三维几何形状和三维纹理特征建立构建的三维几何模型。计算设备130可以是计算机或者服务器,也可以是GPU(GraphicsProcessingUnit,显示核心)或者FPGA(FieldProgrammableGateArra,现场可编程逻辑门阵列)等高性能并行计算硬件。在一实施例中,计算设备130为了获得包含目标物品的样本图像进行算法模型的训练,可以采用本申请实施例提供的方案,通过在场景模型中堆叠目标物品的三维模型以及其他物体的三维模型形成虚拟场景,并通过构建虚拟相机,生成虚拟场景图像和对应的标注,将虚拟场景图像作为包含目标物品的样本图像,用于进行算法模型的训练。由此,可以解决样本图像采集难度大,采集效率低,工作量大的问题。图2是本申请实施例提供的一种电子设备的示意图。该电子设备200可以作为计算设备130,该电子设备200包括:处理器220;用于存储处理器220可执行指令的存储器210;其中,本文档来自技高网...
【技术保护点】
1.一种样本图像的处理方法,其特征在于,包括:/n获取场景模型以及多种物体模型;/n在所述场景模型中堆叠多种所述物体模型;/n根据目标物品的多种位置和多种姿态,在所述场景模型中以相应位置和姿态堆叠所述目标物品的三维模型,得到包含所述目标物品的多种虚拟场景;/n按照配置的虚拟相机的拍摄范围,生成虚拟场景图像和对应的标注,得到样本图像集。/n
【技术特征摘要】
1.一种样本图像的处理方法,其特征在于,包括:
获取场景模型以及多种物体模型;
在所述场景模型中堆叠多种所述物体模型;
根据目标物品的多种位置和多种姿态,在所述场景模型中以相应位置和姿态堆叠所述目标物品的三维模型,得到包含所述目标物品的多种虚拟场景;
按照配置的虚拟相机的拍摄范围,生成虚拟场景图像和对应的标注,得到样本图像集。
2.根据权利要求1所述的方法,其特征在于,所述在所述场景模型中堆叠多种所述物体模型,包括:
在所述场景模型中随机堆叠多种所述物体模型;
或者,
根据每类物体的真实场景位置和真实场景姿态,在所述场景模型中按照所述真实场景位置以所述真实场景姿态堆叠同类物体的物体模型。
3.根据权利要求1所述的方法,其特征在于,在所述根据目标物品的多种位置和多种姿态,在所述场景模型中以相应位置和姿态堆叠所述目标物品的三维模型之前,所述方法还包括:
获取点云获取设备采集的所述目标物品的三维几何形状以及双向反射分布函数测量设备采集的所述目标物品的三维纹理特征,得到所述目标物品的三维模型。
4.根据权利要求1所述的方法,其特征在于,在所述按照配置的虚拟相机的拍摄范围,生成虚拟场景图像和对应的标注之前,所述方法还包括:
按照配置的灯光数据,在所述虚拟场景中布置相应的灯光效果。
5.根据权利要求1所述的方法,其特征在于,所述按照配置的虚拟相机的拍摄范围,生成虚拟场景图像和对应的标注,包括:
按照配置的虚拟相机的位置和姿态,确定虚拟相机的拍摄范围;
通过...
【专利技术属性】
技术研发人员:张发恩,敖川,秦永强,
申请(专利权)人:创新奇智南京科技有限公司,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。