生成光流数据集的方法技术

本申请公开了一种生成光流数据集的方法

【技术实现步骤摘要】
生成光流数据集的方法、相关方法及相关产品


[0001]本申请涉及计算机视觉
，尤其涉及一种生成光流数据集的方法
、
相关方法及相关产品
。

技术介绍

[0002]光流是指在连续的两帧图像之间像素点的移动关系
。
光流数据在许多计算机视觉应用中发挥着重要作用，例如视频压缩
、
运动估计
、
目标跟踪和视频分析等
。
稠密光流估计是计算机视觉领域中的核心问题，其主要目标是估计图像中每个像素在两帧图像之间的运动向量
。
[0003]近年来，随着深度学习的发展，基于深度学习的稠密光流估计方法逐渐成为研究热点
。
这些方法使用由连续两帧图像和光流标签组成的光流数据集进行训练
。
为了获得光流标签，有些方法使用荧光标记记录真实场景中的运动，但这些方法无法获得稠密光流
。
还有些方法通过激光雷达
、
照相机设置等专业设备采集真实场景下的稠密光流，然而由于通过专业设备采集的稠密光流的数量以及所采集的真实场景均有限，使得使用深度监督学习训练的模型难以推广到更复杂的场景
。
基于此，目前领先的技术使用包含大量真实光流标记的光流数据集进行训练，其中光流数据集中的大部分图像来自计算机仿真或者动画
。
然而，这些通过计算机仿真或者动画获得的图像与对真实场景拍摄得到的真实图像之间存在域差异，进而导致通过该技术训练的模型难以在真实环境中部署r/>。
因此如何基于单张真实图像生成光流数据集具有非常重要的意义
。

技术实现思路

[0004]本申请提供一种生成光流数据集的方法
、
相关方法及相关产品，其中，相关方法包括：光流模型的训练方法
、
移动机器人导航方法，相关装置包括：生成光流数据集的装置
、
光流模型的训练装置
、
移动机器人
、
电子设备
、
计算机可读存储介质
。
[0005]第一方面，提供了一种生成光流数据集的方法，所述方法包括：
[0006]获取原始图像，所述原始图像为成像设备以原始视角对目标场景进行拍摄得到的图像，所述成像设备拍摄得到所述原始图像的位姿为原始位姿；
[0007]基于所述原始图像生成所述原始视角下的多平面图像
(multiplane images
，
MPI)
；
[0008]基于目标转换关系，对所述原始视角下的
MPI
进行转换，得到所述目标视角下的
MPI
，所述目标转换关系为所述原始位姿与目标位姿的转换关系，所述目标位姿为所述成像设备以目标视角对所述目标场景进行拍摄时的虚拟位姿；
[0009]基于所述目标视角下的
MPI
，生成目标图像，所述目标图像为所述成像设备在所述目标视角下对所述目标场景进行拍摄得到的图像；
[0010]基于所述原始视角下的
MPI
与所述目标视角下的
MPI
之间的光流，生成所述原始图像与所述目标图像之间的目标光流
。
[0011]结合本申请任一实施方式，所述基于所述原始视角下的
MPI
与所述目标视角下的
MPI
之间的光流，生成所述原始图像与所述目标图像之间的目标光流，包括：
[0012]基于所述原始视角下的
MPI
与所述目标视角下的
MPI
之间的光流，确定多个稠密光流；
[0013]对所述多个稠密光流进行体渲染，得到所述目标光流
。
[0014]结合本申请任一实施方式，所述基于所述原始视角下的
MPI
与所述目标视角下的
MPI
之间的光流，确定多个稠密光流，包括：
[0015]基于所述目标转换关系，确定所述原始视角下的
MPI
与所述目标视角下的
MPI
中相互对应的像素对；
[0016]通过确定所述像素对之间的光流，得到所述多个稠密光流
。
[0017]结合本申请任一实施方式，所述基于所述原始图像生成所述原始视角下的
MPI
，包括：
[0018]通过神经网络对所述原始图像进行处理，提取多个深度下的颜色值和体密度；
[0019]基于所述多个深度下的颜色值和体密度，生成所述原始图像生成所述原始视角下的
MPI。
[0020]结合本申请任一实施方式，所述基于目标转换关系，对所述原始视角下的
MPI
进行转换，得到所述目标视角下的
MPI
，包括：
[0021]基于所述目标转换关系，对所述原始视角下的
MPI
进行转换，得到多张待插值图像；
[0022]对所述多张待插值图像进行双线性插值，得到所述目标视角下的
MPI。
[0023]结合本申请任一实施方式，所述基于所述目标视角下的
MPI
，生成目标图像，包括：
[0024]对所述目标视角下的
MPI
进行体渲染，生成所述目标图像
。
[0025]第二方面，提供了一种光流模型的训练方法，所述方法包括：
[0026]获取本申请第一方面及其任一实施方式中的原始图像
、
目标图像和目标光流；
[0027]将所述目标光流作为所述原始图像与所述目标图像的稠密光流标签；
[0028]基于所述原始图像
、
所述目标图像和所述稠密光流标签，对待训练模型进行训练，得到光流模型，所述光流模型用于估计稠密光流
。
[0029]第三方面，提供了一种移动机器人导航方法，所述移动机器人导航方法应用于移动机器人执行，所述移动机器人包括成像设备，所述方法包括：
[0030]通过所述成像设备拍摄得到第一待处理图像和第二待处理图像，所述第一待处理图像的拍摄时间和所述第二待处理图像的拍摄时间不同，且所述第一待处理图像和所述第二待处理图像均包括目标对象，所述目标对象为所述移动机器人所处环境中的对象；
[0031]获取根据本申请第二方面的方法得到的光流模型；
[0032]利用所述光流模型，确定所述第一待处理图像与所述第二待处理图像之间的估计光流；
[0033]基于所述估计光流，确定所述目标对象的运动信息；
[0034]基于所述运动信息，对所述移动机器人进行导航
。
[0035]第四方面，提供了一种生成光流数据集的装置，所述装置包括：
[0036]获取单元，用于获取原始图像，所述原始图像为成像设备以原始视角对目标场景
进行拍摄得到的图像，所述成像设备拍摄得到所述原始图像的位姿为原始位姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种生成光流数据集的方法，其特征在于，所述方法包括：获取原始图像，所述原始图像为成像设备以原始视角对目标场景进行拍摄得到的图像，所述成像设备拍摄得到所述原始图像的位姿为原始位姿；基于所述原始图像生成所述原始视角下的多平面图像；基于目标转换关系，对所述原始视角下的多平面图像进行转换，得到所述目标视角下的多平面图像，所述目标转换关系为所述原始位姿与目标位姿的转换关系，所述目标位姿为所述成像设备以目标视角对所述目标场景进行拍摄时的虚拟位姿；基于所述目标视角下的多平面图像，生成目标图像，所述目标图像为所述成像设备在所述目标视角下对所述目标场景进行拍摄得到的图像；基于所述原始视角下的多平面图像与所述目标视角下的多平面图像之间的光流，生成所述原始图像与所述目标图像之间的目标光流
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述原始视角下的多平面图像与所述目标视角下的多平面图像之间的光流，生成所述原始图像与所述目标图像之间的目标光流，包括：基于所述原始视角下的多平面图像与所述目标视角下的多平面图像之间的光流，确定多个稠密光流；对所述多个稠密光流进行体渲染，得到所述目标光流
。3.
根据权利要求2所述的方法，其特征在于，所述基于所述原始视角下的多平面图像与所述目标视角下的多平面图像之间的光流，确定多个稠密光流，包括：基于所述目标转换关系，确定所述原始视角下的多平面图像与所述目标视角下的多平面图像中相互对应的像素对；通过确定所述像素对之间的光流，得到所述多个稠密光流
。4.
根据权利要求1至3中任意一项所述的方法，其特征在于，所述基于所述原始图像生成所述原始视角下的多平面图像，包括：通过神经网络对所述原始图像进行处理，提取多个深度下的颜色值和体密度；基于所述多个深度下的颜色值和体密度，生成所述原始图像生成所述原始视角下的多平面图像
。5.
根据权利要求1至3中任意一项所述的方法，其特征在于，所述基于目标转换关系，对所述原始视角下的多平面图像进行转换，得到所述目标视角下的多平面图像，包括：基于所述目标转换关系，对所述原始视角下的多平面图像进行转换，得到多张待插值图像；对所述多张待插值图像进行双线性插值，得到所述目标视角下的多平面图像
。6.
根据权利要求1至3中任意一项所述的方法，其特征在于，所述基于所述目标视角下的多平面图像，生成目标图像，包括：对所述目标视角下的多平面图像进行体渲染，生成所述目标图像
。7.
一种光流模型的训练方法，其特征在于，所述方法包括：获取权利要求1至6中任意一项方法中的原始图像
、
目标图像和目标光流；将所述目标光流作为所述原始图像与所述目标图像的稠密光流标签；基于所述原始图像
、
所述目标图像和所述稠密光流标签，对待训练模型进行训练，得到
光流模型，所述光流模型用于估计稠密光流
。8.
一种移动机器人导航方法，其特征在于，所述移动机器人导航方法应用于移动机器人执行，所述移动机器人包括成像设备，所述方法包括：通过所述成像设备拍摄得到第一待处理图像和第二待处理图像，所述第一待处理图像的拍摄时间和所述第二待处理图像的拍摄时间不同，且所述第一待处理图像和所述第二待处理图像均包括目标对...

【专利技术属性】
技术研发人员：刘家铭，梁瑛平，
申请(专利权)人：小红书科技有限公司，
类型：发明
国别省市：