【技术实现步骤摘要】
一种光流计算方法、系统、设备及介质
[0001]本专利技术涉及光流处理领域，特别是涉及一种光流计算方法、系统、设备及介质。
技术介绍
[0002]光流是指图像序列中运动目标与场景表面像素点的二维运动矢量，其不仅提供了图像中目标和场景的运动矢量，还携带了丰富的形状与结构信息。因此，光流估计是图像处理与计算机视觉领域的研究热点。在许多高级视觉任务，例如动作识别、视频插值、视频分割、目标跟踪中，都作为一个基础构件提供有价值的运动相关性线索。
[0003]近年来，随着深度学习的兴起，基于卷积神经网络（Convolutional Neural Network，CNN）的光流估计模型取得了很大成功。该类方法先利用数据驱动基于学习的优化策略，采用模型化的特征编码器提取图像特征。然后计算特征图之间所有特征向量的相似性，并将相似性最高的一对特征向量视作匹配点，最后解码连续帧图像间的位移场。由于编码和解码过程要求特征具有足够的分辨力，减少因大位移运动和局部歧义性（遮挡、弱纹理、光照变化等）带来的匹配误差问题，因此，如何高效准确的解码运动特征成为提高光流估计准确性和鲁棒性的关键。然而，现有的深度学习光流计算模型通常采用感受野有限的局部卷积操作进行光流解码，导致模型对图像特征的提取与表达能力不足，进而影响光流估计的整体表现。
技术实现思路
[0004]基于此，本专利技术实施例提供一种光流计算方法、系统、设备及介质，以提高光流估计的准确性和鲁棒性。
[0005]为实现上述目的，本专利技术实施例提供了如下方案：<...
【技术保护点】
【技术特征摘要】
1.一种光流计算方法，其特征在于，包括：获取目标图像；所述目标图像，包括：第一图像和第二图像；所述第一图像和所述第二图像为连续的两帧图像；采用运动特征提取网络提取所述目标图像的运动特征；所述运动特征提取网络，包括多个不同尺寸的卷积层；根据所述目标图像的运动特征和特征提取通道数，确定所述第一图像的特征图和所述第二图像的特征图，并计算所述第一图像的特征图和所述第二图像的特征图的匹配代价体积；采用上下文编码器提取所述第一图像的上下文特征；所述上下文编码器的结构与所述运动特征提取网络的结构相同；基于所述匹配代价体积和所述上下文特征，采用全局
‑
局部循环光流解码器进行循环迭代求解，得到所述目标图像的光流场；其中，所述全局
‑
局部循环光流解码器，包括：依次连接的局部运动信息编码器、全局运动信息编码器和全局
‑
局部运动信息解码器；所述全局
‑
局部运动信息解码器的输出连接所述局部运动信息编码器的输入；所述局部运动信息编码器和所述全局
‑
局部运动信息解码器均包括：依次连接的深度可分离残差块和多层感知机块；所述全局运动信息编码器，包括：依次连接的深度可分离卷积模块和多头注意力模块；所述局部运动信息编码器用于根据所述匹配代价体积和上次迭代的残差光流进行编码，得到局部运动特征；所述全局运动信息编码器用于根据所述局部运动特征和所述上下文特征进行编码，得到全局运动信息；所述全局
‑
局部运动信息解码器用于根据所述局部运动特征、所述全局运动信息和所述上下文特征进行解码，得到当前次迭代的残差光流；最后一次迭代的残差光流用于确定所述目标图像的光流场。2.根据权利要求1所述的光流计算方法，其特征在于，所述运动特征提取网络，具体包括：依次连接的第一卷积层、卷积残差块和第二卷积层；所述第一卷积层的卷积核大小为7
×
7；所述卷积残差块，包括：依次连接的第三卷积层和第四卷积层；所述第二卷积层的卷积核的大小为1
×
1；所述第三卷积层的卷积核的大小为3
×
3，步长为2；所述第四卷积层的卷积核的大小为3
×
3，步长为1。3.根据权利要求1所述的光流计算方法，其特征在于，根据所述目标图像的运动特征和特征提取通道数，确定所述第一图像的特征图和所述第二图像的特征图，并计算所述第一图像的特征图和所述第二图像的特征图的匹配代价体积，具体包括：将所述目标图像的运动特征中前一半运动特征确定为所述第一图像的特征图，将所述目标图像的运动特征中后一半运动特征确定为所述第二图像的特征图；将所述第一图像的特征图和所述第二图像的特征图进行点积相似度运算，得到所述第一图像的特征图和所述第二图像的特征图的匹配代价信息；采用池化操作对所述匹配代价信息进行下采样，得到所述第一图像的特征图和所述第二图像的特征图的匹配代价体积。
4.根据权利要求1所述的光流计算方法，其特征在于，所述...
【专利技术属性】
技术研发人员：王子旭，葛利跃，陈震，张聪炫，卢锋，吕科，胡卫明，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。