一种基于改进递归全对场变换光流模型的视频测流方法技术

本发明专利技术公开了一种基于改进递归全对场变换光流模型的视频测流方法

【技术实现步骤摘要】
一种基于改进递归全对场变换光流模型的视频测流方法、装置、存储介质及设备


[0001]本专利技术涉及一种基于改进递归全对场变换光流模型的视频测流方法
、
装置
、
存储介质及设备，属于水文测流

。

技术介绍

[0002]我国水资源丰富且河流水系复杂，地方政府围绕防洪
、
供水等开展了大规模的水利建设，做好灾前预警工作，监测河水的流速流量
。
传统的测量方法包括流速仪法
、
雷达法
、
声学法等，需要工作人员往返现场进行测量，不能保障测量的实时性，削弱了灾害预警能力，同时天气恶劣时无法保证工作人员的人身安全
。
目前，在计算机视觉领域，深度学习技术已经被广泛应用，使得基于深度学习和图像的非接触式水面流速测量方法得到发展
。
例如专利公开号为
CN106156734A
的专利技术专利，提出了一种基于卷积神经网络图像识别的水流测速方法，该方法将不同速度的河流图片进行分类训练得到模型，测量时找出测量图片与模型中相同概率最高的类别图片，将其对应的速度作为流速，但此方法测量精度无法得到保障，有一定的局限性
。
专利公开号为
CN112149597A
的专利技术专利，提出了一种基于深度学习的河流表面流速检测方法，其采用改进的图像分类的方法提高了测量精度和速度，但在表面流速变化复杂的情况下仍具有一定的局限性
。
[0003]采用图像分类的深度学习方法能够提升测流的便捷性与安全性，但在测量湍急的水域时，容易受到水花干扰，复杂的河流表面变换容易导致测量误差较大
。

技术实现思路

[0004]本专利技术的目的在于提供一种基于改进递归全对场变换光流模型的视频测流方法
、
装置
、
存储介质及设备，解决现有技术中存在的误差大的问题
。
[0005]为实现以上目的，本专利技术是采用下述技术方案实现的：
[0006]第一方面，本专利技术提供了一种基于改进递归全对场变换光流模型的视频测流方法，包括：
[0007]获取河流视频并进行切帧处理得到视频帧；
[0008]基于所述河流视频和预先获取的勘测结果计算变换矩阵，通过变换矩阵将河流视频中各测速点在各视频帧中的图上坐标变换为世界坐标，获取各测速点之间的断面面积；
[0009]将所述视频帧输入到训练好的改进递归全对场变换光流模型中，输出各测速点相邻两帧之间的像素位移；
[0010]根据所述像素位移
、
所述世界坐标和所述断面面积计算河流表面流速
。
[0011]结合第一方面，进一步的，所述基于所述河流视频和预先获取的勘测结果计算变换矩阵，包括：
[0012]从河流视频中获取标定点的图上坐标，从勘测结果中获取标定点的世界坐标，根据标定点的图上坐标和世界坐标，通过投影变换理论计算得到变换矩阵
。
[0013]结合第一方面，进一步的，所述通过变换矩阵将河流视频中各测速点在各视频帧中的图上坐标变换为世界坐标，包括：
[0014]基于投影变换理论，通过变换矩阵将河流视频中各测速点在各视频帧中的图上坐标变换为世界坐标
。
[0015]结合第一方面，进一步的，所述改进递归全对场变换光流模型包括：
[0016]特征提取器，作用在相邻两帧视频帧，通过卷积和可变形卷积操作获得特征图，所述特征图的分辨率是输入的视频帧的
1/8
；
[0017]4D
相关量金字塔模块，用于计算相邻两帧特征图所有特征向量对之间完整的相关量，将所述相关量进行池化操作得到
4D
相关量金字塔，使用局部像素网格索引所述
4D
相关量金字塔中的相关量并生成第一相关量；
[0018]CBAM
注意力机制模块，用于将所述第一相关量和上一次迭代的光流转化为第二相关量；
[0019]迭代更新模块，用于对第一帧的特征信息
、
上一次迭代的光流
、
所述第二相关量和隐藏状态进行门控循环，输出更新后的光流；
[0020]上采样模块，用于对迭代结束后的所述更新后的光流进行上采样，将更新后的光流恢复到全分辨率
。
[0021]结合第一方面，进一步的，所述
CBAM
注意力机制模块包括通道注意力机制模块和空间注意力模块；
[0022]在通道注意力机制模块中，由所述第一相关量和上一次迭代的光流组成的输入，先经过平均池化和最大池化，得到两个不同的空间上下文特征信息，然后通过共享多层感知机
、
加和操作和
Sigmoid
函数激活，生成通道注意力特征图，通道注意力机制模块的输出的计算公式如下：
[0023][0024]其中，
F
′
是通道注意力机制模块的输出，
M
c
是通道注意力特征图，
F
是输入，表示逐元素相乘符号；
[0025]在空间注意力机制模块中，将通道注意力机制模块的输出先经过平均池化和最大池化，得到两个不同的特征图并进行拼接，然后经过一个7×7的卷积，通道数降为1，经过
Sigmoid
函数激活，生成空间注意力特征图，空间注意力机制模块的输出的计算公式如下：
[0026][0027]其中，
F
″
是空间注意力机制模块的输出，
M
s
是空间注意力特征图
。
[0028]结合第一方面，进一步的，所述改进递归全对场变换光流模型通过以下方法进行训练：
[0029]设置样本大小和迭代次数，使用
Sintel
数据集作为训练数据集，通过深度学习网络进行训练得到训练好的改进递归全对场变换光流模型
。
[0030]结合第一方面，进一步的，所述根据所述像素位移
、
所述世界坐标和所述断面面积计算河流表面流速，通过以下公式进行：
[0031][0032][0033][0034][0035][0036][0037][0038][0039]其中，是第1帧和第2帧之间第
n
个测速点的帧间像素位移，
x
n
是第
n
个测速点的图上横坐标，是第2帧的第
n
个测速点位移后的图上横坐标，
y
n
是第
n
个测速点的图上纵坐标，是第2帧的第
n
个测速点位移后的图上纵坐标，是第1帧和第2帧之间第
n
个测速点的帧间真实位移，
X
n
是第
n
个测速点的世界横坐标，是第2帧的第
n
个测速点位移后的世界横坐标，
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于改进递归全对场变换光流模型的视频测流方法，其特征在于，包括：获取河流视频并进行切帧处理得到视频帧；基于所述河流视频和预先获取的勘测结果计算变换矩阵，通过变换矩阵将河流视频中各测速点在各视频帧中的图上坐标变换为世界坐标，获取各测速点之间的断面面积；将所述视频帧输入到训练好的改进递归全对场变换光流模型中，输出各测速点相邻两帧之间的像素位移；根据所述像素位移
、
所述世界坐标和所述断面面积计算河流表面流速
。2.
根据权利要求1所述的基于改进递归全对场变换光流模型的视频测流方法，其特征在于，所述基于所述河流视频和预先获取的勘测结果计算变换矩阵，包括：从河流视频中获取标定点的图上坐标，从勘测结果中获取标定点的世界坐标，根据标定点的图上坐标和世界坐标，通过投影变换理论计算得到变换矩阵
。3.
根据权利要求1所述的基于改进递归全对场变换光流模型的视频测流方法，其特征在于，所述通过变换矩阵将河流视频中各测速点在各视频帧中的图上坐标变换为世界坐标，包括：基于投影变换理论，通过变换矩阵将河流视频中各测速点在各视频帧中的图上坐标变换为世界坐标
。4.
根据权利要求1所述的基于改进递归全对场变换光流模型的视频测流方法，其特征在于，所述改进递归全对场变换光流模型包括：特征提取器，作用在相邻两帧视频帧，通过卷积和可变形卷积操作获得特征图，所述特征图的分辨率是输入的视频帧的
1/8
；
4D
相关量金字塔模块，用于计算相邻两帧特征图所有特征向量对之间完整的相关量，将所述相关量进行池化操作得到
4D
相关量金字塔，使用局部像素网格索引所述
4D
相关量金字塔中的相关量并生成第一相关量；
CBAM
注意力机制模块，用于将所述第一相关量和上一次迭代的光流转化为第二相关量；迭代更新模块，用于对第一帧的特征信息
、
上一次迭代的光流
、
所述第二相关量和隐藏状态进行门控循环，输出更新后的光流；上采样模块，用于对迭代结束后的所述更新后的光流进行上采样，将更新后的光流恢复到全分辨率
。5.
根据权利要求4所述的基于改进递归全对场变换光流模型的视频测流方法，其特征在于，所述
CBAM
注意力机制模块包括通道注意力机制模块和空间注意力模块；在通道注意力机制模块中，由所述第一相关量和上一次迭代的光流组成的输入，先经过平均池化和最大池化，得到两个不同的空间上下文特征信息，然后通过共享多层感知机
、
加和操作和
Sigmoid
函数激活，生成通道注意力特征图，通道注意力机制模块的输出的计算公式如下：其中，
F
′
是通道注意力机制模块的输出，
M
c
是通道注意力特征图，
F
是输入，表示逐元素相乘符号；
在空间注意力机制模块中，将通道注意力机制模块的输出先经过平均池化和最大池化，得到两个不同的特征图并进行拼接，然后经过一个7×7的卷积，通道数降为1，经过
Sigmoid
函数激活，生成空间注意力特征图，空间注意力机制模块的输出的计算公式如下：其中，
F
″
是空间注意力机制模块的输出，
M
s
是空间注意力特征图
。6.
根据权利要求1所述的基于改进递归全对场变换光流模型的视频测...

【专利技术属性】
技术研发人员：王剑平，刘晓澎，张果，金建辉，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：