一种基于超声波和光流法检测河流流速的方法及装置制造方法及图纸

本发明专利技术提供了一种基于超声波和光流法检测河流流速的方法及装置，包括：对相机进行标定，标定相机的内参和外参，建立以相机为原点的世界坐标系；依据对相机的标定，得到相机的焦距和图像坐标与真实坐标的对应关系；采用超声波测距仪器测量相机的光心到参考点的距离；使用相机对河流进行拍摄，得到第一帧图像和第二帧图像；基于第一帧图像和第二帧图像，确定目标图像中的目标像素的移动速度；基于相机的焦距、光心到参考点的距离以及目标像素的移动速度，计算河流的流速。本发明专利技术利用视觉实现一种新的非接触、性价比高的方案。通过超声波测距将光流法的二维性扩展到三维从而可以测量速度，同时通过相机标定，将象空间和真实空间相结合，方便测试实际的速度。

【技术实现步骤摘要】
一种基于超声波和光流法检测河流流速的方法及装置
本专利技术涉及河流流速测量
，特别是一种基于超声波和光流法检测河流流速的方法及装置。
技术介绍
目前对于河流流速测量方法，存在的问题：在现有的河流流速测量的方法中，接触式的逐渐地被非接触式的方法所取代，接触式容易影响流速，而且测量不方便，而现有的非接触式的测速仪器存在对传感器精密度要求高，对环境依赖性强，性价比低等问题；如基于频谱分析的超声波仪器价格昂贵，需要放置接收器，测量不方便。
技术实现思路
本专利技术解决的技术问题是：克服现有技术的不足，提供了一种基于超声波和光流法检测河流流速的方法及装置。本专利技术的技术解决方案是：为了解决上述技术问题，本专利技术提供了一种基于超声波和光流法检测河流流速的方法，包括：基于相机，对相机进行标定，标定相机的内参和外参，建立以相机为原点的世界坐标系；依据对相机的标定，得到所述相机的焦距；采用超声波测距仪器测量相机的光心到参考点的距离；使用所述相机对河流进行拍摄，得到第一帧图像和第二帧图像；基于所述第一帧图像和所述第二帧图像，确定目标图像中的目标像素的移动速度；基于所述相机的焦距、所述光心到参考点的距离以及所述目标像素的移动速度，计算河流的流速。可选地，对相机进行标定，标定相机的内参和外参，建立以相机为原点的世界坐标系的步骤，包括：确定相机坐标系和像平面坐标系；基于所述相机坐标系和所述像平面坐标系，根据像素比可得第一公式：将所述第一公式转换为第一矩阵，得到：其中，f为相机的焦距，dx、dy分别为x方向和y方向的像元尺寸；u、v为相机标系中坐标，x，y为像平面的坐标，像平面和相机平面平行；世界坐标系中平行面上坐标由相似比得到第二公式：将所述第二公式，进行转换得到：R、t表示像素坐标系在世界坐标系中的旋转和平移矩阵，Xw,Yw,Zw为世界坐标系坐标；Zc为光轴到目标距离。可选地，所述采用超声波测距仪器测量相机的光心到参考点的距离的步骤，包括：超声波测距仪器发出n个mHz的超声波脉冲；超声波脉冲发射结束时开始计时，记作t0；监听mHz的超声波脉冲的回声，在监听到n个后结束计时，记作t1；计算t＝t1-t0的时间差；通过以下公式计相机的光心到参考点的距离：s＝v*(t1-t0)/2；其中，v为声速，s即为Zc。可选地，所述基于所述第一帧图像和所述第二帧图像，确定目标图像中的目标像素的移动速度的步骤，包括：获取首发帧的第一帧图像中的目标像素I(x,y,t)，和在一个快门时间dt之后的再下一帧的第二帧图像的目标像素的移动距离为(dx,dy)；则有第三公式：I(x，y，t)＝I(x+dx，y+dy，t+dt)；对所述第三公式右边做泰勒级数近似，除以dt得到下面的第四公式：fxu+fyv+ft＝0；其中；采用Lucas-Kanade方法，采用最小二乘法进行求解的得到第五公式：基于所述第五公式，计算图像坐标中的x，y；基于所述图像坐标中的x，y；通过以下公式计算目标像素的移动速度：其中，tk为相机的快门速度。可选地，所述基于所述世界坐标系、所述基于所述相机的焦距、所述光心到参考点的距离以及所述目标像素的移动速度，计算河流的流速的步骤，包括：通过以下公式计算河流的流速：为了解决上述技术问题，本专利技术还提供了一种基于超声波和光流法检测河流流速的装置，包括：标定模块，用于对相机进行标定，标定相机的内参和外参，建立以相机为原点的世界坐标系；焦距确定模块，用于依据对相机的标定，得到所述相机的焦距；测量模块，用于采用超声波测距仪器测量相机的光心到参考点的距离；拍摄模块，用于使用所述相机对河流进行拍摄，得到第一帧图像和第二帧图像；确定模块，用于基于所述第一帧图像和所述第二帧图像，确定目标图像中的目标像素的移动速度；计算模块，用于基于所述相机的焦距、所述光心到参考点的距离以及所述目标像素的移动速度，计算河流的流速。可选地，所述标定模块具体用于：确定相机坐标系和像平面坐标系；基于所述相机坐标系和所述像平面坐标系，根据像素比可得第一公式：将所述第一公式转换为第一矩阵，得到：其中，f为相机的焦距，dx、dy分别为x方向和y方向的像元尺寸；u、v为相机标系中坐标，x，y为像平面的坐标，像平面和相机平面平行；世界坐标系中平行面上坐标由相似比得到第二公式：将所述第二公式，进行转换得到：R、t表示像素坐标系在世界坐标系中的旋转和平移矩阵，Xw,Yw,Zw为世界坐标系坐标；Zc为光轴到目标距离。。可选地，所述测量模块具体用于：超声波测距仪器发出n个mHz的超声波脉冲；超声波脉冲发射结束时开始计时，记作t0；监听mHz的超声波脉冲的回声，在监听到n个后结束计时，记作t1；计算t＝t1-t0的时间差；通过以下公式计相机的光心到参考点的距离：s＝v*(t1-t0)/2；其中，v为声速，s即为Zc。可选地，所述确定模块具体用于：获取首发帧的第一帧图像中的目标像素I(x,y,t)，和在一个快门时间dt之后的再下一帧的第二帧图像的目标像素的移动距离为(dx,dy)；则有第三公式：I(x，y，t)＝I(x+dx，y+dy，t+dt)；对所述第三公式右边做泰勒级数近似，除以dt得到下面的第四公式：fxu+fyv+ft＝0；其中；采用Lucas-Kanade方法，采用最小二乘法进行求解的得到第五公式：基于所述第五公式，计算图像坐标中的x，y；基于所述图像坐标中的x，y；通过以下公式计算目标像素的移动速度：其中，tk为相机的快门速度。可选地，所述计算模块具体用于：通过以下公式计算河流的流速：本专利技术与现有技术相比的优点在于：本专利技术实施例提供的方案，通过对相机进行标定，标定相机的内参和外参，建立以相机为原点的世界坐标系；依据对相机的标定，得到相机的焦距；采用超声波测距仪器测量相机的光心到参考点的距离；使用相机对河流进行拍摄，得到第一帧图像和第二帧图像；基于第一帧图像和第二帧图像，确定目标图像中的目标像素的移动速度；基于相机的焦距、光心到参考点的距离以及目标像素的移动速度，计算河流的流速。本专利技术利用视觉实现一种新的非接触、性价比高的方案，采用超声波测距和相机来测量，降低了设备成本，使用方便。通过超声波测距将光流法的二维性扩展到三维从而可以测量速度，同时通过相机标定，将象空间和真实空间相结合，方便测试实际的速度。本文档来自技高网...

【技术保护点】
1.一种基于超声波和光流法检测河流流速的方法，其特征在于，所述方法包括：/n对相机进行标定，标定相机的内参和外参，建立以相机为原点的世界坐标系；/n依据对相机的标定，得到所述相机的焦距；/n采用超声波测距仪器测量相机的光心到参考点的距离；/n使用所述相机对河流进行拍摄，得到第一帧图像和第二帧图像；/n基于所述第一帧图像和所述第二帧图像，确定目标图像中的目标像素的移动速度；/n基于所述相机的焦距、所述光心到参考点的距离以及所述目标像素的移动速度，计算河流的流速。/n

【技术特征摘要】
1.一种基于超声波和光流法检测河流流速的方法，其特征在于，所述方法包括：
对相机进行标定，标定相机的内参和外参，建立以相机为原点的世界坐标系；
依据对相机的标定，得到所述相机的焦距；
采用超声波测距仪器测量相机的光心到参考点的距离；
使用所述相机对河流进行拍摄，得到第一帧图像和第二帧图像；
基于所述第一帧图像和所述第二帧图像，确定目标图像中的目标像素的移动速度；
基于所述相机的焦距、所述光心到参考点的距离以及所述目标像素的移动速度，计算河流的流速。


2.根据权利要求1所述的方法，其特征在于，所述对相机进行标定，标定相机的内参和外参，建立以相机为原点的世界坐标系的步骤，包括：
确定相机坐标系和像平面坐标系；
基于所述相机坐标系和所述像平面坐标系，根据像素比可得第一公式：



将所述第一公式转换为第一矩阵，得到：



其中，f为相机的焦距，dx、dy分别为x方向和y方向的像元尺寸；u、v为相机标系中坐标，x，y为像平面的坐标，像平面和相机平面平行；
世界坐标系中平行面上坐标由相似比得到第二公式：



将所述第二公式，进行转换得到：



R、t表示像素坐标系在世界坐标系中的旋转和平移矩阵，Xw,Yw,Zw为世界坐标系坐标；Zc为光轴到目标距离。


3.根据权利要求2所述的方法，其特征在于，所述采用超声波测距仪器测量相机的光心到参考点的距离的步骤，包括：
超声波测距仪器发出n个mHz的超声波脉冲；
超声波脉冲发射结束时开始计时，记作t0；
监听mHz的超声波脉冲的回声，在监听到n个后结束计时，记作t1；
计算t＝t1-t0的时间差；
通过以下公式计相机的光心到参考点的距离：
s＝v*(t1-t0)/2；其中，v为声速；s即为Zc。


4.根据权利要求3所述的方法，其特征在于，所述基于所述第一帧图像和所述第二帧图像，确定目标图像中的目标像素的移动速度的步骤，包括：
获取首发帧的第一帧图像中的目标像素I(x,y,t)，和在一个快门时间dt之后的再下一帧的第二帧图像的目标像素的移动距离为(dx,dy)；
则有第三公式：
I(x，y，t)＝I(x+dx，y+dy，t+dt)；
对所述第三公式右边做泰勒级数近似，除以dt得到下面的第四公式：
fxu+fyv+ft＝0；
其中；






采用Lucas-Kanade方法，采用最小二乘法进行求解的得到第五公式：



基于所述第五公式，计算图像坐标中的x，y；
基于所述图像坐标中的x，y；
通过以下公式计算目标像素的移动速度：

其中，tk为相机的快门速度。


5.根据权利要求4所述的方法，其特征在于，所述基于所述相机的焦距、所述光心到参考点的距离以及所述目标像素的移动速度，计算河流...

【专利技术属性】
技术研发人员：罗佳，
申请(专利权)人：四川大学锦江学院，
类型：发明
国别省市：四川;51