一种基于运动图像回溯的床面颗粒辨识追踪方法技术

本发明专利技术公开一种基于运动图像回溯的床面颗粒辨识追踪方法，通过九个步骤完成辨识追踪任务。利用二值法对合格床面颗粒运动图像进行分辨率调节预处理。采用二维高斯混合模型将运动颗粒去背景化；使用运动回溯方法，基于帧间粒子辨识模型，确定连续帧中目标粒子运动位置，利用动态阈值和斑点分析法滤除数据噪声。通过对活性与惰性的状态识别以及有效活性粒子数据集的建立，筛选出具备运动、等待全部行为特征的粒子轨迹样本集和空间坐标数据集。在连续帧图像中追踪运动颗粒形成坐标轨迹链，获取多尺度运动信息；采用消除颗粒定位误差与最佳识别链接技术，提高了有效活性粒子运动数据质量；实现了对目标颗粒运动的精细辨识、多维信息采集与全过程追踪。

【技术实现步骤摘要】
一种基于运动图像回溯的床面颗粒辨识追踪方法
本专利技术属于水力学及河流动力学研究
，具体地涉及基于模式识别与运动回溯的床面颗粒辨识追踪方法。
技术介绍
河流床面的泥沙颗粒随机运动规律复杂，近几十年来国内外众多学者一致致力于其运动特征的研究，由于试验技术所限，精准可靠的试验资料比较匮乏，使得对颗粒运动速度、单步时长等运动参量的基本认识还存在不少分歧。目前水下高速摄影技术已经开始在推移质精准观测中应用，一般多采用侧视和俯视两种观测方式。苗蔚等将高速摄影技术用于泥沙起动概率的测量，通过图像识别与分析，实现了起动概率的非接触测量；但在在拍摄方式、采样频率、图像处理方法以及对测量数据的科学分析方面还存在一些值得商榷的地方。近年还有学者利用交通监控视频，研究基于图像识别的交通流量监测和交通违规查询。在遇到目标被遮掩，不同视角下的目标和不同光照背景下的目标存在不能准确追踪目标轨迹；也有人采用在计算机图像处理和识别领域获得良好效果的卷积神经网络CNNs方法，能够适应复杂交通领域行人，车辆识别监测。CNNs所具有的对观测对象平移、缩放和旋转的不变形，则能够很好的应对复杂场景，不断变化的光强，观察视角变化。
技术实现思路
高速摄像和粒子跟踪测速（PTV）技术提供了高效的图像采集及分析方法，水下摄像技术为研究床面颗粒运动可以提供较好的视频图像资料；但要获取准确、可靠的颗粒状态特征数据，还需在图像采集质量、颗粒图像处理、运动区域与样本选取、数据筛选等不少方面予以改进和完善，才能使基于图像识别的颗粒运动分析更为可信，推动推移质运动理论研究与测验技术应用的发展。本专利技术的目的在于提供一种基于运动图像回溯的床面颗粒辨识追踪方法，解决水下摄影获取的明流床面颗粒运动状态图像的解析与运动要素的提取.。本专利技术为解决上述技术问题采用以下技术方案：一种基于运动图像回溯的床面颗粒辨识追踪方法，包含如下9个步骤：步骤1)，基于水下摄影的明槽床面颗粒状态图像采集技术，通过实时监控获取水槽床面颗粒运动的图像信息；利用粒子图像测速技术获取水流实时运动速度信息。步骤2），对获取的视频进行预处理，利用二值法调节其数据分辨率，使每帧图片都适用于后续辨识与跟踪处理。步骤3），对采集视频图像采用特征检测和提取算法进行读取、解析。首先引入视觉.前景探测器（vision.ForegroundDetector）作为检测函数，采用二维高斯混合模型检测前景；随后使用斑点分析（BlobAnalysis）组件函数检测连通域；将背景与前景中的运动颗粒分开，获取辨识追踪运动目标；随后，根据颗粒大小与形态学特征对前景图像中的噪点进行剔除；综合考虑光照、颗粒形态多因素对运动颗粒检测面像素域面积的影响，剔除的噪点为椭圆长边小于拍摄视野内肉眼可见的运动颗粒粒径的2/3的目标；对剔除噪点以后的前景内连通域进行形态矫正后，确认为获取有效的辨识追踪运动目标；利用中心输出端口（CentroidOutputPort）定位运动目标质心，并输出纵横坐标（xp0,yp0）。步骤4），连接所识别的前景对象（运动颗粒），使用运动回溯方法辨识、追踪每个运动粒子在不同帧像中的位置。基于帧间粒子辨识模型，确定在连续帧中粒子运动位置：辨识过程是通过回溯颗粒运动历史及运动特征，对颗粒在下一帧图像中可能到达的区域范围进行分析定位（见附图2）。基于其帧间投影位置，通过对粒子多个比较循环的重复识别，剔除匹配性差的目标，提取匹配性优良的目标，辨识锁定目标颗粒在当前帧中的位置；确定被检测辨识出的运动颗粒在每帧图像中的质心位置，获取在观测区中的颗粒纵横坐标（xp,yp），同时利用动态阈值和形态学斑点分析法去除数据噪声。步骤5），活性粒子与惰性粒子的识别：在低强度起动环境条件下，选择采样间隔Δt内顺流向位移达0.1D50为颗粒运动阈值（uc），进行颗粒活跃性甄别。若颗粒持续运动的up≥uc，则颗粒处于运动状态，属活性粒子。反之，则认为颗粒处于等待状态，属静止或微幅摆动的惰性粒子；根据起动阈值对采集数据进行分类识别，摈除惰性粒子颤抖效应的噪声干扰，筛选出满足起动阈值以上的床面活性粒子。依据Baek-Lee松弛算法进行粒子运动追踪与运动状态的三维重构。通过上述对颗粒活动性的甄别，提高颗粒运动数据质量与可靠度。步骤6），每个运动颗粒在连续帧间移动时的质心被标识后，采集在不同帧间运动的活性粒子质心像素坐标（xp，yp），以此方法在帧流图像中锁定各帧中目标颗粒位置，然后在帧之间识别每个活性粒子的自身运动轨迹，在连续帧图像中追踪同一颗粒形成坐标轨迹链；计算确定其在流场中的纵向位移Δxp和横向位移Δyp，获取各种运动特征值，包括速度、加速度（1~4式）、相对于流向的位移角、最大运动距离以及颗粒运动轨迹等多尺度信息，实现对目标颗粒运动过程的追踪与运动状态多维信息的采集。Δxp=xp（t+Δt）-xp（t）（1）Δyp=yp（t+Δt）-yp（t）（2）upx=Δxp/Δt）;upy=Δyp/Δt（3）apx=Δupx/Δt）;apy=Δupy/Δt（4）式中：xp（t）和xp（t+Δt）分别为在t时刻和经过Δt后，活性粒子的质心像素纵坐标；yp（t）和yp（t+Δt）分别为在t时刻和经过Δt后，活性粒子的质心像素横坐标；Δt为视频采样时间间隔。步骤7），基于滤波的有效活性粒子数据集建立：采用滤波除噪技术对床面活性粒子进行运动过程的完整有效性识别，建立有效活性粒子运动数据集。根据完整性定义，视频刚开始即离开采集视场或视频将完时才进入采集视场的粒子数据均属不完整无效数据。为满足颗粒至少经历一次“运动-停止-运动”状态转换，选择运动轨迹累积超过10D50为床面活性粒子的有效样本；使筛选出的有效活性粒子数据具备运动、等待交替出现的全部行为特征，以及运动时间与等待时间交替出现的完整时间特征。根据上述标准界定具有完整状态转换的有效序列样本，对所有床面活性粒子数据进行滤波除噪筛选；剔除运动不完整的无效颗粒数据，最终筛选出有效活性颗粒轨迹样本集和空间坐标数据集Ns。步骤8），追踪中的颗粒定位误差处理：在床面运动颗粒识别跟踪时，为避免将颗粒单个坐标链接到运动轨迹中产生的定位误差，采用两种降低误差的方法。一是对颗粒运动轨迹数据进行滤波处理：沿颗粒运动轨迹，搜索颗粒各单步位移；然后滤除其中的颗粒运动无效步长Ls（Ls<D50/4）；二是对采集颗粒图像清晰度的限制要求：在分析图像中，单颗粒子的直径不小于3个像素，由此限制试验颗粒的最小直径。这样就可以避免跟踪模糊度、减小定位误判，保证颗粒追踪质量。步骤9)，对沿运动轨迹的颗粒速度进行平滑滤波处理；然后在确认选择的有效活性粒子长轨迹数据集里，进行颗粒状态特征值的分析与提取；输出床面颗粒的拉格朗日Lagrange坐标轨迹链表（见附图3）和活性粒子的各种运动特征值。上述基于运动图像回溯的床面颗粒辨识追踪方法，所述步骤4)中所述帧间粒子辨识模型，其基本原理与辨识方法（见附图2）本文档来自技高网...

【技术保护点】
1.基于运动图像回溯的床面颗粒辨识追踪方法，其特征在于：对符合采集条件的水槽床面颗粒运动图像信息进行辨识与跟踪，获取颗粒随机运动的全过程特征信息；/n具体包含以下步骤：/n步骤1），基于水下摄影的明槽床面颗粒状态图像采集技术，通过实时监控获取水槽床面颗粒运动的图像信息；/n泥沙颗粒控制条件：粒度比较均匀的窄级配泥沙，

【技术特征摘要】
1.基于运动图像回溯的床面颗粒辨识追踪方法，其特征在于：对符合采集条件的水槽床面颗粒运动图像信息进行辨识与跟踪，获取颗粒随机运动的全过程特征信息；
具体包含以下步骤：
步骤1），基于水下摄影的明槽床面颗粒状态图像采集技术，通过实时监控获取水槽床面颗粒运动的图像信息；
泥沙颗粒控制条件：粒度比较均匀的窄级配泥沙，D50=0.8~1.5mm；水流强度控制范围：弗汝德数Fr=0.25~0.36；相应床面颗粒运动控制强度为：Shields数θ=0.021~0.042；图像采集要求：视频像素为640×480，图像采集频率不低于120帧/s，每个采集视频时长不低于20s；保证视频图像数量达到2400帧以上，每两帧图像间隔0.0083秒以内；
步骤2），对获取的视频进行预处理，利用二值法调节其图像数据分辨率，使每帧图片都适用于后续辨识与跟踪处理；
步骤3），对采集视频图像采用特征检测和提取算法进行读取、解析；首先引入视觉.前景探测器作为检测模块，采用二维高斯混合模型检测前景；随后使用斑点分析组件函数检测连通域，通过去背景化，将背景与前景中的运动颗粒分开，获取辨识追踪运动目标；随后，在综合考虑光照、颗粒形态等因素对颗粒检测面像素域面积影响的基础上，根据颗粒大小与形态学特征对前景图像中的噪点进行剔除；剔除的噪点为椭圆长边小于拍摄视野内运动颗粒粒径2/3的目标，对剔除噪点以后的前景内连通域进行形态矫正后，确认获取有效的辨识追踪运动目标；利用中心输出端口定位运动目标质心，并输出纵横坐标（xp0,yp0）；
步骤4），给每一颗料获取的运动目标以数字编号命名，链接后续帧流图像中所识别的前景对象运动颗粒，使用运动回溯方法辨识、追踪每个运动粒子在不同帧像中的位置；基于帧间粒子辨识模型，确定在连续帧中粒子运动位置：辨识过程是通过回溯颗粒运动历史及运动特征，对颗粒在下一帧图像中可能到达的区域范围进行分析定位；基于其帧间投影位置，通过对粒子多个比较循环的重复识别，剔除匹配性差的目标，提取匹配性优良的目标，辨识锁定目标颗粒在当前帧中的位置，从而将其与以往帧流中的某一颗粒链接成功，并以该颗粒的编号命名；其它目标将视为首次起动的颗粒，以新的编号命名，在以后的帧流图像中再进行筛选与之链接的目标，实现对其的辨识追踪；同时利用动态阈值和形态学斑点分析法去除数据噪声，最终确定被检测辨识出的运动颗粒在每帧图像中的质心位置，获取在观测区中的颗粒纵横坐标（xp,yp）；
步骤5），活性粒子与惰性粒子的识别：在低强度起动环境条件下，选择采样间隔Δt内顺流向位移达0.1D50为颗粒运动阈值uc，进行颗粒活跃性甄别；若颗粒持续运动的up≥uc，则颗粒处于运动状态，属活性粒子；反之，则认为颗粒处于等待状态，属静止或微幅摆动的惰性粒子；根据起动阈值对采集数据进行分类识别，摈除惰性粒子颤抖效应的噪声干扰，筛选出满足起动阈值以上的床面活性粒子；依据Baek-Lee松弛算法进行粒子运动追踪与运动状态的三维重构；
通过上述对颗粒活动性的甄别，提高颗粒运动数据质量与可靠度；
步骤6），每个运动颗粒在连续帧间移动时的质心被标识后，采集在不同帧间运动的活性粒子质心像素坐标（xp，yp），以此方法在帧流图像中锁定各帧中目标颗粒位置，然后在帧之间识别每个活性粒子的自身运动轨迹，在连续帧图像中追踪同一颗粒形成坐标轨迹链；计算确定其在流场中的纵向位移Δxp和横向位移Δyp，获取各种运动特征值，包括速度、加速度（1~4式）、相对于流向的位移角、最大运动距离以及颗粒运动轨迹等多尺度信息，实现对目标颗粒运动过程的追踪与运动状态多维信息的采集；
Δxp=xp（t+Δt）-xp（t）（1）
Δyp=yp（t+Δt）-yp（t）（2）

u
px=Δxp/Δt）;upy=Δyp/Δt（3）

a
px=Δupx/Δt）;apy=Δupy/Δt（4）
式中：xp（t）和xp（t+Δt）分别为在t时刻和经过...

【专利技术属性】
技术研发人员：刘明潇，
申请(专利权)人：华北水利水电大学，
类型：发明
国别省市：河南;41