一种基于机器视觉的河流漂浮物实时检测方法技术

本发明专利技术涉及基于机器视觉的河流漂浮物实时检测方法，属水文视频处理领域。本发明专利技术利用视频流前三帧图像建立背景模型，并建立Ghost更新模板；采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；进行噪声消除和填充空洞操作；最后标记漂浮物，输出mask图像及标记帧，并根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost区域更新模板进行背景模型更新。本发明专利技术可准确检测到漂浮物，在复杂的河流场景中，保持较高的检测准确率；本发明专利技术具有实时性好，计算效率高，易于嵌入摄像机等设备的特点，适应于各种天然河道的漂浮物检测。

A Real-time Detection Method of River Floating Objects Based on Machine Vision

【技术实现步骤摘要】
一种基于机器视觉的河流漂浮物实时检测方法
本专利技术涉及一种基于机器视觉的河流漂浮物实时检测方法，属于水文视频处理

技术介绍
随着视频处理技术和网络技术的发展，视频监控正逐渐融入到人们日常活动中的方方面面，给生产和生活带来了诸多便利。人们对视频监控逐渐增多的需求使得机器视觉技术应运而生并迅速成为一个研究热点。智能视频监控作为计算机视觉的重要应用方面，其在水文领域中的应用具有很高的实用价值和经济价值。水文测验是指系统收集、整理和传输水文数据的全过程。水文测验工作是水文工作的基础，是防洪减灾工作的重要组成部分，而水文测验铅鱼是水文工作中重要的测流工具。水文测验铅鱼主要用于在江、河、湖泊、渠道过水断面中测量水深、流速及含沙量等数据，其在研究水资源情势中发挥了重要的作用。然而流期间，铅鱼携带的测流设备易受到河流漂浮物(如树枝、水草、垃圾)干扰和破坏，甚至大量漂浮物缠绕铅鱼致使支撑缆道坍塌。河流漂浮物不仅干扰铅鱼的正常测流，也造成严重的经济损失，故基于机器视觉的河流漂浮物检测与预警就显得十分迫切。
技术实现思路
本专利技术提供了一种基于机器视觉的河流漂浮物实时检测方法，本专利技术利用机器视觉技术检测并标记河面上的漂浮物，同时抑制初始化背景模型中存在运动目标产生的虚拟前景(Ghost区域)，消除背景噪声，提高算法的检测精度，适应河流场景的动态变化。本专利技术的技术方案是：一种基于机器视觉的河流漂浮物实时检测方法，输入现场视频流，利用视频流前三帧图像建立背景模型，并采用三帧法检测Ghost区域，建立Ghost更新模板；采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；同时，根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；进行噪声消除和填充空洞操作；最后标记漂浮物，输出mask图像及标记帧，并根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost区域更新模板进行背景模型更新。进一步地，包括以下步骤：步骤1、首先设定监控摄像机视野范围，监控摄像机开始工作，实时采集天然河道的现场视频；对视频流进行切帧与灰度化处理，并设定方法相关参数；步骤2、读入视频流前三帧图像，利用前三帧图像进行背景建模，同时采用三帧法检测前三帧中的Ghost区域，建立Ghost更新模板；步骤3、采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；像素分类错做包括：将当前帧像素与背景模型中的样本进行比较，以分类阈值为标准判定像素属于背景还是前景，并得出像素在分类阈值内的匹配值；步骤4、根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；步骤5、检测mask图像中的噪声与空洞，消除面积小于10的噪声，填充面积小于50的空洞；步骤6、检测mask图像中各连通区域，并用方框标记输入帧上对应的连通区域，输出mask图像和标记后的输入帧；同时，根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost更新模板进行更新背景模型。进一步地，所述步骤2中，读入视频流前三帧图像，将每帧图像的像素x及其8邻域NG(x)如公式(2)的像素值作为初始背景模型M0(x)的背景样本，则初始背景模型M0(x)将由N＝27个背景样本组成；三帧初始化背景模型具体公式如下：xi＝{y|y∈{x,NG(x)}}(1)其中，xi表示索引为i的像素，M1(x)，M2(x)，M3(x)分别为视频流第一、二、三帧像素x及其8邻域NG(x)的像素值集合；M0(x)为像素x的初始背景模型的样本集，其是由三帧的像素值集M1(x)，M2(x)，M3(x)组成。进一步地，所述步骤2中，三帧法基本思想是读入视频流前三帧图像，每相邻的两帧之间做差分运算，对得到的两个差分图像进行阈值分割，将两个二值化的图像作或运算，最后对或运算后的二值化图像进行噪声消除和空洞填充操作，得到前三帧中存在的Ghost区域；接着，将Ghost图像转化成一个同输入帧等长宽的矩阵，组成Ghost更新模板。进一步地，所述步骤4中，在每帧的像素分类的过程中建立一个同输入帧等长宽，并由各像素匹配值n所组成的矩阵，即匹配值更新模板。进一步地，针对步骤5填充空洞的位置，设定匹配值更新模板对应位置的值为k，各像素匹配值为n；针对步骤5填充空洞的位置，则匹配值更新模板对应位置的值为0，如公式(3)所示：根据更新模板update(x)中值的大小设定更新因子，并进行背景模型的更新；这样增加背景模型的复杂度，加速旧样本值地淘汰，引入更多不同的新背景像素，如公式(4)所示：其中，更新因子φ越大，其更新概率越小，更新概率P(x)与更新因子φ的关系是：P(x)＝1/φ；更新模板update(x)值为0时，不进行背景模型更新；update(x)值小于9时，必进行背景模型更新；update(x)值小于15时，以50％的概率更新背景模型；其他情况，以25％的概率更新背景模型。本专利技术的有益效果是：1、本专利技术可以有效的检测出河面漂浮物，并将其直接集成于现场摄像设备中，保障测流中水文铅鱼的安全；2、本专利技术可以在较短时间内消除Ghost，克服波浪干扰的负面影响，消除背景噪声，适应河流的变化速率；3、本专利技术可以以每秒30帧的速率处理分辨率为320*240的图像，满足实时性的要求；4、本专利技术具有算法实时性好，计算效率高，易于嵌入摄像机等设备的特点，适应于各种复杂河流环境的漂浮物检测。附图说明图1是本专利技术方法的流程示意图；图2是NG(x)模型；图3是三帧初始化背景模型示意图；图4是固定阈值与PCC和PWC的关系；图5是自适应阈值与PCC和PWC的关系；图6是像素值与背景样本在2-D欧式距离空间中比较；图7是4个视频流检测结果对比图；图8是3个视频流检测指标对比图。具体实施方式实施例1：如图1-8所示，一种基于机器视觉的河流漂浮物实时检测方法，包括以下步骤：步骤1、首先设定监控摄像机视野范围，监控摄像机开始工作，实时采集天然河道的现场视频；对视频流进行切帧与灰度化处理，并设定方法相关参数；步骤2、读入视频流前三帧图像，利用前三帧图像进行背景建模，同时采用三帧法检测前三帧中的Ghost区域，建立Ghost更新模板；步骤3、采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；像素分类错做包括：将当前帧像素与背景模型中的样本进行比较，以分类阈值为标准判定像素属于背景还是前景，并得出像素在分类阈值内的匹配值；步骤4、根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；步骤5、检测mask图像中的噪声与空洞，消除面积小于10的噪声，填充面积小于50的空洞；步骤6、检测mask图像中各连通区域，并用方框标记输入帧上对应的连通区域，输出mask图像和标记后的输入帧；同时，根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost更新模板进行更新背景模型。进一步地，所述步骤2中，利用前三帧图像进行背景建模方法如下：背景模型中的每一个像素的由N个背景样本组成，记v(x)表示图像在x处的像素值，vi(x)表示索引为i的背景样本值。背景模型M(x)定义如公式(5)所示：M(x)＝{v1(x),v2(x),…,vN(x)}(5)读入视频流前三帧图像，将每帧图像的像素x及其8邻域NG(本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的河流漂浮物实时检测方法，其特征在于：输入现场视频流，利用视频流前三帧图像建立背景模型，并采用三帧法检测Ghost区域，建立Ghost更新模板；采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；同时，根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；进行噪声消除和填充空洞操作；最后标记漂浮物，输出mask图像及标记帧，并根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost区域更新模板进行背景模型更新。

【技术特征摘要】
1.一种基于机器视觉的河流漂浮物实时检测方法，其特征在于：输入现场视频流，利用视频流前三帧图像建立背景模型，并采用三帧法检测Ghost区域，建立Ghost更新模板；采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；同时，根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；进行噪声消除和填充空洞操作；最后标记漂浮物，输出mask图像及标记帧，并根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost区域更新模板进行背景模型更新。2.根据权利要求1所述的基于机器视觉的河流漂浮物实时检测方法，其特征在于：包括以下步骤：步骤1、首先设定监控摄像机视野范围，监控摄像机开始工作，实时采集天然河道的现场视频；对视频流进行切帧与灰度化处理，并设定方法相关参数；步骤2、读入视频流前三帧图像，利用前三帧图像进行背景建模，同时采用三帧法检测前三帧中的Ghost区域，建立Ghost更新模板；步骤3、采用固定阈值与动态阈值相结合的方法来设定像素分类阈值，进行像素分类操作；像素分类错做包括：将当前帧像素与背景模型中的样本进行比较，以分类阈值为标准判定像素属于背景还是前景，并得出像素在分类阈值内的匹配值；步骤4、根据像素分类结果，建立前景二值化图像mask和匹配值更新模板；步骤5、检测mask图像中的噪声与空洞，消除面积小于10的噪声，填充面积小于50的空洞；步骤6、检测mask图像中各连通区域，并用方框标记输入帧上对应的连通区域，输出mask图像和标记后的输入帧；同时，根据mask图像修正匹配值更新模板，结合匹配值更新模板和Ghost更新模板进行更新背景模型。3.根据权利要求2所述的基于机器视觉的河流漂浮物实时检测方法，其特征在于：所述步骤2中，读入视频流前三帧图像，将每帧图像的像素x及其8邻域NG(x)如公式(2)的像素值作为初始背景模型M0(x)的背景样本，则初始背景...

【专利技术属性】
技术研发人员：王剑平，李善超，杨晓洪，张果，车国霖，欧阳鑫，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53