一种融合时空特征注意的水环境污染视频理解方法与系统技术方案

本发明专利技术公开了一种融合时空特征注意的水环境污染视频理解方法与系统。包括：利用现有的水环境污染视频拆分构建数据集，对视频中的静态特征与动态特征进行提取与计算，构造关键特征注意模块、时空特征注意图注意增强模块、多头注意融合模块与预测模块，搭建水环境污染视频理解模型，最终获得监测结果。本发明专利技术通过时空域特征进行注意力机制的设计，获取视频中的时域空域特征信息，通过对现有的大量污染视频进行数据集的构建，针对污染点和污染类型对视频作不同的划分，实现对视频的分类、识别和描述，构建一种融合时空注意特征的水环境污染视频理解模型，实现精确的水环境污染检测和预警。警。警。

【技术实现步骤摘要】
一种融合时空特征注意的水环境污染视频理解方法与系统


[0001]本专利技术涉及视频理解、水环境污染领域，具体涉及一种融合时空特征注意的水环境污染视频理解方法、系统、设备及存储介质。

技术介绍

[0002]随着经济的发展和生活水平日益提高，人们对环境保护也越来越重视。人类的生产活动和生活活动导致了水体的理化特征改变，造成水质恶化，对生态系统造成严重的危害。水的污染程度可通过水的光谱特性来体现，水中杂质的含量、成分等会对改变水的光谱特性。视频已经成为当前最主要的多媒体信息载体，并广泛应用于人们生活中，而视频因其具备时空维度的特征，使其具有信息密度大、类别多样、内容多变、结构复杂等特点，导致了用户不能快速定位感兴趣的视频内容的结果，同时给视频描述、分类、识别等视频理解任务带来新的挑战。视频理解不仅需要能够理解视觉内容、文本信息与语音信息，还需要建立三种模态数据之间的联系并进行推理，使得视频理解过程比视频描述过程需要更多的细节描述信息和复杂推理过程，因此研究如何能从日益增长的大量视频中提取有效信息是非常有必要的。为了对河流污染的实时监测，在河流两岸设计不同的检测录像视频装置，形成了大量的水环境污染视频，而通过人工的删选与查找会增加过多的人力，而采用基于深度学习的视频理解方法可以为相关工作人员对视频的分类、搜索与查询提供便捷，并且利用深度学习来对水环境污染检测可以精确定位到问题发生的具体时间段与具体发生的地点。
[0003]目前的现有技术之一是陈洁茹提供了一种水环境监测方法，该方案包括：生成监测光，以使得监测光传播通过水环境；接收透射光分量，并根据接收的透射光分量生成第一光谱信号，其中透射光分量为监测光的从水环境中透射的部分，第一光谱信号包括透射光分量的光谱信息；接收散射光分量，并根据接收的散射光分量生成第二光谱信号，其中散射光分量为监测光的从水环境中散射的部分，第二光谱信号包括散射光分量的光谱信息；基于接收的第一光谱信号，确定出与第一光谱信号对应的多个第一水质概率值；以及使用第二光谱信号对多个第一水质概率值进行修正，从而将与多个第一水质概率值中的最大值对应的水质类型确定为水环境的水质类型。其缺点为：采用监测光的方式监测水质，只能确定水质类型而无法实现水污染类型的分类、搜索、查找，无法实现实时监测与预警。
[0004]目前的现有技术之二是罗毅、李鹏、杨海蓉等提供的一种水环境监测方法平台系统，该方案为：在总结国内外水环境监测方法资源信息的基础上，开发研究水环境监测方法平台系统，进行了平台系统和数据库的总体设计，结构构建和操作界面设计，利用JAVA和SQL设计了数据管理、数据查询、数据分析和系统管理4个功能模块，实现对水环境监测方法资源信息进行编辑、查询、统计分析和系统管理等功能，并对平台系统的运用提出建议和进行有益的探索。其缺点为：检测数据的来源通过传统方法的检测设备得到，虽然对数据进行了系统化的管理，但是缺少智能化检测。
[0005]目前的现有技术之三是彭进国提供了一种水质环境监测方法，该方案借助于水质监测系统完成的，其中，水质监测系统包括远程控制中心，水质监测设备和数据监测服务
器，包括以下步骤:投放水质监测设备、获取水质监测点数据、数据传输、数据储存、数据分析以及数据判断、预警。其缺点为：通过传统的方法进行水质检测，增加了人力与物力的成本，缺少智能化检测方法，无法精确定位到水污染发生的具体时间段与具体发生的地点。

技术实现思路

[0006]本专利技术的目的是克服现有方法的不足，提出了一种融合时空特征注意的水环境污染视频理解方法。本专利技术解决的主要问题：一是通过水环境污染视频理解方法，解决当前技术采用传统水污染监测方法带来的精确度不高，浪费物力人力成本问题；二是本专利技术采用的基于深度学习的视频理解方法可以为相关工作人员对视频的分类、搜索、查询提供便捷，并且可以精确定位到水污染发生的具体时间段与具体发生的地点；三是本专利技术采用融合时空注意特征的水环境污染视频理解方法，可对大量的污染防控视频进行自动拆分并构建数据集，构建监测预警模型，解决当前技术无法实现实时监测与预警并存的缺陷。
[0007]为了解决上述问题，本专利技术提出了一种融合时空特征注意的水环境污染视频理解方法，所述方法包括：
[0008]输入水环境污染视频，进行拆分等操作，输出为视频理解数据集；
[0009]构造关键特征注意模块，输入所述视频理解数据集，提取静态注意特征和动态注意特征；
[0010]构造时空特征图注意增强模块，输入所述静态注意特征和所述动态注意特征，进行图注意计算，获得静态图注意特征和动态图注意特征；
[0011]构造多头自注意融合模块，输入所述静态图注意特征和所述动态图注意特征，进行融合和连接操作，获得候选特征；
[0012]搭建预测模块，构建分类器对所述候选特征进行分类，对分类器进行训练，将预测模块、所述关键特征注意模块、所述时空特征图注意增强模块和所述多头自注意融合模块搭建组成水环境污染视频理解模型，进行模型训练，得到训练好的水环境污染视频理解模型；
[0013]将待检测的水环境污染视频，输入所述训练好的水环境污染视频理解模型，最终输出检测数据。
[0014]优选地，所述输入水环境污染视频，进行拆分等操作，输出为视频理解数据集，具体为：
[0015]利用现有的大量水污染环境视频，制作视频理解数据集SHJ
‑
video data，选取400部视频作为原始视频数据，其中每部视频长度为1分钟，将每部视频拆分为10秒的视频片段，一共获得2400个视频片段；
[0016]将所获得的视频片段，首先根据水环境污染检测的标准划分为6种不同污染类型，其次将每个视频片段按照5个污染点划分，共得到12000个视频片段；
[0017]将得到的12000个视频片段，分别划分为训练集、验证集和测试集。
[0018]优选地，所述构造关键特征注意模块，输入所述视频理解数据集，提取静态注意特征和动态注意特征，具体为：
[0019]构造关键特征注意模块，具体为首先利用预训练的ResNet101静态特征提取网络提取视频理解数据集的静态特征2048维，同时利用预训练的ResNeXt动态特征提取网络提
取视频理解数据集的动态特征2048维；
[0020]将得到的动态特征与静态特征分别做线性变换与非线性变换，将非线性变换的结果进行逐点求和操作，进行归一化softmax操作，利用逐点求积操作分别对静态特征与动态特征做注意力计算；
[0021]进行融合操作，包括连接操作和线性与非线性变换操作，具体为首先对特征进行连接，然后进行线性与非线性变换操作，再利用双向循环神经网络BiLSTM进行时序更新，由此获得静态注意特征和动态注意特征。
[0022]优选地，所述构造时空特征图注意增强模块，输入所述静态注意特征和所述动态注意特征，进行图注意计算，获得静态图注意特征和动态图注意特征，具体为：
[0023]构造时空特征图注意增强模块，具体为利用图注本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合时空特征注意的水环境污染视频理解方法，其特征在于，所述方法包括：输入水环境污染视频，进行拆分等操作，输出为视频理解数据集；构造关键特征注意模块，输入所述视频理解数据集，提取静态注意特征和动态注意特征；构造时空特征图注意增强模块，输入所述静态注意特征和所述动态注意特征，进行图注意计算，获得静态图注意特征和动态图注意特征；构造多头自注意融合模块，输入所述静态图注意特征和所述动态图注意特征，进行融合和连接操作，获得候选特征；搭建预测模块，构建分类器对所述候选特征进行分类，对分类器进行训练，将预测模块、所述关键特征注意模块、所述时空特征图注意增强模块和所述多头自注意融合模块搭建组成水环境污染视频理解模型，进行模型训练，得到训练好的水环境污染视频理解模型；将待检测的水环境污染视频，输入所述训练好的水环境污染视频理解模型，最终输出检测数据。2.如权利要求1所述的一种融合时空特征注意的水环境污染视频理解方法，其特征在于，所述输入水环境污染视频，进行拆分等操作，输出为视频理解数据集，具体为：利用现有的大量水污染环境视频，制作视频理解数据集SHJ
‑
video data，选取400部视频作为原始视频数据，其中每部视频长度为1分钟，将每部视频拆分为10秒的视频片段，一共获得2400个视频片段；将所获得的视频片段，首先根据水环境污染检测的标准划分为6种不同污染类型，其次将每个视频片段按照5个污染点划分，共得到12000个视频片段；将得到的12000个视频片段，分别划分为训练集、验证集和测试集。3.如权利要求1所述的一种融合时空特征注意的水环境污染视频理解方法，其特征在于，所述构造关键特征注意模块，输入所述视频理解数据集，提取静态注意特征和动态注意特征，具体为：构造关键特征注意模块，具体为首先利用预训练的ResNet101静态特征提取网络提取视频理解数据集的静态特征2048维，同时利用预训练的ResNeXt动态特征提取网络提取视频理解数据集的动态特征2048维；将得到的动态特征与静态特征分别做线性变换与非线性变换，将非线性变换的结果进行逐点求和操作，进行归一化softmax操作，利用逐点求积操作分别对静态特征与动态特征做注意力计算；进行融合操作，包括连接操作和线性与非线性变换操作，具体为首先对特征进行连接，然后进行线性与非线性变换操作，再利用双向循环神经网络BiLSTM进行时序更新，由此获得静态注意特征和动态注意特征。4.如权利要求1所述的一种融合时空特征注意的水环境污染视频理解方法，其特征在于，所述构造时空特征图注意增强模块，输入所述静态注意特征和所述动态注意特征，进行图注意计算，获得静态图注意特征和动态图注意特征，具体为：构造时空特征图注意增强模块，具体为利用图注意网络GAT(Graph attention network)计算获得视频静态注意特征与动态注意特征，首先将获得的静态注意特征与动态注意特征，分别进行线性变换，然后分别进行连接操作，并利用ReLu函数进行非线性激活；
采用矩阵相乘操作得到初始邻接矩阵adj，通过阈值判断得到最终的邻接矩阵adj，由此进行图注意计算，获得静态图注意特征和动态图注意特征。5.如权利要求1所述的一种融合时空特征注意的水环境污染视频理解方法，其特征在于，所述构造多头自注意融合模块，输入所述静态图注意特征和所述动态图注意特征，进行融合和连接操作，获得候选特征，具体为：构造多头自注意融合模块，具体为将静态图注意特征与动态图注意特征进行连接操作，然后利用多头自注意模块来进行融合操作，得到多头自注意特征；最后将多头自注意特征与静态图注意特征、动态...

【专利技术属性】
技术研发人员：全绍军，林格，陈小燕，
申请(专利权)人：长视科技股份有限公司，
类型：发明
国别省市：