基于光流RGB双路特征海洋生物目标检测方法及系统技术方案

本发明专利技术提供了基于光流RGB双路特征海洋生物目标检测方法及系统，包括：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；将检测目标海域视频数据转换为帧数据，通过光流计算获取检测目标海域光流数据；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。洋生物目标检测结果。洋生物目标检测结果。

【技术实现步骤摘要】
基于光流RGB双路特征海洋生物目标检测方法及系统


[0001]本专利技术涉及光流视频双路特征智能检测
，具体涉及基于光流RGB双路特征海洋生物目标检测方法及系统。

技术介绍

[0002]现阶段，海洋资源开发时，海洋环境和生态保护愈发重要；海上生物目标如海鸟飞行生物等经常以高速运动形式出现，导致普通视频中出现动态模糊现象，进而导致基于单帧RGB数据的海洋生物目标检测算法性能较差；其中如何通过海上影像数据进行生物目标监测、如何选择目标海域及如何设置海洋生物高速运动视频监控设备尚待提高，如何在视频影像中检测生物目标来记录生物目标出现的数量和频次问题尚待进一步解决；因此，有必要提出基于光流RGB双路特征海洋生物目标检测方法及系统，以至少部分地解决现有技术中存在的问题。

技术实现思路

[0003]在
技术实现思路
部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明；本专利技术的
技术实现思路
部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
[0004]为至少部分地解决上述问题，本专利技术提供了基于光流RGB双路特征海洋生物目标检测方法，包括：
[0005]S100：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；
[0006]S200：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；
[0007]S300：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；
[0008]S400：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。
[0009]优选的，S100包括：
[0010]S101：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；
[0011]S102：在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；
[0012]S103：通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据。
[0013]优选的，S200包括：
[0014]S201：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；
[0015]S202：筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k
‑
n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k
‑
n帧到第k+n帧的RGB数据作为检测目标海域视频数据；
[0016]S203：根据检测对象关键帧前第k
‑
n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据。
[0017]优选的，S300包括：
[0018]S301：建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；
[0019]S302：通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；
[0020]S303：通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出GB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1。
[0021]优选的，S400包括：
[0022]S401：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；
[0023]S402：通过RGB支路和光流支路k
‑
1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；
[0024]计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；
[0025]S403：通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果。
[0026]本专利技术提供了基于光流RGB双路特征海洋生物目标检测系统，包括：
[0027]海洋生物高速监控分系统：在检测目标海域设置海洋生物高速运动视频监控设
备，获取检测目标海域视频数据；
[0028]视频数据转换筛选分系统：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；
[0029]双路特征数据处理分系统：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；
[0030]海洋生物目标检测分系统：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。
[0031]优选的，所述海洋生物高速监控分系统包括：
[0032]海洋生物海域选取子系统：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光流RGB双路特征海洋生物目标检测方法，其特征在于，包括：S100：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；S200：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；S300：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；S400：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。2.如权利要求1所述的基于光流RGB双路特征海洋生物目标检测方法，其特征在于，S100包括：S101：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；S102：在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；S103：通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据。3.如权利要求1所述的基于光流RGB双路特征海洋生物目标检测方法，其特征在于，S200包括：S201：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；S202：筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k
‑
n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k
‑
n帧到第k+n帧的RGB数据作为检测目标海域视频数据；S203：根据检测对象关键帧前第k
‑
n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据。4.如权利要求1所述的基于光流RGB双路特征海洋生物目标检测方法，其特征在于，S300包括：S301：建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；S302：通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；
S303：通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出GB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1。5.如权利要求1所述的基于光流RGB双路特征海洋生物目标检测方法，其特征在于，S400包括：S401：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；S402：通过RGB支路和光流支路k
‑
1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；S403：通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果。6.基于光流RGB双路特征海洋生物目标检测系统，其特征在于，包括：海洋生物高速监控分系统：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视...

【专利技术属性】
技术研发人员：莫敏玲，
申请(专利权)人：彩虹鱼科技广东有限公司，
类型：发明
国别省市：