鱼群摄食行为的识别方法、装置、设备与介质制造方法及图纸

本发明专利技术涉及水产养殖信息技术领域，公开了一种鱼群摄食行为的识别方法、装置、设备和介质。本发明专利技术通过获取鱼群摄食行为的时序图像集，并分别采用预设增强算法、预设光流法以及预设高斯密度模型对时序图像集进行图像预处理，得到对应的空间图像、光流图像以及密度图像；根据空间图像、光流图像以及密度图像和预设注意力机制模型，提取出各个空间图像对应的第一特征、各个光流图像对应的第二特征以及各个密度图像对应的第三特征；根据第一特征、第二特征以及第三特征，通过预设注意力机制模型对第一特征、第二特征以及第三特征进行特征融合，确定对应的融合特征；根据融合特征，识别出鱼群的摄食行为；从而实现精准投喂控制。从而实现精准投喂控制。从而实现精准投喂控制。

【技术实现步骤摘要】
鱼群摄食行为的识别方法、装置、设备与介质


[0001]本专利技术涉及水产养殖信息
，尤其涉及一种鱼群摄食行为的识别方法、装置、设备与介质。

技术介绍

[0002]近年来，随着我国水产养殖技术的不断发展，工厂化规模池塘渔业养殖产量不断提高，水产养殖中鱼群投喂量的精准控制问题受到越来越多的重视。
[0003]目前，在渔业养殖的实际投喂中，普遍采用基于经验值的方法进行人工投喂，或者是采用机器投喂，对于饵料的投喂控制也是根据养殖经验进行人为设定。目前，有论文提出对鱼群行为进行识别的方法，但大多数是针对实验室鱼缸类型数据，难以在实际养殖网箱内应用。
[0004]然而，针对实际养殖应用环境的复杂程度和识别难度，全局数据的实际养殖情况难以实现精准投喂控制。

技术实现思路

[0005]本专利技术的主要目的在于提出一种鱼群摄食行为的识别方法、装置、设备与介质，旨在实现精准投喂控制。
[0006]为实现上述目的，本专利技术提供一种鱼群摄食行为的识别方法，所述鱼群摄食行为的识别方法包括如下步骤：
[0007]获取鱼群摄食行为的时序图像集，并分别采用预设增强算法、预设光流法以及预设高斯密度模型对所述时序图像集进行预处理，得到对应的空间图像、光流图像以及密度图像；
[0008]基于所述空间图像、所述光流图像以及所述密度图像和预设注意力机制模型，提取出各个空间图像对应的第一特征、各个光流图像对应的第二特征以及各个密度图像对应的第三特征；
[0009]基于所述第一特征、所述第二特征以及所述第三特征，通过所述预设注意力机制模型进行特征融合，确定对应的融合特征；
[0010]基于所述融合特征，对鱼群进行摄食行为识别。
[0011]优选地，所述预设注意力机制模型包括卷积转置模块，或注意力模块，或卷积转置模块与注意力模块的组合。
[0012]优选地，所述基于所述空间图像、所述光流图像以及所述密度图像和预设特征提取模型，提取出各个空间图像对应的第一特征、各个光流图像对应的第二特征以及各个密度图像对应的第三特征的步骤包括：
[0013]根据所述空间图像、所述光流图像以及所述密度图像，通过所述预设注意力机制模型对各个空间图像、各个光流图像以及各个密度图像进行卷积和池化处理，得到处理后的空间图像、处理后的光流图像以及处理后的密度图像；
[0014]将所述处理后的空间图像、所述处理后的光流图像以及所述处理后的密度图像进行预设次数的残差求和处理，得到各个空间图像对应的第一特征、各个光流图像对应的第二特征以及各个密度图像对应的第三特征。
[0015]优选地，所述基于所述第一特征、所述第二特征以及所述第三特征，通过所述预设注意力机制模型进行特征融合，确定对应的融合特征的步骤包括：
[0016]根据所述第一特征、所述第二特征以及所述第三特征，通过所述预设注意力机制模型进行单张图像内部特征融合，得到所述第一特征对应的第一内部特征、所述第二特征对应的第二内部特征以及所述第三特征对应的第三内部特征；
[0017]根据所述第一内部特征、所述第二内部特征以及所述第三内部特征，通过所述预设注意力机制模型进行多张图像之间特征融合，得到所述第一内部特征对应的第一关联特征、所述第二内部特征对应的第二关联特征以及所述第三内部特征对应的第三关联特征；
[0018]根据所述第一关联特征、所述第二关联特征以及所述第三关联特征，通过所述预设注意力机制模型进行不同域特征之间特征融合，得到对应的融合特征。
[0019]优选地，所述预设注意力机制模型包括卷积转置模块和注意力模块，所述根据所述第一特征、所述第二特征以及所述第三特征，通过所述预设注意力机制模型进行单张图像内部特征融合，得到所述第一特征对应的第一内部特征、所述第二特征对应的第二内部特征以及所述第三特征对应的第三内部特征的步骤包括：
[0020]通过所述卷积转置模块对所述第一特征、所述第二特征以及所述第三特征进行卷积运算，并将卷积后的结果与所述第一特征、所述第二特征以及所述第三特征进行特征矩阵转置相乘，得到所述第一特征对应的第一卷积特征、所述第二特征对应的第二卷积特征以及所述第三特征对应的第三卷积特征；
[0021]通过所述注意力模块对所述第一卷积特征、所述第二卷积特征以及所述第三卷积特征进行预设个数的卷积运算，并将卷积后的结果进行特征矩阵相乘，得到所述第一卷积特征对应的第一乘积特征、所述第二卷积特征对应的第二乘积特征以及所述第三卷积对应的第三乘积特征；
[0022]将所述第一乘积特征、第一乘积特征以及第一乘积特征与所述第一卷积特征、所述第二卷积特征以及所述第三卷积特征分别进行特征求和，得到对应的第一内部特征、第二内部特征以及第三内部特征。
[0023]优选地，所述预设注意力机制模型包括注意力模块，所述根据所述第一内部特征、所述第二内部特征以及所述第三内部特征，通过所述预设注意力机制模型进行多张图像之间特征融合，得到所述第一内部特征对应的第一关联特征、所述第二内部特征对应的第二关联特征以及所述第三内部特征对应的第三关联特征的步骤包括：
[0024]对所述第一内部特征、所述第二内部特征以及所述第三内部特征分别进行特征整合处理，得到所述第一内部特征对应的第一整合特征、所述第二内部特征对应的第二整合特征以及所述第三内部特征对应的第三整合特征；
[0025]对所述第一整合特征、所述第二整合特征以及所述第三整合特征进行残差运算，得到所述第一整合特征对应的第一和特征、所述第二整合特征对应的第二和特征以及所述第三整合特征对应的第三和特征；
[0026]对所述第一和特征、所述第二和特征以及所述第三和特征进行池化运算，得到对
应的池化后的第一和特征、池化后的第二和特征以及池化后的第三和特征；
[0027]通过所述注意力模块对所述池化后的第一和特征、所述池化后的第二和特征以及所述池化后的第三和特征进行预设个数的卷积运算，并将卷积后的结果与所述池化后的第一和特征、所述池化后的第二和特征以及所述池化后的第三和特征分别进行特征矩阵相乘后求和，得到对应的第一乘积特征、第二乘积特征以及第三乘积特征；
[0028]将所述第一乘积特征、所述第二乘积特征以及所述第三乘积特征进行池化运算，得到池化后的第一乘积特征、池化后的第二乘积特征以及池化后的第三乘积特征；
[0029]通过所述注意力模块对所述池化后的第一乘积特征、所述池化后的第二乘积特征以及所述池化后的第三乘积特征进行预设个数的卷积运算，并将卷积后的结果与所述池化后的第一乘积特征、所述池化后的第二乘积特征以及所述池化后的第三乘积特征分别进行特征矩阵相乘后求和，得到对应的第一意图特征、第二意图特征以及第三意图特征；
[0030]将所述第一意图特征、所述第二意图特征以及所述第三意图特征进行池化处理，得到对应的第一关联特征、第二关联特征以及第三关联特征。
[0031]优选地，所述预设注意力机制模型包括卷积转置模块和注意力模块，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鱼群摄食行为的识别方法，其特征在于，所述鱼群摄食行为的识别方法包括如下步骤：获取鱼群摄食行为的时序图像集，并分别采用预设增强算法、预设光流法以及预设高斯密度模型对所述时序图像集进行预处理，得到对应的空间图像、光流图像以及密度图像；基于所述空间图像、所述光流图像以及所述密度图像和预设注意力机制模型，提取出各个空间图像对应的第一特征、各个光流图像对应的第二特征以及各个密度图像对应的第三特征；基于所述第一特征、所述第二特征以及所述第三特征，通过所述预设注意力机制模型进行特征融合，确定对应的融合特征；基于所述融合特征，对鱼群进行摄食行为识别。2.如权利要求1所述的鱼群摄食行为的识别方法，其特征在于，所述预设注意力机制模型包括卷积转置模块，或注意力模块，或卷积转置模块与注意力模块的组合。3.如权利要求1所述的鱼群摄食行为的识别方法，其特征在于，所述基于所述空间图像、所述光流图像以及所述密度图像和预设特征提取模型，提取出各个空间图像对应的第一特征、各个光流图像对应的第二特征以及各个密度图像对应的第三特征的步骤包括：根据所述空间图像、所述光流图像以及所述密度图像，通过所述预设注意力机制模型对各个空间图像、各个光流图像以及各个密度图像进行卷积和池化处理，得到处理后的空间图像、处理后的光流图像以及处理后的密度图像；将所述处理后的空间图像、所述处理后的光流图像以及所述处理后的密度图像进行预设次数的残差求和处理，得到各个空间图像对应的第一特征、各个光流图像对应的第二特征以及各个密度图像对应的第三特征。4.如权利要求2中的所述的鱼群摄食行为的识别方法，其特征在于，所述基于所述第一特征、所述第二特征以及所述第三特征，通过所述预设注意力机制模型进行特征融合，确定对应的融合特征的步骤包括：根据所述第一特征、所述第二特征以及所述第三特征，通过所述预设注意力机制模型进行单张图像内部特征融合，得到所述第一特征对应的第一内部特征、所述第二特征对应的第二内部特征以及所述第三特征对应的第三内部特征；根据所述第一内部特征、所述第二内部特征以及所述第三内部特征，通过所述预设注意力机制模型进行多张图像之间特征融合，得到所述第一内部特征对应的第一关联特征、所述第二内部特征对应的第二关联特征以及所述第三内部特征对应的第三关联特征；根据所述第一关联特征、所述第二关联特征以及所述第三关联特征，通过所述预设注意力机制模型进行不同域特征之间特征融合特征聚类，得到对应的融合特征。5.如权利要求4所述的鱼群摄食行为的识别方法，其特征在于，所述预设注意力机制模型包括卷积转置模块和注意力模块，所述根据所述第一特征、所述第二特征以及所述第三特征，通过所述预设注意力机制模型进行单张图像内部特征融合，得到所述第一特征对应的第一内部特征、所述第二特征对应的第二内部特征以及所述第三特征对应的第三内部特征的步骤包括：通过所述卷积转置模块对所述第一特征、所述第二特征以及所述第三特征进行卷积运算，并将卷积后的结果与所述第一特征、所述第二特征以及所述第三特征进行特征矩阵转
置相乘，得到所述第一特征对应的第一卷积特征、所述第二特征对应的第二卷积特征以及所述第三特征对应的第三卷积特征；通过所述注意力模块对所述第一卷积特征、所述第二卷积特征以及所述第三卷积特征进行预设个数的卷积运算，并将卷积后的结果进行特征矩阵相乘，得到所述第一卷积特征对应的第一乘积特征、所述第二卷积特征对应的第二乘积特征以及所述第三卷积对应的第三乘积特征；将所述第一乘积特征、第一乘积特征以及第一乘积特征与所述第一卷积特征、所述第二卷积特征以及所述第三卷积特征分别进行特征求和，得到对应的第一内部特征、第二内部特征以及第三内部特征。6.如权利要求4所述的鱼群摄食行为的识别方法，其特征在于，所述预设注意力机制模型包括注意力模块，所述根据所述第一内部特征、所述第二内部特征以及所述第三内部特征，通过所述预设注意力机制模型进行多张图像之间特征融合...

【专利技术属性】
技术研发人员：郑凯健，杨仁友，李日富，秦浩，杨靓，严俊，
申请(专利权)人：南方海洋科学与工程广东省实验室湛江，
类型：发明
国别省市：