基于多模态深度学习的雪豹识别方法及电子设备技术

本发明专利技术实施例公开了一种基于多模态深度学习的雪豹识别方法及电子设备。方法包括：获取多模态信息和待识别图像；多模态信息包括拍摄时间、经纬度、温度及月相，将多模态信息输入雪豹识别模型的全连接层，并引入自注意力机制，得到特征T1；将触发图像和背景图像输入雪豹识别模型的孪生自动编码器，得到特征T2；将特征T1和特征T2进行融合，得到融合特征T；将融合特征T输入雪豹识别模型的分类层，得到识别结果，实现雪豹的识别。实施本发明专利技术实施例，采用深度学习的方式，并充分利用雪豹活动环境信息特征对雪豹进行识别，从而提高了识别的准确率。

【技术实现步骤摘要】
基于多模态深度学习的雪豹识别方法及电子设备
本专利技术涉及深度学习
，具体涉及一种基于多模态深度学习的雪豹识别方法及电子设备。
技术介绍
雪豹(Pantherauncia)是食肉目(Carnivora)，猫科(Felidae)，豹属，为我国Ⅰ级重点保护动物，2017年被世界自然保护联盟(IUCN)评为易危(VU)。虽然同属猫科，但雪豹与虎(Pantheratigri)、豹(Pantherapardus)等动物很难进行杂交，且没有产生过杂交种，而狮(Pantheraleo)、虎、豹、美洲豹(Pantheraonca)之间能够进行杂交，并有过杂交种的记录。因此，雪豹一度被单列为雪豹属(Uncia)。在高原的寒冷环境中，雪豹演化出一系列适应高寒环境的形态特征。雪豹具有长长的毛发和浓密的绒毛，毛发是所有大猫中最厚最长的。一年脱毛两次，冬季时腹部毛长至12cm。豹纹毛色中掺杂着烟灰色或奶黄色，使其与周边岩石上的地衣及裸岩极其相似，隐蔽性极高。雪豹在夜间比白天更活跃，活动高峰为18:00—20:00，属黄昏活跃性，且日活动存在季节差异，夏秋季比冬春季更集中在夜间活动，与此同时，雪豹在夜间的活动受月相的影响，在月相更明亮的夜晚，雪豹的活动更频繁。研究表明，雪豹的活动模式受地形、人类活动、主要食物等栖息地条件的影响，不同地区雪豹的空间利用模式存在差异。对雪豹进行监测是其保护管理工作的重要组成部分，然而雪豹特殊的栖息环境和较高的警觉性，人工监测比较困难。利用红外触发相机技术对雪豹进行图像监测是当前最有效的手段之一。但由于雪豹数量稀少，其监测图像也相对较少。人工从大量的监测图像中识别筛选出雪豹图像，工作量大、效率低，因此可以借助计算机自动识别雪豹图像来克服上述问题。
技术实现思路
本专利技术实施例的目的在于提供一种基于多模态深度学习的雪豹识别方法及电子设备。为此，本专利技术所提供的技术方案如下：第一方面，本专利技术提供一种基于多模态深度学习的雪豹识别方法，包括：获取多模态信息和待识别图像；所述多模态信息包括拍摄时间、经纬度、温度及月相，所述待识别图像包括触发图像和背景图像；将所述多模态信息输入雪豹识别模型的全连接层，并引入自注意力机制，得到特征T1；将所述触发图像和背景图像输入所述雪豹识别模型的孪生自动编码器，得到特征T2；将所述特征T1和特征T2进行融合，得到融合特征T；将融合特征T输入所述雪豹识别模型的分类层，得到识别结果，实现雪豹的识别。作为本申请的一种具体实施方式，获取多模态信息具体为：通过红外相机拍摄雪豹活动图像，从所述雪豹活动图像中提取拍摄时间、经纬度、温度及月相。作为本申请一种优选的实施方式，将所述多模态信息输入雪豹识别模型的全连接层之前，所述方法还包括：对拍摄时间、经纬度、温度及月相进行归一化，各形成12位二进制编码。作为本申请的一种具体实施方式，得到特征T1具体为：将四种不同的多模态信息输入全连接层，得到输出结果；添加自注意力机制得到四种不同的多模态信息的重要性权重；将所述输出结果与重要性权重相乘，并进行融合后得到特征T1。作为本申请的一种具体实施方式，得到特征T2具体为：将所述触发图像和背景图像分别输入所述孪生自动编码器的编码模块，得到潜在表征h1和h2；所述编码模块采用注意力机制和残差聚合卷积网络；将所述潜在表征h1和h2分别输入所述孪生自动编码器的解码模块，得到特征T2；所述解码模块采用反卷积+全连接网络。进一步地，作为本申请一种优选的实施方式，获取多模态信息之前，所述方法包括训练所述雪豹识别模型，具体为：获取多个训练样本，并根据多个所述训练样本形成样本集；每一所述训练样本为任一时刻四种多模态信息、触发图像及背景图像组成的集合，不同时刻的多个所述训练样本形成所述样本集；第一训练阶段：采用训练样本中的触发图像和背景图像训练孪生自动编码器，得到该孪生自动编码器的初始参数；在此训练过程中，损失函数为孪生自动编码器的两路输入和输出的均方差；第二训练阶段：采用完整的训练样本对初始训练后的孪生自动编码器和全连接层及分类层共同训练，以优化整个雪豹识别模型的参数；在此训练过程中，损失函数为带权重的交叉熵损失函数和训练孪生自动编码器的损失函数之和。第二方面，本专利技术实施例提供了一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面所述的方法。实施本专利技术实施例，通过监测图像(触发图像和背景图像)获取雪豹的视觉特征，其他四种模态特征反应雪豹的活动习惯，将两者综合起来进行雪豹的识别；即，本专利技术采用深度学习的方式，并充分利用雪豹活动环境信息特征对雪豹进行识别，从而提高了识别的准确率。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。图1为本专利技术实施例提供的基于多模态深度学习的雪豹识别方法的流程图；图2为本专利技术的网络图；图3为本专利技术实施例提供的电子设备的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的专利技术构思是：雪豹为了适应环境，进化出对环境的极高隐蔽性，提取视觉特征较为困难。同时，根据研究发现，不同的时间、地点会影响雪豹的外形，月相、温度会影响雪豹的活动，因此，时间、地点、月相和温度可以为通过红外相机识别雪豹提供辅助信息。基于此，拟采用深度学习的方式，并充分利用雪豹活动的环境信息特征来进行基于多模态的雪豹识别，从而提高雪豹识别的准确率。同时也可解决现有技术中人工从大量监测图像中，筛选雪豹监测图像，需要耗费大量的人力物力的技术问题。基于该专利技术构思，请参考图1及图2，本专利技术提供的基于多模态深度学习的雪豹识别方法主要包括：S101，训练雪豹识别模型。如图2所示，雪豹识别模型主要包括T1特征提取网络、孪生自动编码器和分类层(分类网络)，其训练过程主要包括：获取多个训练样本，并根据多个所述训练样本形成样本集；每一所述训练样本为任一时刻四种多模态信息、触发图像及背景图像组成的集合，不同时刻的多个所述训练样本形成所述样本集；采用训练样本中的触发图像和背景图像训练孪生自动编码器，得到该孪生自动编码器的初始参数；采用完整的训练样本对初始训练后的孪生自动编码器和全连接层及分类层共同训练，以优化整个雪豹识别模型的参数。即，本实施例中，采用联合训练的方式：第本文档来自技高网...

【技术保护点】
1.一种基于多模态深度学习的雪豹识别方法，其特征在于，包括：/n获取多模态信息和待识别图像；所述多模态信息包括拍摄时间、经纬度、温度及月相，所述待识别图像包括触发图像和背景图像；/n将所述多模态信息输入雪豹识别模型的全连接层，并引入自注意力机制，得到特征T1；/n将所述触发图像和背景图像输入所述雪豹识别模型的孪生自动编码器，得到特征T2；/n将所述特征T1和特征T2进行融合，得到融合特征T；/n将融合特征T输入所述雪豹识别模型的分类层，得到识别结果，实现雪豹的识别。/n

【技术特征摘要】
1.一种基于多模态深度学习的雪豹识别方法，其特征在于，包括：
获取多模态信息和待识别图像；所述多模态信息包括拍摄时间、经纬度、温度及月相，所述待识别图像包括触发图像和背景图像；
将所述多模态信息输入雪豹识别模型的全连接层，并引入自注意力机制，得到特征T1；
将所述触发图像和背景图像输入所述雪豹识别模型的孪生自动编码器，得到特征T2；
将所述特征T1和特征T2进行融合，得到融合特征T；
将融合特征T输入所述雪豹识别模型的分类层，得到识别结果，实现雪豹的识别。


2.如权利要求1所述的雪豹识别方法，其特征在于，获取多模态信息具体为：
通过红外相机拍摄雪豹活动图像，从所述雪豹活动图像中提取拍摄时间、经纬度、温度及月相。


3.如权利要求2所述的雪豹识别方法，其特征在于，将所述多模态信息输入雪豹识别模型的全连接层之前，所述方法还包括：
对拍摄时间、经纬度、温度及月相进行归一化，各形成12位二进制编码。


4.如权利要求1所述的雪豹识别方法，其特征在于，得到特征T1具体为：
将四种不同的多模态信息输入全连接层，得到输出结果；
添加自注意力机制得到四种不同的多模态信息的重要性权重；
将所述输出结果与重要性权重相乘，并进行融合后得到特征T1。


5.如权利要求1所述的雪豹识别方法，其特征在于，得到特征...

【专利技术属性】
技术研发人员：张毓，高雅月，
申请(专利权)人：青海省祁连山自然保护区管理局，
类型：发明
国别省市：青海;63