【技术实现步骤摘要】
本专利技术涉及生物识别人工智能，具体涉及一种细粒度生物识别方法、系统。
技术介绍
1、细粒度生物识别是指通过计算机视觉技术和人工智能算法，对生物进行识别和分类，将生物进一步细分为更具体的类别。一般主要针对动植物的细粒度识别。
2、当前细粒度生物识别主流解决方案主要有两种。一类是基于生物图像特征库的图像特征比对的方法，该方法速度快，但前期需要做大量的特征提取和清洗操作，这种方法在生物类别较多、生物粒度精细的场景下精度低、泛化能力差。另一类是基于深度学习的方法，集中在语义分割、物体检测以及图像识别这几种算法结合方向，相比于第一类方法，能取得更好的效果；但是此类方法依赖于大量的标注数据，且仅仅依靠网络提取的高维图像特征难以区分生物的细粒度特征。此外，还有一部分基于多模态的生物识别方法，虽然利用了多模态的特征，但这类方法仅是将文本特征作为后处理补充，在实际应用中对细粒度识别精度的提升非常有限。
技术实现思路
1、本申请实施例提供的一种细粒度生物识别方法、系统，有效解决了现有技术中生物细粒度识别方法计算量大、识别精度低、鲁棒性差的问题。
2、根据第一方面，一种实施例中提供一种细粒度生物识别方法,包括：
3、采集生物的图像数据集，对所述生物图像数据集进行训练，得到图像特征提取骨干网络；所述图像特征提取骨干网络提取生物图像数据集的图像特征；
4、根据带有标注的生物图像数据集创建指令模板；
5、将所述指令模板输入多模态大模型中，以生成图像
6、提取所述图像文本描述数据集中的文本描述特征；
7、将所述文本描述特征和所述图像特征进行第一次特征融合，以得到多模态融合特征；
8、获取所述多模态融合特征中的生物区域融合特征；
9、将所述生物区域融合特征和所述文本描述特征进行第二次特征融合，以得到生物的细粒度融合特征；
10、根据所述生物的细粒度融合特征实现生物的细粒度分类。
11、在一种能够实现的实施方式中，所述对所述生物图像数据集进行训练，得到图像特征提取骨干网络，所述图像特征提取骨干网络提取生物图像数据集的图像特征，包括：
12、通过自监督对比学习算法对所述生物图像数据集进行训练，得到图像特征提取骨干网络；
13、获取带标注的生物图像数据集；
14、通过所述图像特征提取骨干网络对所述带标注的生物图像数据集进行图像特征提取，得到图像特征。
15、在一种能够实现的实施方式中，所述提取所述图像文本描述数据集中的文本描述特征，包括：
16、将所述图像文本描述数据集输入语言模型；
17、采用所述语言模型中的文本特征提取算法从所述图像文本描述数据集中提取文本描述特征。
18、在一种能够实现的实施方式中，所述将所述文本描述特征和所述图像特征进行第一次特征融合，以得到多模态融合特征，包括：
19、将所述文本描述特征和所述图像特征对齐后，进行向量相加，得到第一次融合后的多模态特征；
20、通过特征金字塔对所述第一次融合后的多模态特征进行多尺度融合，得到多模态融合特征。
21、在一种能够实现的实施方式中，所述获取所述多模态融合特征中的生物区域融合特征，包括：
22、通过roialign模块获取所述多模态融合特征的感兴趣区域的多模态融合特征；所述感兴趣区域为生物区域。
23、在一种能够实现的实施方式中，所述感兴趣区域的多模态融合特征至少包括生物、生物的位置、生物区域像素级；所述通过roialign模块获取所述多模态融合特征的感兴趣区域的多模态融合特征之后，还包括：
24、通过分类头对所述多模态融合特征是否为生物进行判断；
25、通过位置预测头对所述多模态融合特征的生物的位置进行预测；
26、通过mask预测头对所述多模态融合特征的生物区域像素级进行分类。
27、在一种能够实现的实施方式中，所述将所述生物区域融合特征和所述文本描述特征进行第二次特征融合，以得到生物的细粒度融合特征，包括：
28、通过linear网络层将所述生物区域融合特征编码为定长的向量特征；
29、将所述向量特征和所述文本描述特征进行向量特征相加，得到生物的细粒度融合特征。
30、在一种能够实现的实施方式中，所述根据所述生物的细粒度融合特征实现生物的细粒度分类，包括：
31、将所述生物的细粒度融合特征输入细粒度分类头中进行分析处理，得到所述生物的细粒度分类。
32、根据第二方面，一种实施例中提供一种细粒度生物识别系统，包括：
33、图像特征提取模块，用于采集海量的生物图像数据集，对所述生物图像数据集进行训练，得到图像特征提取骨干网络；所述图像特征提取骨干网络提取生物图像数据集的图像特征；
34、模板创建模块，用于根据带有标注的生物图像数据集创建指令模板；
35、文本数据集获取模块，用于将所述指令模板输入多模态大模型中，以生成图像文本描述数据集；
36、文本特征提取模块，用于提取所述图像文本描述数据集中的文本描述特征；
37、第一特征融合模块，用于将所述文本描述特征和所述图像特征进行第一次特征融合，以得到多模态融合特征；
38、获取模块，用于获取所述多模态融合特征中生物区域融合特征；
39、第二特征融合模块，用于将所述生物区域融合特征和所述文本描述特征进行第二次特征融合，以得到生物的细粒度融合特征；
40、识别分类模块，用于根据所述生物的细粒度融合特征实现生物的细粒度分类。
41、根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述的方法。
42、据上述实施例的一种细粒度生物识别方法/系统，首先需要采集海量的生物的图像数据集，对该图像数据集进行训练，得到图像特征提取骨干网络，通过该图像特征提取骨干网络来提取图像数据集中的图像特征；然后，再采集少量的带有标注的生物的图像数据集，根据该带有标注的图像数据集来创建指令模板，构建好之后再将该指令模板输入多模态大模型中，该模型能够根据指令模板中构建的问题生成对应的答案，以生成图像文本描述数据集，并提取其中的文本描述特征，将文本描述特征与图像特征进行一次融合，得到多模态融合特征；之后提取多模态融合特征中的生物区域融合特征，并将生物区域融合特征与文本描述特征在进行一次融合，最终得到生物的细粒度融合特征；最终根据该细粒度融合特征实现对生物的细粒度分类。采用本申请的方案，解决了模型依赖大量的标注数据来生成文本描述特征，通过将文本描述特征和图像特征进行两次特征融合，提高了生物细粒度识别精度。同时，通过引入多任务联合训练，使得训练过程更加鲁棒，避免了过拟合。
本文档来自技高网...【技术保护点】
1.一种细粒度生物识别方法,其特征在于，包括：
2.如权利要求1所述的细粒度生物识别方法，其特征在于，所述对所述生物图像数据集进行训练，得到图像特征提取骨干网络，所述图像特征提取骨干网络提取生物图像数据集的图像特征，包括：
3.如权利要求1所述的细粒度生物识别方法，其特征在于，所述提取所述图像文本描述数据集中的文本描述特征，包括：
4.如权利要求1所述的细粒度生物识别方法，其特征在于，所述将所述文本描述特征和所述图像特征进行第一次特征融合，以得到多模态融合特征，包括：
5.如权利要求1所述的细粒度生物识别方法，其特征在于，所述获取所述多模态融合特征中的生物区域融合特征，包括：
6.如权利要求5所述的细粒度生物识别方法，其特征在于，所述感兴趣区域的多模态融合特征至少包括生物、生物的位置、生物区域像素级；所述通过ROIAlign模块获取所述多模态融合特征的感兴趣区域的多模态融合特征之后，还包括：
7.如权利要求1所述的细粒度生物识别方法，其特征在于，所述将所述生物区域融合特征和所述文本描述特征进行第二次特征融合，
8.如权利要求1所述的细粒度生物识别方法，其特征在于，所述根据所述生物的细粒度融合特征实现生物的细粒度分类，包括：
9.一种细粒度生物识别系统，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的方法。
...【技术特征摘要】
1.一种细粒度生物识别方法,其特征在于，包括：
2.如权利要求1所述的细粒度生物识别方法，其特征在于，所述对所述生物图像数据集进行训练，得到图像特征提取骨干网络，所述图像特征提取骨干网络提取生物图像数据集的图像特征，包括：
3.如权利要求1所述的细粒度生物识别方法，其特征在于，所述提取所述图像文本描述数据集中的文本描述特征，包括：
4.如权利要求1所述的细粒度生物识别方法，其特征在于，所述将所述文本描述特征和所述图像特征进行第一次特征融合，以得到多模态融合特征，包括：
5.如权利要求1所述的细粒度生物识别方法，其特征在于，所述获取所述多模态融合特征中的生物区域融合特征，包括：
6.如权利要求5所述的细粒度生物识别...
【专利技术属性】
技术研发人员：罗林锋，叶广明，
申请(专利权)人：深圳市斯远电子技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。