【技术实现步骤摘要】
本专利技术属于人工智能，具体涉及一种基于图像识别的农业知识问答方法及系统。
技术介绍
1、在农业领域，大量的知识主要以文本形式记录，这为训练面向农业知识的大型语言模型提供了便利，常见的做法是将农业领域的专业知识输入到大型模型中，以此训练出能够通过文本问题提供专业知识的农业智能问答系统。
2、然而，这种方法要求用户输入具体的问题，对于普通用户，来说可能并不能准确地用文本描述农业领域的专业问题，因此从农业智能问答系统获取到的专业知识有限。当用户需要了解相关农作物或者农产品的状态时，由于专业问题的描述能力有限，也不能从农业智能问答系统获取到可靠的专业知识解读，不利于农业专业知识的推广。
3、因此，需要一种新的农业知识问答系统，以帮助用户进行便利、准确的专业知识解读。
技术实现思路
1、有鉴于此，本专利技术提出了基于图像识别的农业知识问答方法及系统，用于解决现有的农业知识问答系统不能利用农业图像直接获取专业知识的问题。
2、本专利技术第一方面，公开了一种基于图像识别的农业知识问答方法，所述方法包括：
3、收集农业领域的标准问题，分别提取标准问题的词向量和特征向量，根据词向量和特征向量建立标准问题数据集；
4、获取用户输入的农业图像，采用多任务分类算法对农业图像进行多任务分类，将多任务分类结果顺序拼接，构建农业图像的特征向量；
5、分别计算农业图像的特征向量与标准问题数据集中的各个标准问题之间的综合相似度，选择综合相似度
6、根据农业图像的特征向量与最终匹配项之间的相似度以及最终匹配项的词向量计算农业图像的词向量；
7、将农业图像的词向量输入到预训练的大型语言模型中，输出农业知识解读结果。
8、在以上技术方案的基础上，优选的，所述农业领域的标准问题的类型包括农作物或农产品的类别、病虫害类型检测、外观特征类型、农作物或农产品的成熟度、植被密度等级、生长状态等级、土壤类型与状况等级、含水量水平、光照条件等级、天气类型以及农田环境等级。
9、在以上技术方案的基础上，优选的，所述提取标准问题的词向量和特征向量具体包括：
10、采用预训练的大语言模型提取标准问题的词向量；
11、采用多任务分类识别算法对标准问题进行多任务分类，将多任务分类结果顺序拼接，构建标准问题的特征向量。
12、在以上技术方案的基础上，优选的，所述多任务分类识别算法采用机器学习或深度学习模型；
13、所述多任务分类结果与农业领域的标准问题的类型相同。
14、在以上技术方案的基础上，优选的，所述综合相似度的计算公式为：
15、
16、其中，p为综合相似度，λi为第i个维度的权重系数；si为农业图像与标准问题在第i个维度上的余弦相似度：
17、
18、ai为标准问题的特征向量中第i个子序列向量，bi为农业图像的特征向量中第i个子序列向量。
19、在以上技术方案的基础上，优选的，权重系数λi的计算方法为：
20、采集多张农业相关的样本图片，分别解读每张样本图片，生成相应的问题文本描述；
21、分别提取样本图片的特征向量和相应的问题文本描述的特征向量；
22、计算样本图片的特征向量与相应的问题文本描述的特征向量之间的综合相似度，并令综合相似度为1，采用最小二乘法计算得到每个维度的权重系数λi。
23、在以上技术方案的基础上，优选的，所述计算农业图像的词向量的公式为：
24、u＝p*t或者u＝(1+1/p)*t
25、其中，u为农业图像的词向量，p为农业图像的特征向量与最终匹配项之间的综合相似度，t为最终匹配项的词向量。
26、本专利技术第二方面，公开了一种基于图像识别的农业知识问答系统，其特征在于，所述系统包括：
27、数据集建立模块：用于收集农业领域的标准问题，分别提取标准问题的词向量和特征向量，根据词向量和特征向量建立标准问题数据集；
28、特征量构建模块：用于获取用户输入的农业图像，采用多任务分类算法对农业图像进行多任务分类，将多任务分类结果顺序拼接，构建农业图像的特征向量；
29、特征量匹配模块：用于分别计算农业图像的特征向量与标准问题数据集中的各个标准问题之间的综合相似度，选择综合相似度最高的标准问题作为最终匹配项；
30、词向量转化模块：用于根据农业图像的特征向量与最终匹配项之间的相似度以及最终匹配项的词向量计算农业图像的词向量；
31、知识解读模块：用于将农业图像的词向量输入到预训练的大型语言模型中，输出农业知识解读结果。
32、本专利技术第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
33、其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
34、所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本专利技术第一方面所述的方法。
35、本专利技术第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如本专利技术第一方面所述的方法。
36、本专利技术相对于现有技术具有以下有益效果：
37、1)本专利技术通过计算农业图像与相关农业问题之间的相似性，识别出与给定农业图像最相似的农业问题，对农业问题的词向量进行微调，得到代表农业图像的新词向量，将农业图像的词向量被输入预训练的大型语言模型中，从而实现了对农业图像的专业知识解读和输出；当发现种植问题时，用户仅通过拍摄农作物或农产品的图像，即可向人工智能系统提问，获取相关专业知识的回答，从而使得原有的大语言模型能够处理图像输入，实现预期的文本输出，降低了问题文本描述的难度，简化了用户与人工智能系统之间的交互过程，使得获取农业专业知识更加直观和便捷。
38、2)本专利技术从农业问题的多个维度和角度出发，构建具有统一结构的有序特征向量，方便地描述农业各领域的特征，多任务分类算法分别对农业图像和标准问题进行多任务分类，分别将多任务分类结果顺序拼接，生成对应的图像特征向量和问题特征向量，实现了对农业图像及其相关农业问题的准确量化表达，为农业图像与问题文本描述之间的转换提供可靠技术支撑。
39、3)本专利技术分别计算农业图像与所有标准问题之间的综合相似度，然后选取其中综合相似度最高的标准问题作为最终匹配项，最高的综合相似度来调整标准问题的词向量t，得到描述图像所表达的问题的词向量u，即将图像内容转换为语言模型能够理解和处理的文本信息，从而使得利用图像进行提问并获取目标答案成为可能；本专利技术有效地桥接了图像输入与文本输出之间的差异，扩展了原有大语言模型的应用范围，使其能够在农业领域内对图像信息进行有效处理和理解。
40、4)本专利技术采集多本文档来自技高网...
【技术保护点】
1.一种基于图像识别的农业知识问答方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于图像识别的农业知识问答方法，其特征在于，所述农业领域的标准问题的类型包括农作物或农产品的类别、病虫害类型检测、外观特征类型、农作物或农产品的成熟度、植被密度等级、生长状态等级、土壤类型与状况等级、含水量水平、光照条件等级、天气类型以及农田环境等级。
3.根据权利要求2所述的基于图像识别的农业知识问答方法，其特征在于，所述提取标准问题的词向量和特征向量具体包括：
4.根据权利要求2所述的基于图像识别的农业知识问答方法，其特征在于，所述多任务分类识别算法采用机器学习或深度学习模型；
5.根据权利要求1所述的基于图像识别的农业知识问答方法，其特征在于，所述综合相似度的计算公式为：
6.根据权利要求5所述的基于图像识别的农业知识问答方法，其特征在于，权重系数λi的计算方法为：
7.根据权利要求1所述的基于图像识别的农业知识问答方法，其特征在于，所述计算农业图像的词向量的公式为：
8.一种基于图像识别的农业知识问
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器、通信接口和总线；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如权利要求1～7任一项所述的方法。
...【技术特征摘要】
1.一种基于图像识别的农业知识问答方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于图像识别的农业知识问答方法，其特征在于，所述农业领域的标准问题的类型包括农作物或农产品的类别、病虫害类型检测、外观特征类型、农作物或农产品的成熟度、植被密度等级、生长状态等级、土壤类型与状况等级、含水量水平、光照条件等级、天气类型以及农田环境等级。
3.根据权利要求2所述的基于图像识别的农业知识问答方法，其特征在于，所述提取标准问题的词向量和特征向量具体包括：
4.根据权利要求2所述的基于图像识别的农业知识问答方法，其特征在于，所述多任务分类识别算法采用机器学习或深度学习模型；
5.根据权利...
【专利技术属性】
技术研发人员：易小林，杨红兵，蔡青，
申请(专利权)人：湖北泰跃卫星技术发展股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。