一种农业多源异构数据的分析与挖掘方法及其应用技术

本发明专利技术公开了一种农业多源异构数据的分析与挖掘方法：S1、农业多源异构数据管理；S2、建立多源异构数据表达机制，对多源异构数据建立统一表征，其具体过程包括：S2‑1、语义对象网络构建及动态管理更新；S2‑2、对多源异构数据进行多模态内容表示并对其分类标注实现联合学习；S3、多源异构数据对象建模的关联协同及关联数据对象迁移。本方案通过农业数据的深度分析、挖掘实现了现实应用需要，用户随时随地可以对农场进行高度智能化管理，并对农场生产环境进行精准监测和控制；此外，本申请为无人农场继续发挥科技在农业标准化、信息化、智能化等领域提供技术保障，促进我国农业科技和信息化水平的提升。

【技术实现步骤摘要】
一种农业多源异构数据的分析与挖掘方法及其应用
本申请技术方案涉及数据挖掘和机器学习
，特别是在农业领域，针对无人农场中各类传感器、RFID、GPS定位、视觉采集终端等感知设备所获取的多源异构大数据实现分析与挖掘的方法，从而实现对农场的高度智能化管理、远程环境监控监测、问题预警、智能决策支持等功能，即，一种农业多源异构数据的分析与挖掘方法及其应用。
技术介绍
我国是一个农业大国，农业更是是国民经济的基础，随着信息技术和数据技术的发展，农业信息化已经成为农业发展的必然趋势。伴随着物联网、互联网、大数据、云计算、5G、人工智能等现代信息技术在农业领域的广泛应用，以“信息+知识+智能装备”为特征的数字化农业的落地已成为可能并逐渐实现。在农业活动中，全面打造‘无人化’的智慧农场是我国构建数字农业的关键。‘无人化’的智慧农场，是以第五代移动通信技术为依托，通过建立移动5G网络和控制平台，整合现代农艺和农机装备、无人机、农业机器人、自动驾驶车、人工智能、物联网、大数据、云计算等产品及技术进行全方位的农情信息数据采集，精确完成各类农机自动驾驶和远程操控，创建和实现“智能化农机、无人化农机”的生产状态。“智慧农业”方案已在创业农场的农业生产中贯穿整地、插秧、智能灌溉、田间管理、收获、生产管理等各个作业环节，促成无人农场变为现实。在无人农场的生产、管理中，最重要的就是各种数据信息，而各种数据信息经过不同渠道获取后具有多种形式，即，无人农场的数据具有多源、异构数据的形式和特点。异构形式即多源异构数据由不同来源产生，表现形式复杂，结构迥异，属性复杂，存在大量噪声和信息缺失现象，不同数据域的信息体量不均衡且差异明显，数据间的关系难以直接度量。例如，无人农场采集的航拍视频信息、环境监测信息、以及不同传感器信息。多源异构大数据的特性使得其内在的丰富信息和知识很难从其原始数据形式中直接获得。在数据分析和挖掘等相关研究领域，科学家和工程师们一般用DIKW体系来指导数据分析和处理技术的研发过程，即“数据(Data)→信息(Information)→知识(Knowledge)→智慧(Wisdom)”，层层递进，后一层比前一层更具有显性的知识表达，更加接近人类的高层认知。然而，由于传统研究方法往往采用批量学习和顺序处理等模式，假设不同数据域的数据独立同分布产生，忽略数据自身内蕴的多源异构性、跨域复杂关联和结构上下文等特性，缺乏数据对象之间的相互校准机制，未能构建合理的系统反馈过程，从而不能适应无人农场中海量多源异构数据建模分析需要。此外，在农业信息化生产管理中，研究如何基于5G通过现场部署多种传感器、水泵、智能喷灌机、电动闸阀、视频监控、太阳能供电等设备获取的多源异构数据，并结合智能喷灌技术、水肥水药一体化技术、综合智能化管理技术，实现对农场的高度智能化管理、作物长势及土壤墒情自动监测、大数据分析等，是一个重大挑战。
技术实现思路
本申请技术方案的目的就是提出一种面向无人农场所获取的多源异构数据实现分析与挖掘方法。为了解决无人农场多种感知设备产生的多源异构数据的异构形式、复杂关联等问题，提出面向无人农场多源异构数据的统一表征与关联协同方法，为无人农场发挥科技在农业标准化、信息化、智能化等领域提供技术保障，促进我国农业科技和信息化水平的提升。为实现上述专利技术目的，本申请采用如下技术方案：一种农业多源异构数据的分析与挖掘方法，该方法包括下述数据处理内容：S1、农业多源异构数据管理，该过程利用数据采集设备获得农业相关信息，并将该信息通过无线网络通信存储至多源异构数据的网络数据库中；S2、建立多源异构数据表达机制，对多源异构数据建立统一表征；其具体过程包括：S2-1、语义对象网络构建及动态管理更新：根据多源异构数据的语义概念及相互关系进行层次化组织，形成了动态变化的层次化(树)语义概念结构；S2-2、对多源异构数据进行多模态内容表示并对其分类标注实现联合学习；S3、多源异构数据对象建模的关联协同，包括同一数据域内数据对象间的关联、不同数据域内的数据对象关联及跨数据域的关联数据对象迁移。上述方法中，步骤S1是直接农业多源异构数据的获取和直接存储，将原始数据通过不同无线传感设备采集，利用移动网络上传服务器中，任何经过授权的用户都可以访问和查询原始的信息数据，同时这些数据也是后续进行分析、挖掘的基础。在对多源异构数据的分析、挖掘时，S2所建立的多源异构数据表达机制及其统一表征为后续农场多源异构数据的关联与协同计算奠定了坚实基础。此过程中的S2-1首次提出了利用多源异构数据的语义概念及相互关系进行层次化组织的方法，同时对数据采用多模态内容表示及结合其分类标注实施自主学习的机器学习算法，该方法解决了多源数据在自动更新、收集后的分类和组织构建问题，提高了数据自主分类、关联的灵活性。作为本申请方案的核心步骤S3，通过数据间的关联、协同将不同数据区域的信息完全实现了融合及迁移，解决了信息关联性问题。本方案通过农业数据的深度分析、挖掘满足了现实应用需要，研究结论和成果将有望推动数字农业方法的实用化水平。用户随时随地通过电脑或手机APP就可以实现对农场的高度智能化管理，并对农场生产环境进行精准监测和控制。例如，远程灌溉农作物、大田种植、作物长势土壤墒情监测、病虫害防治、禽畜养殖、农业机器人和问题预警等。此外，本申请为无人农场继续发挥科技在农业标准化、信息化、智能化等领域提供技术保障，促进我国农业科技和信息化水平提升。为了保证多源异构数据收集的完整性和全面性，在S1中，农业相关信息的数据包括但不限于图像数据、环境监测数据、空间位置数据。并且任何授权后的客户均可以访问S1中所形成的数据库，实现数据信息的互联、互动展示、查询和管理。上述S2-1中，语义对象网络构建过程为：建立语义对象集合之间的多模态相似度计算，即将具有语义概念的图像、文本分别进行组织，计算概念对象之间的平均视觉相似度和文本相似度，结合实际信息内容多标注现象和语义不确定性现象，得到语义概念之间的共生相似度，再通过不同相似度的加权融合，得到了语义对象网络结构，该语义对象网络结构呈现稀疏联通结构；当出现新的语义概念时，对异构数据动态演化，通过数据的自动抓取和动态语义网络增长过程实现数据的搜集和分析，这里的动态语义网络增长过程就是建立基于稀疏编码和内容相似度建模的相似度权值内插计算，基于异构数据计算的内容相似度，利用相关语义概念节点来重建新的节点，并通过重建系数和内容相似度的加权融合计算新的概念节点和已有语义网络节点的相似度。这种予以对象网络构建过程对不同信息之间的相似度实现了数学上的表征，能够达到准确构建不同信息关联性的目的。S2-2中对多源异构数据进行多模态内容表示时，采用组敏感的多视角融合学习方法，其具体是将异构数据划分为多个具有相同内容的数据组，这些数据组共享一致的模型参数，将不同的融合权重系数加到不同数据组上，并对异构数据集合进行聚类学习，在聚类的过程中同时学习聚类输出结果和所有组的信息表达权重系数。S2-2对多源异构数据进行分类标注采用了多视角异构表示与分类标注联合学习方本文档来自技高网...

【技术保护点】
1.一种农业多源异构数据的分析与挖掘方法，其特征在于，该方法包括下述数据处理内容：/nS1、农业多源异构数据管理，该过程利用数据采集设备获得农业相关信息，并将该信息通过无线网络通信存储至多源异构数据的网络数据库中；/nS2、建立多源异构数据表达机制，对多源异构数据建立统一表征；其具体过程包括：/nS2-1、语义对象网络构建及动态管理更新：根据多源异构数据的语义概念及相互关系进行层次化组织，形成动态变化的层次化(树)语义概念结构；/nS2-2、对多源异构数据进行多模态内容表示并对其分类标注实现联合学习；/nS3、多源异构数据对象建模的关联协同，包括同一数据域内数据对象间的关联、不同数据域内的数据对象关联及跨数据域的关联数据对象迁移。/n

【技术特征摘要】
1.一种农业多源异构数据的分析与挖掘方法，其特征在于，该方法包括下述数据处理内容：
S1、农业多源异构数据管理，该过程利用数据采集设备获得农业相关信息，并将该信息通过无线网络通信存储至多源异构数据的网络数据库中；
S2、建立多源异构数据表达机制，对多源异构数据建立统一表征；其具体过程包括：
S2-1、语义对象网络构建及动态管理更新：根据多源异构数据的语义概念及相互关系进行层次化组织，形成动态变化的层次化(树)语义概念结构；
S2-2、对多源异构数据进行多模态内容表示并对其分类标注实现联合学习；
S3、多源异构数据对象建模的关联协同，包括同一数据域内数据对象间的关联、不同数据域内的数据对象关联及跨数据域的关联数据对象迁移。


2.根据权利要求1所述的农业多源异构数据的分析与挖掘方法，其特征在于，在S1中，农业相关信息的数据包括但不限于图像数据、环境监测数据、空间位置数据。


3.根据权利要求1所述的农业多源异构数据的分析与挖掘方法，其特征在于，在S1中所形成的数据库可以从任何授权后的客户端予以访问实现数据信息的互联、互动展示、查询和管理。


4.根据权利要求1所述的农业多源异构数据的分析与挖掘方法，其特征在于，在S2-1中，语义对象网络构建过程为：建立语义对象集合之间的多模态相似度计算，即将具有语义概念的图像、文本分别进行组织，计算概念对象之间的平均视觉相似度和文本相似度，结合实际信息内容多标注现象和语义不确定性现象，得到语义概念之间的共生相似度，再通过将不同的相似度进行加权融合，得到了语义对象网络结构，该语义对象网络结构呈现稀疏联通结构。


5.根据权利要求4所述的农业多源异构数据的分析与挖掘方法，其特征在于，构建语义对象网络结构中，当出现新的语义概念，对于异构数据动态演化，通过数据的自动抓取和动态语义网络增长过程中数据的搜集和分析，这里的动态语义网络增长过程就是建立基于稀疏编码和内容相似度建模的相似度权值内插计算，基于异构数据计算的内容相似度，利用相关语义概念节点来重建新的节点，并通过重建系数和内容相似度的加权融合计算新的概念节点和已有语义网络节点的相似度。


6.根据权利要求1、4或5所述的农业多源异构数据的分析与挖掘方法，其特征在于，S2-2中对多源异构数据进行多模态内容表示时，采用组敏感的多视角融合学习方法，其具体是将多源异构数据划分为多个具有相同内容的数据组，这些数据组共享一致的模型参数，将不同的融合权重系数加到不同数据组上，并对异构数据集合进行聚类学习，并在聚类的过程中同时学习聚类输出结果和所有组的信息表达权重系数。


7.根据权利要求6所述的农业多源异构数据的分析与挖掘方法，其特征在于，S2-2对多源异构数据进行分类标注采用了多视角异构表示与分类标注联合学习方法，其步骤包括：(1)使用异构数据的语义信息作为指导对异构数据的多视角结构信息进行增强，使得所保留的内在结构信息更加准确可靠，这里给的图像各个视角的结构信息矩阵Wh，H为视角数，h为某一视角，γ和η是根据实际选...

【专利技术属性】
技术研发人员：杨晨雪，孙志国，王亚丽，
申请(专利权)人：中国农业科学院农业信息研究所，
类型：发明
国别省市：北京;11