一种基于县域的农业大数据管理系统及方法技术方案

本发明专利技术公开了一种基于县域的农业大数据管理系统及方法，数据集及数据单元模块按照产业链、数据类型、品种、行业、子行业对农产品数据进行标准梳理和归一化处理，制定数据采集标准表；数据采集模块按照数据采集标准表对区域内的农产品数据进行采集；数据审查与清洗模块按照数据清洗核查规则对数据进行审查、清洗后存储至数据存储模块；数据查询模块根据数据筛选规则对数据存储模块进行数据查询，在条件正确的情况下进行数据展示；数据可视化模块通过应用终端对数据存储模块进行农产品数据的可视化操作。本发明专利技术提供的县级农业大数据综合管理系统设定数据采集标准数据报表统一化，采用多种方式采集所需数据，为大数据应用终端提供数据基础。数据基础。数据基础。

【技术实现步骤摘要】
一种基于县域的农业大数据管理系统及方法


[0001]本专利技术涉及农业大数据
，具体是一种基于县域的农业大数据管理系统及方法。

技术介绍

[0002]农业是国民经济的基础，根据农业的产业链条划分，农业大数据主要集中在农业环境与资源、农业生产、农业市场和农业管理等领域。农业环境与资源主要包括土地资源数据、水资源数据、气象资源数据、生物资源数据和灾害数据。农业生产数据包括种植业生产数据和养殖业生产数据。农业市场数据包括市场供求信息、价格行情、生产资料市场信息、价格及利润、流通市场和国际市场信息等。农业管理数据主要包括国民经济基本信息、国内生产信息、贸易信息、国际农产品动态信息和突发事件信息等。
[0003]农业大数据已经在发达国家大量应用，我国目前刚刚起步，且在实际应用中存在如下不足：农业信息孤岛严重，农业部门分条管理，部门应用系统多为垂直体系结构、孤立系统，信息共享程度低；数据综合利用率不高。农业大数据较之其他行业更具来源分散、数量巨大、格式多样、类型复杂、结构无序的特点，数据分析整理工作量大，数据综合利用率不高；市场供销信息不对称，农产品受市场影响波动很大，但农民获取市场信息有限，很难及时掌握最新的市场信息，致使农业生产者与消费者之间的信息脱节；管理粗放，我国农业生产较为分散，农业相关数据采集、分析困难，很难做到精确、高效和处理及时，造成农业决策不精准。
[0004]同时，一个比较突出的问题是：农业大数据管理应用主要集中发达地区和大城市地区，无法深入到基层特别是县域地区，中国的县域农业，并不缺资金、技术、人才和政策等，缺的是数据。缺少数据的主要体现就是，县域政府产业规划错配、招商引资困难，当地企业不大不强；对于企业来说，战略规划失衡，产销决策随意，风险管理落后；对于农民来说，把握不好“农周期”，缺乏新的种养殖技术，缺少品牌意识等。

技术实现思路

[0005]本专利技术的目的在于提供一种基于县域的农业大数据管理系统及方法，以解决上述
技术介绍
中提出的问题。
[0006]为实现上述目的，本专利技术提供的基于县域的农业大数据管理系统，包括数据集及数据单元模块、数据采集模块、数据存储模块、数据审查与清洗模块、数据查询模块、数据可视化模块；所述数据集及数据单元模块按照产业链、数据类型、品种、行业、子行业对农产品数据进行标准梳理和归一化处理，制定数据采集标准表；所述数据采集模块按照数据采集标准表对区域内的农产品数据进行采集；所述数据审查与清洗模块按照数据清洗核查规则对所述数据采集模块采集到的数据进行审查、清洗后存储至所述数据存储模块；所述数据查询模块根据数据筛选规则对所述数据存储模块进行数据查询，在条件正确的情况下进行数据展示；所述数据可视化模块通过应用终端对所述数据存储模块进行农产品数据的可视
标准差处理方法，离群值方法包括计算一组数据的中位数、上四分位数、下四分位数，上四分位数、下四分位数之差为四分展布，采用上四分位数据+1.5*四分展布、下四分位数-1.5*四分展布为两个离群值截断点，两个离群值截断点之外的数据作为异常值，平均值-标准差处理方法以远离平均值3个标准差的数据为异常值；所述关联性验证步骤包括总和项目与各子项目关系核查，面积、单产和产量关系核查，供需平衡表关系核查，成本收益关系核查，时间列的检测规则；（5）数据上传：审核通过的农产品数据上传至数据库中；（6）数据预览：通过应用终端对数据库内的农产品数据进行可视化操作，包括对历史数据进行查看及修改，按照筛选规则对农产品数据进行筛选显示。
[0012]进一步地，还包括还包括数据挖掘和数据建模步骤，具体包括：建立企业风险模型，通过输入各个行业的工商处罚数据、环保处罚数据、海关处罚数据、税务处罚数据、失信记录数据、企业总数、新注册企业数量，输出行业风险指数；建立市场活跃度指数，通过输入时间、进入市场的企业净数量、企业的平均存活数量、企业资本净流入数量、平均资本总量；输出进入市场的企业净数量、企业资本净流入数量；建立进出口指数，输入区域总进口量、区域总出口量，通过因素加权的方法量化指数，输出进出口指数；建立经营贸易指数，输入资本增长率、营收增长率、招聘人数，输出经营贸易指数；建立企业诚信指数，输入企业违约次数、企业违约金额，输出企业诚信指数；建立农产品需求价格弹性模型，输入日期、价格、交易量、批发市场、品种，输出月份、批发市场、价格需求弹性、品种；建立农产品价格分解模型，输入日期、区域、价格、输出月、区域、实际价格、长期趋势、短期波动以及月份、区域、价格的季节性规律；建立食品监测中重点监测对象的推荐模型，输入抽检是否合格、食品名称、食品厂商、生产日期、食品产地、批次号、是否被抽检、原材料是否合格、是否疫区、正向情感词频、负向情感词频、投诉举报人数；以及名称、厂商、生产日期、生产地区、批次；输出食品名称、食品厂商、产地、批次号、不合格得分；建立产业集聚度分析模型，输入企业ID、企业名称、行业名、单位注册地址、所在省份、所在城市、所在区域、全年营业收入、资产总计、地图经度、地图维度；以及所在省份、所在城市、地图经度、地图纬度，输出所在省份、所在城市、地图经度、地图纬度；建立行业景气指数模型，输入投融资金额和数量、行业人员及公司增长、舆情热度，输出行业景气指数；建立产业结构分析模型，输入产业分类、一级行业分类、二级行业分类、各二级行业本年进入企业数量、各二级行业去年进入企业数量、各二级行业本年流入资本总额、各二级行业去年流入资本总额；输出产业分类、行业分类、新进入企业数量、新进入企业增幅、新进入企业资本、新进入企业资本增幅；输出新进入企业数量阈值、新进入企业增幅阈值、新进入企业资本阈值、新进入企业资本增幅阈值；建立农产品价格空间相关模型，输入日期、批发市场，所属区域、价格、交易量、品种、批发市场精度、批发市场纬度；输出季度、区域相关系数、品种以及季度、区域、省份空间格局分布类型、品种；
建立重要商品价格预测模型，输入时间，该时间节点商品价格；输出时间、该时间节点商品价格；输出时间、该时间节点商品价格预测值；建立农产品价格预测模型，输入日期、区域、价格，输出日期、区域、价格波动率以及区域、价格涨跌、波动速率变化。
[0013]与现有技术相比，本专利技术的有益效果是：本专利技术提供的县级农业大数据综合管理系统能够根据设定数据采集标准（数据元、数据集），数据报表统一化，采用技术抓取、人工采集和API接口等多种方式采集所需数据，将数据存放在农业大数据云存储中心中，通过人工、技术清洗规则检查出异常数据，为大数据应用终端、网页等实现数据可视化操作、数据建模、挖掘分析和决策支持提供数据基础。省、市、县各部门通过专属账号登录系统，按统一报表进行数据填报，做到“一处上报、多处使用”；上报手段多样化，通过手机APP、网页网站等多样化的数据入口进行动态数据的采集和管理；数据导出便捷化，支持以图、表、文字等多种方式合理使用农业数据；数据管理专业化，通过专业数据管理后台实现农业数据“有序收集、统一管理、合理应用”。
[0014]（1）解决“数据来源问题”。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于县域的农业大数据管理系统，其特征在于：包括数据集及数据单元模块、数据采集模块、数据存储模块、数据审查与清洗模块、数据查询模块、数据可视化模块；所述数据集及数据单元模块按照产业链、数据类型、品种、行业、子行业对农产品数据进行标准梳理和归一化处理，制定数据采集标准表；所述数据采集模块按照数据采集标准表对区域内的农产品数据进行采集；所述数据审查与清洗模块按照数据清洗核查规则对所述数据采集模块采集到的数据进行审查、清洗后存储至所述数据存储模块；所述数据查询模块根据数据筛选规则对所述数据存储模块进行数据查询，在条件正确的情况下进行数据展示；所述数据可视化模块通过应用终端对所述数据存储模块进行农产品数据的可视化操作。2.根据权利要求1所述的基于县域的农业大数据管理系统，其特征在于：所述数据采集模块采用人工采集、爬虫采集、API接口采集中一种或多种组合的方式进行数据采集。3.根据权利要求1所述的基于县域的农业大数据管理系统，其特征在于：所述数据审查与清洗模块对农产品数据进行数据清洗路径包括：预处理，去除/补全缺失的数据，去除/修改格式和内容错误的数据，去除/修改逻辑错误的数据，去除不需要的数据，关联性验证。4.根据权利要求3所述的基于县域的农业大数据管理系统，其特征在于：所述预处理步骤中对人工采集的数据通过人工复核方式排查差值过大的数据，对非人工采集的数据通过设置验证规则进行数据入库限制；所述去除/补全缺失的数据包括缺失值处理，缺失值处理采用人工处理或插值处理，插值处理采用缺失值前后两个数据的均值或者采用相关数据组的变化规律填补；所述去除/修改逻辑错误的数据包括异常值处理，异常值处理采用离群值方法或平均值-标准差处理方法，离群值方法包括计算一组数据的中位数、上四分位数、下四分位数，上四分位数、下四分位数之差为四分展布，采用上四分位数据+1.5*四分展布、下四分位数-1.5*四分展布为两个离群值截断点，两个离群值截断点之外的数据作为异常值，平均值-标准差处理方法以远离平均值3个标准差的数据为异常值；所述关联性验证包括总和项目与各子项目关系核查，面积、单产和产量关系核查，供需平衡表关系核查，成本收益关系核查，时间列的检测规则。5.根据权利要求1所述的基于县域的农业大数据管理系统，其特征在于：所述数据采集模块采集的农产品数据包括省、市、县各级农业管理部门统计的各类农产品年度生产、消费、成本收益、库存、进出口数据；县主要农产品的价格上报数据，根据不同品种、规格、地区、市场报送和采集价格信息；县主要生产主体的农产品生产计划信息。6.一种基于县域的农业大数据管理方法，其特征在于，包括如下步骤：（1）定义底层数据指标和数据表管理：根据省、市、县各级农业管理部门指定的大数据指标体系定义底层的数据指标，根据定义的底层数据指标设计数据采集的标准表；按照产业链、数据类型、品种、行业、子行业为标准将农产品数据进行归一化处理，根据设定好的行业、子行业、品种、中文名称、英文名称、表头、单位、数据来源、更新频率、检查更新时间、时间类型、建表人、负责人、更新说明和备注，完善各数据指标的属性；（2）数据索引：将行业、子行业、品种分别作为一级目录、二级目录、三级目录进行数据存取及展示形成行业品种索引，根据行政层级逻辑关系和/或产业链逻辑关系进行数据存取及展示形成逻辑关系索引，按照数据类型、机构类型、数据属性进行数据存取及展示形成数据类型索引；（3）任务发布及数据采集：将数据采集任务发布到省、市、县各级农业管理部门以及采
集数据涉及的其他协助部门，按照数据采集标准表采用人工、爬虫、API中一种或多种方式进行农产品数据采集；（4）数据审核管理：对采集的数据进行预处理，去除/补全缺失的数据，去除/修改格式和内容错误的数据，去除/修改逻辑错误的数据，去除不需要的数据，关联性...

【专利技术属性】
技术研发人员：孙彤，黄桂恒，
申请(专利权)人：布瑞克农业大数据科技集团有限公司，
类型：发明
国别省市：