南方土壤样点数据清洗系统及方法技术方案

本发明专利技术涉及数据处理系统或方法技术领域，具体为一种南方土壤样点数据清洗系统及方法，该系统，包括：数据判定子系统，用于对比样品数据与标准数据，并在样品数据与标准数据不符时，将样品数据标记为错误土壤分类数据；数据清洗子系统，用于根据标准数据校正错误土壤分类数据；数据判定子系统，还用于对比样品数据与标准阈值，并在样品数据超出标准阈值时，将样品数据标记为错误数据；在样品数据未超出标准阈值，且样品数据超出预期阈值时，将样品数据标记为异常数据；所述数据清洗子系统，还用于获取关联数据，并校正错误数据和/或异常数据。采用本方案能够对采样数据进行清洗，对错误土壤分类数据、异常数据和错误数据进行校正。

Data cleaning system and method of soil sample points in South China

The invention relates to the technical field of data processing system or method, in particular to a Southern soil sample point data cleaning system and method, the system includes: data determination subsystem, which is used to compare sample data with standard data, and mark the sample data as wrong soil classification data when the sample data is inconsistent with standard data; data cleaning subsystem, which is used to according to standard data According to the corrected error soil classification data, the data determination subsystem is also used to compare the sample data with the standard threshold value, and mark the sample data as error data when the sample data exceeds the standard threshold value; when the sample data does not exceed the standard threshold value and the sample data exceeds the expected threshold value, the sample data is marked as abnormal data; the data cleaning subsystem is also used to obtain Associate data and correct erroneous and / or abnormal data. The scheme can clean the sampling data and correct the wrong soil classification data, abnormal data and wrong data.

【技术实现步骤摘要】
南方土壤样点数据清洗系统及方法
本专利技术涉及数据处理系统或方法
，具体为一种南方土壤样点数据清洗系统及方法。
技术介绍
土壤样品的采集及检测工作对专业理论和技术具有很高的要求，但在实际工作中，现有海量的土壤样品数据，由于(1)基层采样人员对土壤分类体系不熟悉、采样技术水平缺乏、工作责任心差等导致采样选点不准确、布点不科学，信息数据错误、记录不完整、不规范或不准确；(2)第三方检测机构由于监管的缺失，导致样品检测技术水平不高、检测数据与实际差距较大，准确性差，甚至人为造假等，造成了土壤样品数据缺乏有效性、实用性和规范性；而上述缺陷最大的问题是难以发现且按现有的技术难以纠正，进而给后续区域农业科学决策带来误导性影响，这已经成为目前困扰农业部门土壤样点数据管理与应用的核心限制因素。在现有的技术水平条件下，土壤样品数据只能由多年从事土壤科研工作的专家进行人工检查、修正，效率极低，出错率高，而基层农业技术部门几乎无法完成此工作，因而难以达到海量土壤数据清洗校验的目的。
技术实现思路
本专利技术意在提供一种南方土壤样点数据清洗系统及方法，能够对采样数据进行清洗，对错误土壤分类数据进行校正。本专利技术提供基础方案：南方土壤样点数据清洗系统，包括：数据判定子系统，用于对比样品数据与标准数据，并在样品数据与标准数据不符时，将样品数据标记为错误土壤分类数据；数据清洗子系统，用于根据标准数据校正错误土壤分类数据。基础方案的工作原理及有益效果：需要对采样数据进行清洗时，采样数据即为待清洗数据，待清洗数据即为样品数据；需要对第三方提供的数据进行清洗时，第三方检测数据即为样品数据，具体的样品数据可为土壤样品数据。标准数据通过官方网站或权威网站获取，以标准数据为标准，将与标准数据不符的样品数据标记为错误土壤分类数据，根据标准数据校正错误土壤分类数据。对采样数据进行清洗，对错误土壤分类数据进行校正，提高采样数据的正确性。进一步，所述样品数据为待清洗数据或第三方检测数据。有益效果：根据需求不同，样品数据不同。进一步，所述标准数据根据南方土壤类型矢量图和土壤理化数值关联模型生成。有益效果：土壤理化数值关联模型为土壤不同指标之间的关联模型，该模型的建立通过现有设备采集数据，经过数据分析得到彼此之间的关联性，从而构建土壤理化数值关联模型。进一步，所述数据判定子系统，还用于对比样品数据与标准阈值，并在样品数据超出标准阈值时，将样品数据标记为错误数据；在样品数据未超出标准阈值，且样品数据超出预期阈值时，将样品数据标记为异常数据；所述数据清洗子系统，还用于根据样品数据获取关联数据，并根据关联数据校正错误数据和/或异常数据。有益效果：标准阈值为数据必定所在范围，例如pH为0-14，不在这范围内的数据必定为错误数据，预期阀值为根据土壤理化数值关联模型获取的样品数据的预期值，当样品数据在标准阈值内，但在预期阈值外，则将样品数据标记为异常数据，其异常的原因可能是仪器误差、人工填写失误等情况。对于错误数据和异常数据均需要校正，出现错误数据其最后的方式是重新采集样品数据，对于通过样品数据获取与其相关或相邻的数据作为关联数据，根据关联数据对错误数据和/或异常数据进行校正。进一步，所述标准阈值和所述预期阈值均为数值范围。有益效果：通过数值进行判断更为直观。进一步，所述标准阈值的数值范围大于所述预期阈值的数值范围。有益效果：预期阈值为标准阈值的一部分。进一步，所述数据清洗子系统，用于获取插值规则，并根据插值规则获取样品数据的关联数据，并根据关联数据生成校正数据，当校正数据未超出预期阈值时，根据校正数据校正异常数据。有益效果：在样品数据被标记为错误数据或异常数据时，需对样品数据进行校正，根据插值规则获取与该样品数据相关的关联数据，根据关联数据生成校正数据，并在校正数据满足预期阈值时，对样品数据进行校正。本专利技术还提供一种南方土壤样点数据清洗方法，包括以下步骤：获取样品数据、标准数据，并对比样品数据和标准数据，在样品数据与标准数据不符时，将样品数据标记为错误土壤分类数据；根据标准数据校正错误土壤分类数据。有益效果：通过标准数据对错误土壤分类数据进行校正，从而实现对采样数据进行清洗，提高采样数据的正确性。进一步，还包括以下步骤：获取标准阈值和预期阈值，在样品数据超出标准阈值时，将样品数据标记为错误数据；在样品数据未超出标准阈值，且样品数据超出预期阈值时，将样品数据标记为异常数据；根据样品数据获取关联数据，并根据关联数据校正错误数据和/或异常数据。有益效果：根据标准阈值与预期阈值对样品数据进行标记，满足不同条件，其标记的类型不同，包括异常数据和错误数据，根据关联数据对其进行校正，既满足条件，又与样品数据相关，从而避免因样品数据的异常影响后续结果。进一步，还包括以下步骤：获取插值规则，根据插值规则获取样品数据的关联数据，并根据关联数据生成校正数据，当校正数据未超出预期阈值时，根据校正数据校正异常数据。有益效果：关联数据根据插值规则生成校正数据，可选择不同插值规则，其生成的校正数据也有所不同，选择合适的插值规则才能生成更接近实际情况的校正数据，从而进行提高校正的准确性。附图说明图1为本专利技术南方土壤样点数据清洗系统实施例二的逻辑框图。具体实施方式下面通过具体实施方式进一步详细说明：实施例一南方土壤样点数据清洗系统，包括数据获取子系统、数据判定子系统、数据清洗子系统、数据库。数据获取子系统，包括关联模型获取模块、背景数据获取模块。关联模型获取模块，用于获取土壤理化数值关联模型，当然，土壤理化数值关联模型也可以直接从现有技术中获取。关联模型获取模块，在获取土壤理化数值关联模型后，将其存储在数据库中。背景数据获取模块，用于获取南方土壤类型矢量图，南方土壤类型矢量图为三维矢量模型，可直接从官网上获取，也可由用户设计的南方土壤图三维矢量模型系统生成，南方土壤图三维矢量模型系统，包括数据采集终端、数据获取子系统、模型建立子系统和数据库。采集终端，可用于采集南方土壤母质图、土壤学发生系统、土壤诊断分类系统规则、土地利用现状数据、高程数据，并传输给数据获取子系统(也可直接传输给模型建立子系统)。当然，土地利用现状数据、高程数据也可通过现有设备获取，例如利用无人机或卫星通过遥感遥测技术获取。数据获取子系统包括数据抓取模块、数据转换模块。数据抓取模块，用于从权威网站中抓取最新数据，或根据用户的需求抓取用户所需的数据，此时的数据可为南方土壤母质图、土壤学发生系统、土壤诊断分类系统规则、土地利用现状数据、高程数据。数据转换模块，用于接收采集终端或现有设备传输的数据或数据抓取模块抓取的数据，并对数据的格式进行统一化处理，避免后续模型建立中出现因数据格式差异造成模型建立失败。将处理后数据传输给模型建立子系统。模型建立子系统包括数据传输模块、土壤图建立模块、模型建立模块。<本文档来自技高网...

【技术保护点】
1.南方土壤样点数据清洗系统，其特征在于，包括：/n数据判定子系统，用于对比样品数据与标准数据，并在样品数据与标准数据不符时，将样品数据标记为错误土壤分类数据；/n数据清洗子系统，用于根据标准数据校正错误土壤分类数据。/n

【技术特征摘要】
1.南方土壤样点数据清洗系统，其特征在于，包括：
数据判定子系统，用于对比样品数据与标准数据，并在样品数据与标准数据不符时，将样品数据标记为错误土壤分类数据；
数据清洗子系统，用于根据标准数据校正错误土壤分类数据。


2.根据权利要求1所述的南方土壤样点数据清洗系统，其特征在于：所述样品数据为待清洗数据或第三方检测数据。


3.根据权利要求1所述的南方土壤样点数据清洗系统，其特征在于：所述标准数据根据南方土壤类型矢量图和土壤理化数值关联模型生成。


4.根据权利要求1所述的南方土壤样点数据清洗系统，其特征在于：所述数据判定子系统，还用于对比样品数据与标准阈值，并在样品数据超出标准阈值时，将样品数据标记为错误数据；在样品数据未超出标准阈值，且样品数据超出预期阈值时，将样品数据标记为异常数据；
所述数据清洗子系统，还用于根据样品数据获取关联数据，并根据关联数据校正错误数据和/或异常数据。


5.根据权利要求4所述的南方土壤样点数据清洗系统，其特征在于：所述标准阈值和所述预期阈值均为数值范围。


6.根据权利要求5所述的南方土壤样点数据清洗系统，其特征在于...

【专利技术属性】
技术研发人员：郑敏，程晗，谢宏，
申请(专利权)人：杨剑虹，彭向东，彭敬东，邓传跃，谢宏，杨睿，郑敏，杨勇，甘伟，向楠，张浩，程晗，彭焕军，李江，
类型：发明
国别省市：重庆;50