数据处理方法、系统、设备及存储介质技术方案

本申请实施例提供一种数据处理方法、系统、设备及存储介质。在本申请实施例中，可对待处理数据进行特征分析来确定待处理数据中的异常数据；并根据计算任务的计算意图对待处理数据进行计算，得到计算结果。之后，可根据计算任务的计算意图和异常数据，确定计算结果的置信度；之后，可输出计算结果及计算结果的置信度。这样，用户可根据实际情况和计算结果的置信度，确定计算结果是否需要修改，为用户修改计算结果提供参考依据，有助于提高数据结果的准确度。准确度。准确度。

【技术实现步骤摘要】
数据处理方法、系统、设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、系统、设备及存储介质。

技术介绍

[0002]在制造企业的日常运营过程中，各种日报月报在计划、生产、设备管理等领域发挥着重要的作用。由于企业的信息化程度、管理规范性、工人素质等多方面原因，现阶段大部分的制造企业的日报/月报加工仍处于自动化ETL+手动填报的阶段，即一部分日报指标来企业的各种数据源(设备、DCS、应用系统等)，另一部分来自工人的手工填报，在以往的实践过程中，这种方式普遍存在以下几个问题：
[0003]1、源数据不准确，由于设备老旧、网络波动、程序BUG等问题，带来的源数据不准确，例如DCS数据断流、异常波动、时间校准错误等，源头数据的不准确会造成后续报表的数据不可信，进而影响生产工作。
[0004]2、人工填报数据的可靠，通常情况下，在紧张的生产工作之余填写许多的报表数据，由于各种人为和非人为因素，导致人工填报的数据可信度差，也缺乏合理的校验和管控手段。

技术实现思路

[0005]本申请的多个方面提供一种数据处理方法、系统、设备及存储介质，用以使用大数据统计分析来量化数据的置信度，这样，用户可根据数据的置信度对数据进行修改等，有助于提高数据结果的准确度。
[0006]本申请实施例提供一种数据处理方法，包括：
[0007]获取计算任务所需的待处理数据；
[0008]对所述待处理数据进行特征分析，以确定所述待处理数据中的异常数据；
[0009]根据所述计算任务的计算意图，对所述待处理数据进行计算，以得到所述计算任务对应的计算结果；
[0010]根据所述计算意图和所述异常数据，确定所述计算结果的置信度；
[0011]输出所述计算结果和所述计算结果的置信度。
[0012]本申请实施例还提供一种数据处理系统，包括：数据源、计算设备和存储设备；所述数据源用于向计算设备和存储设备提供原始数据；所述存储设备用于存储所述原始数据；
[0013]所述计算设备，用于从所述存储设备存储的原始数据中，获取计算任务所需的待处理数据；对所述待处理数据进行特征分析，以确定所述待处理数据中的异常数据；根据所述计算任务的计算意图，对所述待处理数据进行计算，以得到所述计算任务对应的计算结果；根据所述计算意图和所述异常数据，确定所述计算结果的置信度；并输出所述计算结果和所述计算结果的置信度。
[0014]本申请实施例还提供一种计算设备，包括：存储器和处理器；其中，所述存储器，用于存储计算机程序；
[0015]所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行上述数据处理方法中的步骤。
[0016]本申请实施例还提供一种存储有计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行上述数据处理方法中的步骤。
[0017]在本申请实施例中，可对待处理数据进行特征分析来确定待处理数据中的异常数据；并根据计算任务的计算意图对待处理数据进行计算，得到计算结果。之后，可根据计算任务的计算意图和异常数据，确定计算结果的置信度；之后，可输出计算结果及计算结果的置信度。这样，用户可根据实际情况和计算结果的置信度，确定计算结果是否需要修改，为用户修改计算结果提供参考依据，有助于提高数据结果的准确度。
附图说明
[0018]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0019]图1为本申请实施例提供的数据处理系统的结构示意图；
[0020]图2为本申请实施例提供的计算结果的展示效果示意图；
[0021]图3和图4为本申请实施例提供的数据处理系统的内部结构框图；
[0022]图5为本申请实施例提供的数据处理方法的流程示意图；
[0023]图6为本申请实施例提供的计算设备的结构示意图。
具体实施方式
[0024]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0025]针对现有源头数据的不准确会造成后续报表的数据可信度差的技术问题，在本申请一些实施例中，可对待处理数据进行特征分析来确定待处理数据中的异常数据；并根据计算任务的计算意图对待处理数据进行计算，得到计算结果。之后，可根据计算任务的计算意图和异常数据，确定计算结果的置信度；之后，可输出计算结果及计算结果的置信度。这样，用户可根据实际情况和计算结果的置信度，确定计算结果是否需要修改，为用户修改计算结果提供参考依据，有助于提高数据结果的准确度。
[0026]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0027]应注意到：相同的标号在下面的附图以及实施例中表示同一物体，因此，一旦某一物体在一个附图或实施例中被定义，则在随后的附图和实施例中不需要对其进行进一步讨论。
[0028]图1为本申请实施例提供的数据处理系统的结构示意图。如图1所示，数据处理系统包括：数据源10、计算设备20及存储设备30。
[0029]在本实施例中，数据源10是指提供原始数据的设备、装置或模块等。在工业、制造业等领域，数据源10可包括：工业对象的监测设备、工业或制造业的计算设备等。工业或制造业的工作人员可通过计算设备(如电脑、工作站或服务器等)将原始数据提供给服务端。工业对象的监测设备可将原始数据提供给工业或制造业的计算设备，也可将原始数据提供给服务端。
[0030]在本实施例中，服务端是指可以进行数据管理，可响应终端设备的服务请求，为用户提供与数据处理相关的服务的计算机设备，一般具备承担服务并保障服务的能力。
[0031]在本实施例中，服务端可包括：计算设备20和存储设备30。其中，存储设备30可部署数据库等数据结构，用于存储数据源10提供的原始数据以及计算设备20对原始数据处理后的数据等。
[0032]在本实施例中，计算设备20是指可提供计算能力的服务端设备。服务端设备可以为单一服务器设备，也可以云化的服务器阵列，或者为云化的服务器阵列中运行的虚拟机(Virtual Machine，VM)。另外，服务端设备也可以指具备相应服务能力的其他计算设备，例如电脑等终端设备(运行服务程序)等。
[0033]其中，数据源10、计算设备20和存储设备30之间可以是无线或有线连接。可选地，数据源10、计算设备20和存储设备30之间可以通过移动网络通信连接，相应地，移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD
‑
SCDMA、CDMA2000、UTM本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取计算任务所需的待处理数据；对所述待处理数据进行特征分析，以确定所述待处理数据中的异常数据；根据所述计算任务的计算意图，对所述待处理数据进行计算，以得到所述计算任务对应的计算结果；根据所述计算意图和所述异常数据，确定所述计算结果的置信度；输出所述计算结果和所述计算结果的置信度。2.根据权利要求1所述的方法，其特征在于，所述待处理数据包括：至少一个维度的待处理数据；所述对所述待处理数据进行特征分析，以确定所述待处理数据中的异常数据，包括：从所述待处理数据中，获取所述至少一个维度分别对应的待处理数据；针对任一维度的待处理数据，按照所述任一维度对应的特征分析方式对该维度的待处理数据进行特征分析，以确定所述待处理数据中的异常数据。3.根据权利要求2所述的方法，其特征在于，所述按照所述任一维度对应的特征分析方式对该维度的待处理数据进行特征分析，以确定所述待处理数据中的异常数据，包括以下至少一种方式：从所述任一维度的待处理数据中，确定标记为空值的数据为异常数据；从所述任一维度的待处理数据中，获取不属于所述任一维度对应的正常阈值范围的数据，作为所述异常数据；从所述任一维度的待处理数据中，提取所述任一维度的待处理数据中的离群点，作为所述异常数据；根据所述任一维度的待处理数据，确定所述任一维度的待处理数据的跳变梯度；确定跳变梯度大于设定的跳变梯度阈值的数据为异常数据；从所述任一维度的待处理数据中，获取所述任一维度的待处理数据中数据持续不变的持续时长；在所述持续时长大于或等于设定倍数的采样周期的情况下，确定持续不变的数据为所述异常数据；所述采样周期为所述任一维度的待处理数据的采样周期；设定倍数大于或等于2。4.根据权利要求3所述的方法，其特征在于，从所述任一维度的待处理数据中，提取所述任一维度的待处理数据中的离群点，包括：对所述任一维度的待处理数据进行四分位距分析，以确定所述任一维度的待处理数据的四分之一分位数、四分之三分位数及四分位距；根据所述四分之一分位数、四分之三分位数及四分位距，确定所述任一维度的正常数值范围；从所述任一维度的待处理数据中，获取不属于所述任一维度的正常数值范围的待处理数据，作为所述离群点。5.根据权利要求3所述的方法，其特征在于，还包括：对所述任一维度的待处理数据进行四分位距分析，以确定所述任一维度的待处理数据的四分之一分位数和四分之三分位数；确定所述四分之三分位数和所述四分之一分位数之间的差值作为所述设定的跳变梯
度阈值。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述计算任务包括：生成目标对象的数据报表；所述获取计算任务所需的待处理数据，包括：根据所述数据报表的信息项，获取确定所述信息项所需的目标数据表，作为所述待处理数据；所述根据所述计算任务的计算意图，对所述待处理数据进行计算，以得到所述计算任务对应的计算结果，包括：根据所述信息项的计算意图，对所述目标数据表进行计算，以得到所述信息项对应的指标数据。7.根据权利要求6所述的方法，其特征在于，所述根据所述计算意图和所述异...

【专利技术属性】
技术研发人员：占怀旻，戢洋，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：